Meta lancerer Llama 3, en AI-model, der er i stand til at generere billeder i realtid på WhatsApp

I dag (18/4) Meta annoncerede de første to modeller af den næste generation af Llama, den Meta Lama 3, klar til at blive brugt fuldt ud. Denne nye version inkluderer fortrænede og finjusterede sprogmodeller med parametre 8B e 70B, i stand til at opfylde en bred vifte af behov. Efter traditionen med at støtte open source-fællesskabet lavede Meta Lama 3 for samfundet. Dette betyder også, at Meta AI, kunstig intelligens til stede på virksomhedens sociale netværk, vil også blive forbedret, herunder muligheden for at skabe billeder i realtid i WhatsApp. Se mere!

Mød Llama 3

Med Lama 3 virksomheden har til hensigt at udvikle åbne modeller, der konkurrerer med de bedste proprietære sprogmodeller, der er tilgængelige i øjeblikket, som det er tilfældet med GPT-4. Udviklerfeedback er blevet prioriteret for at forbedre den overordnede anvendelighed af Llama 3, ifølge Meta, "fastholde en forpligtelse til lederskab i ansvarlig brug og implementering af Grand Language Models (LLM'er)".

Efter principperne for åben kode, blev en tidlig og hyppig udgivelsestilgang vedtaget, hvilket giver fællesskabet adgang til og bidrager til udviklingen af ​​disse modeller i realtid. De tekstbaserede skabeloner, der introduceres i dag, er blot de første i Llama 3-serien. Visionen for fremtiden omfatter yderligere at udvide Llama 3 til at tilbyde flersproget og multimodal support, øge kontekstkapaciteten og løbende forbedre ydeevnen på tværs af alle nøgleaspekter af. LLM'er, såsom ræsonnement og kodning.

I tråd med designtilgangen i Lama 3, Meta valgte en transformerarkitektur kun dekoder, som er et standardvalg. Llama 3 anvender tokenisering med et udvidet ordforråd af 128 tusind tokens, hvilket resulterer i mere effektiv sprogkodning og som følge heraf forbedret modelydelse. For at optimere slutningseffektiviteten af ​​Llama 3-modeller inkorporerede virksomheden den klyngede forespørgselsopmærksomhedsteknik (GQA) i to forskellige størrelser: 8B og 70B. Under træning har de anvendte sekvenser en længde på 8.192 tokens, og en maske påføres for at sikre, at selvopmærksomhed forbliver inden for dokumentets grænser.

For at træne den bedste sprogmodel er det vigtigt at have et stort træningsdatasæt af høj kvalitet. I tråd med vores designprincipper har vi investeret betydeligt i fortræningsdata til Llama 3. Denne model er fortrænet på mere end 15 billioner tokens, alt sammen fra offentligt tilgængelige kilder. Vores træningsdatasæt er syv gange større end det, der bruges til Llama 2 og indeholder fire gange så meget kode.

Som forberedelse til fremtidige flersprogede brugssager, består mere end 5 % af Llama 3 før-træningsdatasættet af data af høj kvalitet på andre sprog end engelsk, dækker mere end 30 sprog. Meta forventer dog ikke at opnå det samme præstationsniveau på disse sprog som på engelsk.

For at sikre, at Llama 3 trænes med data af højeste kvalitet, blev der udviklet en række datafiltreringspipelines. Disse rørledninger omfatter brugen af heuristiske filtre, filtre for upassende indhold, semantiske deduplikeringsteknikker og tekstklassifikatorer til at vurdere datakvaliteten. Tidligere versioner af Llama er effektive i dataidentifikation af høj kvalitet, så blev Llama 2 brugt til at generere træningsdata for tekstkvalitetsklassificeringerne, der fodrer Llama 3.

Derudover brugte Meta eksperimenter til at bestemme de bedste måder at flette data fra forskellige kilder til det endelige datasæt før træning. Disse eksperimenter gjorde det muligt for os at vælge en kombination af data, der sikrer, at Llama 3 klarer sig godt på tværs af en række forskellige anvendelsessager, bl.a. trivia spørgsmål, STILK (videnskab, teknologi, teknik og matematik), kodificering, historisk viden, blandt andre.

Sammenligning med Lama 2

de nye modeller Lama 3, med parametrene 8B og 70B, repræsenterer et fremskridt i forhold til Lama 2, der sætter en ny standard for LLM-modeller på disse skalaer. Meta hævder, at på grund af forbedringer i både før- og eftertræning, er præ-trænede og instruktions-finjusterede modeller i øjeblikket de ubestridte ledere på 8B og 70B parameterskalaen.

Optimeringer i efteruddannelsesprocedurer resulterede i en reducere antallet af fejlagtige afvisninger, ud over at forbedre tilpasningen og øge diversiteten i modelsvar. Væsentlige forbedringer blev også observeret i funktioner såsom ræsonnement, kodegenerering og fremtidig vejledning, hvilket gør Llama 3 endnu mere tilpasningsdygtig og målrettet.

Under udviklingen af ​​Llama 3 var der en analyse af modellens ydeevne, både i standard benchmarks og i virkelige scenarier. For at sikre effektiv optimering til praktiske anvendelser blev der skabt en ny højkvalitets menneskelig evalueringssuite. Dette sæt består af 1.800 prompter, der dækker 12 hovedanvendelsessager, inklusive bede om råd, brainstorming, sortering, besvare lukkede spørgsmål, kodning, kreativ skrivning, uddrag, efterligne karakterer/personas, besvare åbne spørgsmål, ræsonnement, omskrivning e resumé.

For at undgå overfitting (Eller overmontering, det mest almindeligt anvendte udtryk) tilfældigt af modeller til dette evalueringssæt, selv Metas egne modelleringsteam har ikke adgang til det. Den præsenterede graf viser de aggregerede resultater af menneskelige evalueringer i disse kategorier og prompter, og sammenligner ydeevnen af ​​Llama 3 med modellerne Claude Sonnet, Mistral medium e GPT-3.5.

Hvordan Llama 3 forbedrer Meta AI

På grund af de fremskridt, der er gjort med Meta Llama 3, annoncerer virksomheden den internationale udvidelse af Meta AI - idet man husker, at ressourcen var eksklusiv for USA. Da Meta AI kommer ind som en stærk konkurrent til eksisterende modeller, er Meta AI nu tilgængelig for flere mennesker rundt om i verden, hvilket giver brugere af Facebook, Instagram, WhatsApp e budbringer nyd denne gratis teknologi til at udføre en række handlinger, skabe indhold og få adgang til information i realtid.

Meta AI blev oprindeligt afsløret under Connect sidste år, og nu brugere i lande som Australien, Canada, Ghana, Jamaica, Malawi, New Zealand, Nigeria, Pakistan, Singapore, Sydafrika, Uganda, Zambia e Zimbabwe kan også nyde godt af dets fordele. Som en del af udvidelsen af ​​Meta AI vil folk nu også kunne få adgang til det på meta.ai, i webversionen.

Planlægger du at gå ud om natten med venner? Bed Meta AI om at anbefale en restaurant med en fantastisk udsigt og endda veganske muligheder. Planlægger du en tur i weekenden? Bed Meta AI om at finde shows til lørdag aften. Forbereder du dig til en test? Bed Meta AI om at forklare, hvordan arvelige egenskaber virker. Skal du flytte ind i din første lejlighed? Bed Meta AI om at "forestille" den æstetik, du ønsker, og assistenten vil generere nogle inspirationsbilleder til dine møbler. 

Metaforklarer lidt, hvordan AI kan hjælpe dig

O Meta AI den vil også være tilgængelig direkte i søgefunktionen på Facebook, Instagram, WhatsApp og Messenger. Det betyder, at du kan få adgang til information fra internettet i realtid uden at skulle skifte mellem applikationer. Forestil dig for eksempel, at du planlægger en tur med venner i en Messenger-gruppechat. Med Messenger-søgning kan du bede Meta AI – drevet af den nye Llama 3 – om at finde fly fra din oprindelse til din destination og opdage de langsomste weekender at besøge. Og selvfølgelig alt dette uden at skulle forlade Messenger-appen.

Folk vil også have mulighed for at få adgang til Meta AI, mens de gennemser deres Facebook-feed. Hvis du finder et opslag, der vækker din interesse, kan du anmode om mere information direkte fra Meta AI fra det opslag, ligesom en almindelig Google-søgning, kun i et Facebook-opslag.

Meta accelererer billeddannelsesprocessen for at sætte folk i stand til at skabe realtidsbilleder fra tekst ved hjælp af Meta AI's Imagine-funktion. Udrulningen af ​​denne funktion begyndte i beta i dag, tilgængelig på WhatsApp og Meta AI-weboplevelsen i USA. Når de begynder at skrive, vil folk se et billede vises med det samme. Dette billede vil udvikle sig med hvert par bogstaver, du skriver, så du kan se, mens Meta AI bringer din idé til live i realtid.

Ifølge virksomheden viser disse genererede billeder en forbedret skarphed og kvalitet, hvilket giver en bedre mulighed for at inkludere tekst i billeder. Derudover vil det give forslag til forbedring af billedet, så du kan fortsætte med at finpudse fra dit oprindelige udgangspunkt. Når du finder et billede, skal du blot bede Meta AI om at animere det, tilpasse det til et nyt format eller endda omdanne det til et GIF at dele med dine venner.

Selvom disse opdateringer er specifikke for Meta AI på Facebook, Instagram, WhatsApp, Messenger og nettet, er det vigtigt at huske, at Meta AI også er tilgængelig i USA til smarte briller Ray-Ban Meta, og snart ind Meta-quest — Meta virtual reality-enheder.

Gennemsigtighed med open source og sikkerhed

Potentialet i generativ AI-teknologi kan virkelig forbedre brugeroplevelsen af ​​Metas produkter og det bredere økosystem. Alligevel er et andet punkt, der skal behandles, at sikre, at dette sker i en ansvarlig e sikre. Derfor træffer virksomheden foranstaltninger til at vurdere og afbøde risici på alle stadier af AI-udvikling og -implementering. Dette omfatter integration af sikkerhedsforanstaltninger i Llama-basemodellens design og frigivelsesproces, samt støtte til udviklerøkosystemet for at fremme ansvarlig praksis.

Derfor blev der med Llama 3 vedtaget en systematisk tilgang, der integrerer sikkerhedsforanstaltninger på alle udviklingsstadier. Det betyder, at der er lagt særlig vægt på trænings- og tuningprocesser, ud over at tilbyde værktøjer, der gør det muligt for udviklere at implementere modeller ansvarligt.

Denne tilgang styrker ikke kun indsatsen inden for ansvarlig AI, men afspejler også visionen om åben innovation, der giver udviklere mulighed for sikkert at tilpasse deres produkter til gavn for deres brugere. Meta har også Ansvarlig brugsvejledning, en vigtig kilde for udviklere, der giver retningslinjer for byggeprodukter.

Som vi forklarede, da vi udgav Llama 2, er det vigtigt at være bevidst i udformningen af ​​disse foranstaltninger, da der er nogle, der kun kan implementeres effektivt af modeludbyderen, og andre, der kun fungerer effektivt, når de implementeres af udvikleren som en del af deres specifikke Ansøgning.

Styrker virksomheden

Siden lanceringen af ​​Meta AI sidste år, har brandet løbende forbedret oplevelsen på flere områder:

• Meta AI's svar på politiske og sociale spørgsmål er blevet forfinet, med specifikke retningslinjer for disse emner. Målet er at tilbyde en række relevante synspunkter på et emne, samtidig med at man respekterer brugerens intentioner, når man stiller specifikke spørgsmål.
• Herunder specifikke instruktioner og svar for at gøre det mere nyttigt, ved at bruge belønningsmodeller til at guide din adfærd.
• Meta AI's ydeevne evalueres i benchmarks og gennem test med menneskelige eksperter, der adresserer eventuelle problemer, der er identificeret i en løbende proces.
• Forespørgsels- og svarniveausikkerhedsforanstaltninger, herunder filtre og klassifikatorer for at sikre, at interaktioner er tilpasset retningslinjerne og sikre.
• Feedbackværktøjer til brugere til at dele deres oplevelser, hvilket giver os mulighed for løbende at forbedre Meta AI's ydeevne.

Og du, hvad syntes du om nyheden? Vi kan ikke vente med at komme til Brasilien, kan vi ikke? Fortæl os, hvad du fandt i os Kommentar!

Veja também:

Google billeder gratis gratis AI billedredigering for alle brugere.

Med oplysninger fra: Mål [1], [2] e [3].

Anmeldt af Glaucon Vital den 18/4/24.