Meta AI: Llama 3 ist da

Meta hat das Sprachmodell Llama 3 in einer Vorabversion vorgestellt und will es bald auch für Cloud-Anbieter wie AWS und für Modellbibliotheken wie Hugging Face freigegeben.

Wer will, kann den dazugehörigen Chatbot unter meta.ai schon jetzt in einigen Ländern auszuprobieren, so das Unternehmen in einem Blogbeitrag. Llama 3 wurde auch in WhatsApp und Instagram für die Suche integriert.

Llama 3 verfügt derzeit über zwei Modellgewichte mit 8B und 70B Parametern. Das B steht für Milliarden und gibt an, wie komplex ein Modell ist. Die umfangreichste Variante wurde mit Daten bis Dezember 2023 trainiert. Die kleinere Version kennt hingegen nur Daten bis März 2023. Meta trainiert gerade ein 400B-Modell.

Aktuell wird nur Englisch als Frage- und Antwortsprache unterstützt. Das Trainingsmaterial kommt laut Facebook aus öffentlich zugänglichen Quellen. Der Trainingsdatensatz soll siebenmal größer als der für Llama 2 verwendete sein und viermal mehr Code enthalten. Nur 5 Prozent des Llama 3-Trainingsdatensatzes stammen aus nicht-englischen Daten, weshalb hier nicht die gleiche Antwortqualität erwartet werden kann. Demnächst soll auch eine multimodale Meta AIf für die Ray-Ban Meta Smart Glasses erscheinen.

Meta behauptet, dass beide Modelle von Llama 3 ähnlich große wie Googles Gemma und Gemini, Mistral 7B und Anthropics Claude 3 in bestimmten Benchmarking-Tests schlagen können. Im MMLU-Benchmark, der das Allgemeinwissen misst, schnitt Llama 3 8B nach Angaben von Meta besser ab als Gemma 7B und Mistral 7B, während Llama 3 70B leicht vor dem Gemini Pro 1.5 lag.

Derzeit ist die englischsprachige Version von Llama 3 in 14 Ländern verfügbar, darunter Australien, Ghana, Jamaika, Kanada, Malawi, Neuseeland, Nigeria, Pakistan, Sambia, Simbabwe, Singapur, Südafrika, Uganda und die USA. Meta plant, den Chatbot in naher Zukunft auch in weiteren Ländern einzuführen. Ob die EU dazu gehört, ist nicht bekannt.

Neue Funktionen wie Live-Suche und Bildgenerierung

Eine der interessantesten Neuerungen von Meta AI ist die Fähigkeit, in Echtzeit auf Suchmaschinen zuzugreifen und Quellenangaben zu liefern. Dies ermöglicht es dem Chatbot, auch auf aktuelle Ereignisse und Informationen zu verweisen.

Darüber hinaus bietet Meta AI für Nutzer in den USA mit Facebook-Konto die Möglichkeit, Bilder in Echtzeit zu generieren. Diese Funktion ist sowohl auf der meta.ai-Webseite als auch in Whatsapp verfügbar. Die Bildgeneration erfolgt schon während der Texteingabe in enormer Geschwindigkeit, wie Golem.de testen konnte.

Meta Llama 3 ist auch Teil des Vertex AI Model Gardens der Google Cloud, wo erfahrene Nutzer das LLM an ihre Anforderungen anpassen können.

Weitere Informationen zum Thema künstliche Intelligenz gibt es hier in unserem Karriere-Ratgeber.