Our Blog

Was ist Google MUM? Funktionsweise von Google MUM

by imleme
Google-mum

Tipps zur Funktionsweise von Google MUM, Google Multitask Unified Model (MUM) Intelligence Research.

Google Multitask Unified Model (MUM) ist eine neue Technologie zur Beantwortung komplexer Fragen, die keine direkten Antworten haben. Google hat Forschungsarbeiten veröffentlicht, die Hinweise darauf geben können, was MUM AI ist und wie es funktioniert.

MUM besteht wahrscheinlich aus mehreren Innovationen. Der Google-Forschungsartikel HyperGrid Transformers: Towards A Single Model for Multiple Tasks erklärt beispielsweise eine neue neueste Funktion im Multitasking-Lernen, die Teil von MUM sein kann.

Während sich dieser Artikel auf zwei Artikel konzentriert, die besonders interessant sind, bedeutet dies nicht, dass dies die einzigen beiden Technologien sind, die Googles Multitasking Unified Model (MUM) zugrunde liegen.

Google-Algorithmen in Forschungsberichten und Patenten beschrieben


Google bestätigt in der Regel nicht, ob die in Forschungsartikeln oder Patenten beschriebenen Algorithmen verwendet werden.

Google hat nicht bestätigt, was Multitasking Unified Model (MUM) Technologie ist.

Multitasking Unified Model Research Reports

Manchmal, wie bei Neural Matching, gibt es keine Forschungsartikel oder Patente, die explizit den Namen der Technologie verwenden. Es ist, als ob Google einen beschreibenden Markennamen für eine Gruppe von Algorithmen erfunden hat, die zusammenarbeiten.

Dies gilt in gewisser Weise für das Multitask Unified Model (MUM). Es gibt keine Patente oder Forschungsdokumente, die die Marke Mama tragen. Jedoch…

Es gibt MUM-Lösungen mit MULTITASK-Forschungsarbeiten, die ähnliche Probleme und Unified Model-Lösungen diskutieren.

Hintergrund des Problems gelöst von MUM

Long Form Qnup ist eine komplexe Suchabfrage, die nicht mit einem Link oder einer kleinen Spur beantwortet werden kann. Die Antwort erfordert Absätze mit mehreren Unterthemen.

Googles MUM-Ankündigung erklärte die Komplexität einiger Fragen mit einem Beispiel von Forschern, die wissen wollen, wie man sich auf eine Wanderung auf dem Fuji im Herbst vorbereitet.

Googles komplexe Suchabfrage

“Heute kann Google Ihnen dabei helfen, aber es erfordert eine Menge durchdacht ausgewerteter Suchanfragen – Sie müssen nach der Höhe jedes Berges, der Durchschnittstemperatur im Herbst, der Schwierigkeit von Wanderwegen, der richtigen Ausrüstung und vielem mehr suchen.”

Ein Beispiel für eine Langformfrage:

“Was sind die Unterschiede zwischen Gewässern wie Seen, Flüssen und Ozeanen?”

Die obige Frage erfordert mehrere Absätze, um die Qualitäten von Seen, Flüssen und Meeren zu diskutieren, sowie den Vergleich jedes Gewässers.

Hier ist ein Beispiel für die Komplexität der Antwort:

Ein See wird oft als stehendes Wasser bezeichnet, weil er nicht fließt.

Es fließt ein Fluss.

Sowohl der See als auch der Fluss sind in der Regel Süßwasser.

Aber ein Fluss und ein See können manchmal bitter (salzig) sein.

Ein Ozean könnte meilenweit tief sein.

Die Beantwortung einer Long-Form-Frage erfordert eine komplexe Antwort mehrerer Schritte, wie z. B. das Beispiel, das Google mit der Frage geteilt hat, wie man sich auf die Berg-Fuji-Wanderung im Herbst vorbereiten kann.

Googles MUM-Ankündigung erwähnte Long Form Q&A nicht, aber das scheint genau das Problem zu sein, das MUM gelöst hat.

Veränderung der Art und Weise, wie Fragen beantwortet werden

Im Mai 2021 veröffentlichte ein Google-Forscher namens Donald Metzler einen Artikel, der den Fall vorstellte, dass Suchmaschinen in eine neue Richtung gehen sollten, um komplexe Fragen zu beantworten.

Der Artikel stellte fest, dass die aktuelle Methode zum Abrufen von Informationen, die aus der Indizierung und Sortierung von Webseiten besteht, nicht ausreicht, um komplexe Suchanfragen zu beantworten.

Artikeltitel, Rethinking Search: Erstellen von Experten aus Wishers

Eine erfahrene Person, wie ein Amateur, ist die Person, die oberflächliche Kenntnisse über etwas hat, das kein Experte ist.

Das Papier positioniert den Status von Suchmaschinen heute wie folgt:

“Die heutigen hochmodernen Systeme basieren oft auf einer Reihe von Kandidaten… und Semantik… basierend auf einer Kombination von Zugriff.

Diese Gruppe von Kandidaten wird dann an eine oder mehrere Phasen der Neuanordnung von Modellen übergeben, bei denen es sich in der Regel um Lernmodelle handelt, die auf neuronalen netzwerkbasierten Sortierungen basieren.

Wie bereits erwähnt, basiert das Index-Fetch-after-Sort-Paradigma auf Zeittests, und es ist nicht verwunderlich, dass fortgeschrittenes maschinelles Lernen und NLP-basierte Ansätze ein integraler Bestandteil der Indizierungs-, Abruf- und Sortierkomponenten moderner Systeme sind. . “

Modellbasierter Informationszugriff

Das neue System, das von den Making Experts aus Dilettantes Forschungsartikel beschrieben wird, ist ein System, das den Index-Wiederherstellungs-Sortierungsteil des Algorithmus eliminiert.

Dieser Teil des Forschungsartikels bezieht sich auf IR ; Dies bedeutet Zugang zu Informationen, was Suchmaschinen tun.

Das Papier beschreibt diese neue Richtung für Suchmaschinen wie folgt:

“Der so genannte modellbasierte Informationszugang zielt darauf ab, das “Paradigma” herkömmlicher IR-Systeme zu ersetzen, indem Indizierung, Abruf und Sortierung von Komponenten in ein einziges einheitliches Modell eingeschlossen und dann in die Aufstellung eingefügt werden.”

Der Artikel enthält dann detaillierte Informationen darüber, wie das ” einheitliche Modell ” funktioniert.

Lassen Sie uns hier anhalten, um Sie daran zu erinnern, dass Googles neuer Algorithmus Multitask Unified Model genannt wird.

Im Moment überspringe ich die Beschreibung des kombinierten Modells und notiere:

“Der wichtige Unterschied zwischen den heutigen Systemen und dem projizierten System besteht darin, dass ein einheitliches Modell die Indizierung, den Zugriff auf und die Sortierung von Komponenten ersetzt. Im Wesentlichen wird es als modellbasiert bezeichnet, weil es nichts als ein Modell gibt. “

“Um dies zu erreichen, wurde ein so genanntes modellbasiertes Informationsabruf-Framework vorgeschlagen, um Pausen vom entfernten traditionellen Index-nach-Rang zu nehmen, indem die Informationen in einem Paradigma-in-einer-Community-Einheitsmodellindizierung kodiert werden, das Abrufen und Sortieren von Komponenten traditioneller Systeme ändert.”

Ist es ein Zufall, dass die Technologie, die Google verwendet, um komplexe Fragen zu beantworten, multitasking Unified Model genannt wird, und das in diesem Dokument vom Mai 2021 diskutierte System zeigt die Notwendigkeit eines “einheitlichen Modells”, um komplexe Fragen zu beantworten?

Was ist ein MUM-Forschungszertifikat?

Es kündigt die Notwendigkeit eines Algorithmus an, der die Aufgabe der Beantwortung komplexer Fragen ausführt, und schlägt ein einheitliches Modell vor, um dies zu erreichen.

Es bietet einen Überblick über den Prozess, ist aber ein wenig kurz über Details und Experimente.

Es gibt eine weitere Forschungsarbeit im Dezember 2020 veröffentlicht, die einen Algorithmus mit Experimenten und Details beschreibt, und einer der Autoren…

Der Forschungsartikel vom Dezember 2020 heißt Multitasking Mix of Sequential Experts for User Activity Flows.

Lassen Sie uns hier aufhören, den Namen von Googles neuem Algorithmus sichern und wiederholen: Multitasking Unified Model

Mai 2021 Rethinking the Search: Ralik 2020 vorherige sforschungspapier wurde von demselben Autor wie der Multitasking Mix of Sequential Experts for User Activity Flows (PDF) benannt.

Sind das Zufälle? Die Ähnlichkeiten zwischen MUM und diesem anderen Forschungspapier sind seltsam ähnlich.

MoSE: Multitasking Mix of Sequential Experts for User Activity Flows

MoSE ist eine Maschinenintelligenztechnologie, die Such- und Scanprotokolle aus mehreren Datenquellen lernt, um komplexe mehrstufige Suchmodelle vorherzusagen. Es ist sehr effizient, was es skalierbar und leistungsstark macht.

Diese Funktionen von MoSE entsprechen den spezifischen Qualitäten des MUM-Algorithmus, insbesondere, dass Mama komplexe Suchanfragen beantworten kann und 1.000 Mal leistungsfähiger ist als Technologien wie BERT.

Was MoSE tut

MoSE lernt aus der sequenziellen Reihenfolge der Klick- und Scandaten des Benutzers. Diese Informationen ermöglichen es, den komplexen Prozess von Suchabfragen zu modellieren, um zufriedenstellende Antworten zu generieren.

Googles MoSE-Forschungspapier vom Dezember 2020 erklärt das Modellieren des Nutzerverhaltens in der Reihenfolge, im Gegensatz zur Modellierung von Suchanfragen und Kontexten.

Die Sequenzierung des Benutzerverhaltens in der Reihenfolge ist wie das Untersuchen, wie ein Benutzer danach sucht, um zu verstehen, wie auf eine komplexe Abfrage zu reagieren ist.

So erklärt es das Papier:

“In dieser Studie untersuchen wir das herausfordernde Problem, wie das sequenzielle Benutzerverhalten in neuronalen Multitasking-Lernumgebungen modelliert werden kann.

Unser größter Beitrag ist ein neues Framework, The Mix of Sequential Specialists (MoSE). Der hochmoderne Multi-Door Expert Mix modelliert eindeutig das sequenzielle Nutzerverhalten mit Long Short-Term Memory (LSTM) innerhalb des Multitasking-Modellierungsframeworks. “

Dieser letzte Teil über das ” Multi-Gate Mixture-of-Expert Multi-Task Modeling Framework ” ist ziemlich mundtot.

MoSE trainiert in der Suche

Der MoSE-Algorithmus konzentriert sich auf das Lernen aus heterogenen Daten, d. h. unterschiedlichen Datenformen.

Was uns im Kontext von MUM interessiert, ist, dass der MoSE-Algorithmus im Kontext der Suche und im Kontext der Interaktionen von Forschern auf der Suche nach Antworten diskutiert wird, das heißt, welche Schritte ein Forscher unternimmt, um eine Antwort zu finden.

“In dieser Studie haben wir festgestellt, dass heterogene Datenquellen, z. B. Wir konzentrieren uns auf die Modellierung von Suchprotokollen und scannen Protokolle von Benutzeraktivitätsflüssen und Interaktionen zwischen ihnen.”

Forscher haben den MoSE-Algorithmus bei Suchaufgaben in G Suite und Gmail ausprobiert und getestet.

MoSE und Suchverhaltensvorhersage

Ein weiteres Feature, das MoSE zu einem interessanten Kandidaten macht, um mum-related zu sein, ist, dass es eine Reihe von aufeinander folgenden Suchen und Verhaltensweisen vorhersagen kann.

Komplexe Suchanfragen können bis zu acht Suchanfragen durchführen, wie in der Google MUM-Ankündigung angegeben.

Wenn ein Algorithmus diese Suchvorgänge jedoch vorhersagen und in die Antworten einbeziehen kann, kann der Algorithmus diese komplexen Fragen besser beantworten.

In der MUM-Ankündigung heißt es:

Aber mit einer neuen Technologie namens Multitask Unified Model, oder MUM, kommen wir ihnen bei solch komplexen Anforderungen nahe. Daher werden Sie in Zukunft weniger suchen müssen, um Dinge zu erledigen. “

Was das MoSE-Forschungsdokument besagt:

Beispielsweise sind Benutzerverhaltensflüsse, z. B. Benutzersuchprotokolle auf Suchsystemen, von Natur aus ein temporäres Array. Das Modellieren des sequenziellen Benutzerverhaltens als explizite Darstellungen kann das Multitaskingmodell stärken, um zeitliche Abhängigkeiten zu kombinieren, wodurch das zukünftige Benutzerverhalten genauer vorhergesagt wird. “

MoSE ist extrem
effizient in Ressourcenkosten MoSE Effizienz ist wichtig.

Je weniger Rechenressourcen ein Algorithmus benötigt, um eine Aufgabe abzuschließen, desto leistungsfähiger kann er in diesen Aufgaben sein, da er ihm mehr Platz zum Skalieren gibt.

Mama soll 1.000 Mal mächtiger sein als BERT.

Das MoSE-Forschungsdokument erwähnt den Ausgleich der Suchqualität mit den Ressourcenkosten, was ein Verweis auf Ressourcenkostenberechnungsressourcen ist.

Das Ideal ist es, qualitativ hochwertige Ergebnisse mit minimalen Rechenressourcenkosten zu erzielen, die es ermöglichen, für eine größere Aufgabe, z. B. die Suche, zu skalieren.

Der ursprüngliche Penguin-Algorithmus, ein Link-Diagramm über die gesamte Webkarte genannt, kann nur mehrmals im Jahr ausgeführt werden. Vermutlich, weil es ressourcenintensiv war und nicht täglich ausgeführt werden konnte.

Im Jahr 2016 wurde Penguin mächtiger, da es nun in der Lage war, in Echtzeit zu arbeiten. Dies ist ein Beispiel dafür, warum es wichtig ist, qualitativ hochwertige Ergebnisse mit minimalen Ressourcenkosten zu erzielen.

Je weniger Ressourcenkosten MoSE benötigt, desto stärker und skalierbar er kann sein.

Hier ist, was die Forscher über moSE Ressourcenkosten gesagt:

“In Experimenten zeigen wir die Effektivität der MoSE-Architektur auf sieben alternativen Architekturen in synthetischen und lauten realen Benutzerdaten in der G Suite.

Wir zeigen auch die Effektivität und Flexibilität der MoSE-Architektur in einer realen Entscheidungsmaschine, die Millionen von Benutzern in GMail umfasst, die Suchqualität und Ressourcenkosten ausbalanciert. “

Dann, gegen Ende des Artikels, berichtet er von folgenden außergewöhnlichen Ergebnissen:

Wir weisen auf die beiden Vorteile von MoSE aufmerksam. Erstens schneidet MoSE in Bezug auf die Leistung deutlich besser ab als sein stark abgestimmtes gemeinsames Bodenmodell. Mit einem Ressourceneinsparungsbedarf von 80 % kann MoSE ca. 8 % mehr Klicks auf die Dokumentensuche erzielen, die im Produkt sehr wichtig sind.

Darüber hinaus ist MoSE aufgrund seiner Modellierungsleistung auf verschiedenen Ebenen der Ressourceneinsparung robust, obwohl wir Aufgaben während des Trainings gleich gewichten. “

Und sie ist stolz auf ihre Kraft und Flexibilität, um wieder zu veränderungen zurückzukehren:

“Dies gibt MoSE mehr Flexibilität, wenn sich die geschäftlichen Anforderungen in der Praxis weiter ändern, da ein robusteres Modell wie MoSE die Notwendigkeit reduzieren kann, das Modell im Vergleich zu Modellen umzuschulen, die im Training empfindlicher auf wichtige Gewichte reagieren.”

MoSE und Transformator

Mum wurde angekündigt, mit der Transformer-Technik gemacht zu werden.

In der Ankündigung von Google heißt es:

“MUM hat das Potenzial, die Art und Weise zu verändern, wie Google Ihnen bei komplexen Aufgaben hilft. Wie BERT basiert auch die MUM auf einer Transformer-Architektur, ist aber 1.000-mal leistungsfähiger. “

Die Ergebnisse, die im MoSE-Forschungsdokument vor sechs Monaten im Dezember 2020 berichtet wurden, waren bemerkenswert.

Die im Jahr 2020 getestete Version von MoSE wurde jedoch nicht mit der Transformer-Architektur erstellt. MoSE kann leicht mit Transformatoren erweitert werden, so die Forscher.

In dem im Dezember 2020 veröffentlichten Papier nannten die Forscher Transformatoren als zukünftige Richtung für MoSE:

“Das Experimentieren mit fortgeschritteneren Techniken wie Transformer gilt als zukünftiger Job.

MoSE, das aus allgemeinen Bausteinen besteht, kann leicht erweitert werden, wie z. B. die Verwendung von LSTM sowie andere sequenzielle Modellierungseinheiten, einschließlich GUs, Aufmerksamkeiten und Transformatoren… “

Laut dem Forschungspapier kann MoSE mit anderen Architekturen wie Transformatoren leicht gestärkt werden. Das bedeutet, dass MoSE Teil dessen sein kann, was Google als MUM ankündigt.

Warum spielt moSE Erfolg eine Rolle?

Google veröffentlicht viele Algorithmuspatente und Forschungsberichte. Viele stoßen an die Grenzen der neuesten Technologie und bemerken gleichzeitig Fehler und Fehler, die einer weiteren Untersuchung bedürfen.

Das ist bei MoSE nicht der Fall. Gegenüber. Die Forscher stellen die Leistungen von MoSE und die Möglichkeiten fest, die es noch gibt, um es noch besser zu machen.

Was die MoSE-Forschung noch bemerkenswerter macht, ist das Ausmaß des Erfolgs, den sie beansprucht, und die Tür, die sie offen lässt, um es noch besser zu machen.

Es ist bemerkenswert und wichtig, dass ein Forschungspapier Erfolg behauptet, nicht eine Mischung aus Erfolg und Verlusten.

Dies gilt insbesondere dann, wenn Forscher behaupten, diese Errungenschaften ohne signifikante Ressourcenzustände zu erreichen.

Ist MoSE Google MUM AI-Technologie?

MUM ist definiert als technologieaus künstlicher Intelligenz. MoSE wird auf Googles KI-Blog als Machine Intelligence kategorisiert. Was ist der Unterschied zwischen KI und Machine Intelligence? Nicht so sehr, denken Sie daran, dass ich maschinellINTELLIGENCE schreibe, nicht maschinelles Lernen, das in fast der gleichen Kategorie ist. Die Google AI Publications-Datenbank klassifiziert Forschungsartikel im Zusammenhang mit KI in die Kategorie Machine Intelligence. Es gibt keine KI-Kategorie.

Wir können nicht mit Sicherheit sagen, dass MoSE Teil der zugrunde liegenden Technologie von Googles MUM ist.

Es ist möglich, dass MUM tatsächlich ein paar Technologien ist, die zusammenarbeiten, und MoSE ist ein Teil davon.

MoSE kann ein wichtiger Teil von Google MUM sein.

Oder MoSE hat vielleicht nichts mit MUM zu tun.

Es ist jedoch interessant, dass MoSE ein erfolgreicher Ansatz zur Vorhersage des Benutzersuchverhaltens ist und einfach mit Transformers skaliert werden kann.

Unabhängig davon, ob dies Teil der MUM-Technologie von Google ist oder nicht, zeigen die in diesen Dokumenten beschriebenen Algorithmen, was die neueste Technologie im Informationszugriff ist.


Your nameYour emailYour text

Leave a Reply

Categories

Kategoriler

Log in
Register
Send message