Google Lens: Bild- und Texterkennung per App

Im Mai 2017 präsentierte Google an der Entwicklerkonferenz seine neuste Innovation: Google Lens. Natürlich haben wir damals über diese Neuerung gebloggt. Ursprünglich waren die Funktionen in den Google Assistant integriert. Mittlerweile existiert allerdings eine eigene App, die für eine grössere Zielgruppe zugänglich ist, da sie auch für iOS-Geräte kompatibel ist. Hier erfahrt ihr, was die App alles kann und wie sie uns den Alltag erleichtern soll.

Wie funktioniert Google Lens?

Im Prinzip relativ banal. Google Lens ist quasi ein visuelles Analyse-Tool, das via Handykamera Objekte identifiziert und diese mit Fotos aus dem grossen weiten Internet abgleicht. Mit der eigens dafür kreierten App oder mit dem bei Google-Fotos (für Android und iOS) integrierten Feature können zum Beispiel unbekannte Tiere, Pflanzen oder Denkmäler bestimmt werden. Google Lens spuckt mithilfe neuronaler Netzwerke aber nicht nur die Information aus, was oder wer das ist, sondern reichert das Ergebnis mit zusätzlichen Bildern und Infos an: Das «Scannen» eines Tellers Spaghetti führt einen zum Beispiel weiter zum passenden Rezept. Google Lens erkennt aber nicht nur reale Objekte, sondern auch Barcodes oder Text. Richtest du die Kamera einmal auf den Namen «Kim Kardashian», wirst du sofort auf die Google-Ergebnisse zum IT-Girl oder auf dessen Twitter-Account geleitet. Dabei genügt es, die Kamera nur auf das entsprechende Objekt bzw. den Text zu halten, ein Fingertipp o.ä. ist nicht nötig, die Analyse beginnt sofort. Selbst Handschriften kann Google Lens lesen, dazu später mehr.

Erleichterung und Inspiration im Alltag

Man stelle sich vor, wie man im Frühling durch die Landschaft wandert und links und rechts umgeben ist von knalligen, farbigen Blumen – wunderbar. Doch um welche Blumen handelt es sich eigentlich? Kurz Google Lens gezückt und die Antwort erscheint auf dem Display. Ein triviales Beispiel, doch im Grunde soll uns die App genau so den Alltag erleichtern, indem wir in kürzester Zeit die Antwort auf diverse Fragen erhalten. Weil uns die App aber nicht nur passgenaue Resultate (das passiert auch gar nicht so oft), sondern ähnliche Suchergebnisse anzeigt, birgt Google Lens grosses Inspirationspotential; das kann bei Kleidungsstücken der Fall sein oder bei Büchern und Kunstobjekten. Teilweise werden Links zu Shops angezeigt, wo der entsprechende bzw. ein ähnlicher Artikel gekauft werden kann.

Texterkennung: Handschriften lesen oder in Fremdsprachen kommunizieren?

Wie erwähnt hilft Google Lens nicht nur beim Erkennen und Bestimmen von Objekten bzw. Gegenständen, Tier- und Pflanzenarten, sondern auch beim Identifizieren und Kopieren von Text. Für Schüler und Studierende bedeutet das z.B., dass sie theoretisch nie mehr Notizen von der Tafel (sofern es das noch gibt) abschreiben müssen, sondern das dort notierte mit dem Handy direkt kopieren können. Dies gilt natürlich auch sonst für jede Art von Text, den man entsprechend nicht abschreiben oder abfotografieren muss, sondern mit Google Lens kopieren kann. Die App durchsucht den Text, den man selbst und beliebig markieren und auswählen kann, nach Buchstaben und Wörtern, die schliesslich kopiert und umgewandelt werden. Da Google Lens noch nicht ganz einwandfrei funktioniert, sollte aktuell besser noch kontrolliert werden, ob die App den Text auch wirklich richtig und vollständig kopiert hat und keine relevanten Informationen verloren gegangen sind – insbesondere, wenn die Handschrift etwas schwer leserlich ist.

Word Lens

Einen Schritt weiter hinsichtlich Texterkennung geht Word Lens, ein weiterer Google-Dienst, der unabhängig von Google Lens funktioniert und direkt in den Google Translator integriert wurde. Grundsätzlich funktioniert auch Word Lens wie oben beschrieben, nur eben ist die Anwendung auf Geschriebenes ausgerichtet. Du bist in den Ferien und sitzt ratlos vor der in der Landessprache verfassten Speisekarte? Dank Word Lens weisst, du was da auf dem Speiseplan steht, weil der gescannte Text direkt via Google Translator übersetzt wird. Die Sofortübersetzung wird dabei aber nicht als unformatierte Textdatei übermittelt, sondern anstelle des Originaltextes ins entsprechende Bild (in diesem Fall die Speisekarte) eingepasst. Das heisst allerdings, dass der Originaltext so ziemlich wortwörtlich übersetzt wird und die Eigenheiten und Satzstrukturen nicht berücksichtigt. Das kann mitunter zu ziemlich skurrilen Resultaten führen:

Screenshots privat

Diese Sofortübersetzung muss für die gewählten Sprachen (Fremd- und Muttersprache) verfügbar sein, ansonsten kann auch Google nicht helfen.

Ausblick: Mit Google Lens in die Zukunft

Die Fähigkeiten des Tools sind beachtlich. Natürlich hängt dies damit zusammen, dass Googles künstliche Intelligenz auf eine schier unzählbare Menge an im Internet gespeicherten Daten zurückgreifen kann. Doch die Skills sind noch weiter ausbaufähig. Viele Objekte werden nach wie vor nicht erkannt, auch Gesichter von Menschen, die keine Personen des öffentlichen Lebens sind, erkennt Google meistens nicht – zum Glück möchte man hier allerdings fast sagen. Die App entwickelt sich mit der Hilfe derer weiter, die die App nutzen: Je mehr Objekte eingefangen und gesammelt werden, desto mehr kennt Google Lens später. Gerade hinsichtlich Texterkennung, bei der die Analyse noch etwas hinterherhinkt, ist dies von Bedeutung. Auch hinsichtlich Suchmaschinenoptimierung (SEO) ist die Funktion sehr interessant. Wer also will, dass Google Lens und Word Lens noch besser werden, sollte die Anwendungen fleissig nutzen und sie so mit möglichst vielen Daten speisen.