Die Apps FotoOto und Aipoly Vision unterstützen sehbehinderte Menschen dabei, zu erkennen, was Fotos zeigen und diese zu versenden. Highlight von FotoOto ist, dass sie Farben in Töne verwandeln kann und so Bilder akustisch erlebbar machen soll. Die von Publicis Pixelpark entwickelte App FotoOto ist kostenlos im App Store erhältlich. Eine Alternative dazu ist die App Aipoly Vision, die ihr ebenfalls kostenlos im App Store bekommt. Im Gegensatz zu FotoOto dient Aipoly Vision nicht dazu, um Fotos von seiner Umgebung zu machen und diese zu analysieren. Stattdessen funktioniert sie als Scanner, mit dem man seine Umgebung in Echtzeit untersuchen kann.

Mit den Ohren sehen

Die Apps greifen auf ein bekanntes Prinzip zurück. Unser Gehirn ist dazu in der Lage, akustische Informationen zu interpretieren und sie in visuelle zu verwandeln. Bisher war dafür aber sehr aufwendige Technik nötig. So erzeugte etwa der Wissenschaftler Guillermo Peris für eine Studie (mehr dazu hier beim Deutschlandfunk) mit Infrarot-Lasern und Stereo-Kameras ein komplexes, dreidimensionales Klangbild einer Umgebung, durch sich ein blinder Proband mühelos bewegen konnte. In Zeiten, wo es sprichwörtlich für alles eine App gibt, stellt sich die Frage, ob das nicht auch mit einem simpleren Setup funktioniert.

FotoOto: Nicht für 4-Zoll-Displays optimiert

Als ich FotoOto zum ersten Mal öffne, erwartet mich ein Tutorial zur App. Leider fangen schon hier Schwierigkeiten an. Die Schriftgröße des Textes ist außergewöhnlich groß, so groß nämlich, dass er gar nicht auf den 4 Zoll großen Bildschirm meines iPod touch passt. Hier muss ich scrollen, um alles lesen zu können, was mal mehr, mal weniger klappt.

Im Test hat sich gezeigt, dass die App besser funktioniert, wenn man sie bei eingeschaltetem VoiceOver bedient. Das ist natürlich gewöhnungsbedürftig, dadurch erklären sich aber auch einige nicht beschriftete Schaltflächen. VoiceOver ist eine iOS-interne Bedienungshilfe für Sehbehinderte.

FotoOto verwandelt Bilder in Klänge

Die Innovation, die FotoOto so besonders macht, ist die Funktion, Bilder in Klänge zu verwandeln. Jede Farbe ist dabei einem speziellen Klang zugeordnet. Die Zuordnung wird im Tutorial vorgestellt und kann auch hinterher – wie auch das ganze Tutorial – erneut aufgerufen werden.

Problematisch ist hierbei, dass die Klänge alle sehr weich und undefiniert sind. Das Bild eines Kissens klingt in etwa wie der Klangteppich, der einem entgegen kommt, wenn man eine CD mit Entspannungsmusik einlegt: Klangschalen, Regenmacher und ruhige Streicher.

Diese Geräuschkulisse in seine Einzelteile zu zerlegen und zu analysieren, welche Farben bzw. Klänge das Bild ausmachen, ist kaum möglich – zumindest für mich als Sehenden. Selbst, wenn ich mir die Zeit nehmen würde, um die ganze Farb-Klang-Zuordnung auswendig zu lernen, erschließt sich mir der praktische Nutzen im Alltag nicht.

Als Information steht einem sehbehinterten Nutzer letztlich nur zur Verfügung, was der Algorithmus auf dem Foto zu erkennen glaubt und welche Farben das Bild enthält, nicht aber, welche Konturen es gibt. Somit taugt der Klangteppich von FotoOto allerhöchstens zur Unterhaltung.

Vieles wird nicht richtig erkannt

A propos Algorithmus: Leider erkennt die App vieles, das ich im Haushalt so fotografieren könnte, nicht richtig. Überrascht hat mich, dass ein Bild mit komplexem Inhalt, wie eine Katze in einem Katzenhäuschen, fast richtig erkannt wurde. Denn das Bild ist schlecht ausgeleuchtet, was Kameras oft Probleme bereitet. Außerdem es gibt viele weiche Formen und verschiedene Ebenen.

Im Gegensatz dazu wird ein Bild mit geraden Konturen und wenigen Ebenen, wie beipielsweise mein Smartphone, nicht richtig erkannt. Das ist schade, denn möchte ich jemandem ein Bild meines neuen Smartphones zeigen, hat dieser dann nur als Information zur Verfügung, dass das Bild einen Holztisch zeigt und dass die dominierenden Farben Braun und Schwarz sind.

Zwar gibt es noch die Möglichkeit, dem Bild eine Sprachaufnahme hinzuzufügen. Ich kann zum Beispiel erklären, was auf dem Bild zu sehen ist oder einfach die Atmosphäre des fotografierten Ortes einfangen und mit übermitteln. Aber im Test funktionierte das nicht. Außerdem gibt es keine Möglichkeit, die Sprachaufnahme zu beenden, ohne sie gänzlich zu löschen. Des Weiteren konnte der Empfänger, dem ich die Datei im Test geschickt habe, nicht öffnen.

Die Kamerafunktion ist mangelhaft

Für jemanden, der nicht sehen kann – für den es also reicht, wenn das fotografierte Objekt auf dem Bild zu erkennen ist – mag die Qualität der Kamera ausreichend sein. Jemand, der sehen kann, wird aber mehr als das erwarten. Mir geht es dabei weniger um die Leistung der integrierten Kamera meines iPod touch.

Viel eher stört mich die technische Umsetzung der Integration einer Kamerafunktion in die App. Natürlich ist es praktisch, nicht extra FotoOto verlassen zu müssen, um mit der Apple-eigenen Kamera-App ein Foto zu machen, dann wieder zu FotoOto zurück zu wechseln, dann das Bild aus der Galerie zu importieren, um dann zu erfahren, was sich auf dem Bild befindet.

Leider wurde bei der Integration der Kamerafunktion in die App vieles weggelassen. Der Blitz ist automatisch aktiviert und lässt sich auch nicht ausschalten. Darüber hinaus sind Aufnahmen nur im Hochformat möglich, da die App nicht ins Querformat wechselt, wenn das Gerät gekippt wird. Allerdings funktioniert die Erkennung auch, wenn man das Gerät während der Aufnahme kippt.

Alternative: Aipoly Vision

Besser als FotoOto schlägt sich die App Aipoly Vision. Die App kostet nichts, wenn ihr sie herunterladet. Doch um Zugang zu vielen nützliche Features zu erhalten, müsst ihr einen Aufpreis bezahlen.

Die Anwendung setzt auf eine Form der künstlichen Intelligenz. Das Prinzip, dessen sich die Entwickler von Aipoly Vision bedient haben, nennt sich Convolutional Neural Network, kurz CNN. Es bezeichnet eine Art des Machine Learnings, das von biologischen Prozessen inspiriert wurde und vor allem zum Einsatz kommt, wenn Bild- und Audiodaten verarbeitet werden sollen.

Die Scanner-artige App funktioniert so: Wenn Aipoly Vision etwas erkannt hat, erscheint der Name des erkannten Gegenstanden auf dem Bildschirm und wird außerdem vorgelesen. Das ist etwas unangenehm, wenn ich nicht damit rechne. Erst recht, wenn ich mich in der Öffentlichkeit befinde. Doch dafür kann ich schließlich Kopfhörer benutzen.

Anschließend habe ich die Möglichkeit, verschiedene Filter zu benutzen. Der erste Filter scannt wie oben beschrieben die Umgebung und benennt erkannte Objekte. Der nächste Filter analysiert, welche Farbe der gescannte Gegenstand hat. Die Benennung der Farben ist dabei sehr präzise. Es werden alle nur denkbaren Abstufungen von Farben genannt, mitunter leider nicht korrekt aus dem Englischen übersetzt.

Farberkennung beeinträchtigt das Ergebnis

Mich störte außerdem, dass die Farberkennung sehr instabil verläuft. Schon mikroskopisch kleine Ausschläge verändern die erkannte Farbe. Nun bin ich aber des Sehens mächtig und kann das Gerät einigermaßen stabil halten, wohingegen man dies von einem Sehbehinderten nicht erwarten kann. Die Unsicherheit des Filters resultiert in einer nicht abreißenden Aneinanderreihung von Farbtönen: „Rotguss Holzkohle Blaugrau Beige (sprich „bei-ge“) Saphir cool grey“.

Mitunter werden die Farbtöne auch nicht richtig analysiert, wenn Lichtverhältnisse oder der automatisch ein- und ausgeschaltete Blitz die Farbwahrnehmung der Kamera ungünstig beeinflussen. Der letzte frei verfügbare Filter ordnet ein, in welcher Umgebung man sich in etwa befindet, zum Beispiel Schlafzimmer, Fenster oder Computerarbeitsplatz.

Die anderen Filter sind nur in der kostenpflichtigen Version enthalten. Diese liefert Antworten auf Fragen wie: Was ist da auf meinem Teller? Was blüht da auf meiner Fensterbank? Und was steht auf diesem Zettel? Aipoly Vision kann Gerichte, Tiere, Pflanzen und Blumen sowie Text in sieben Sprachen erkennen. Das Abonnement kostet, im Anschluss an eine kostenlose Probephase, 5,99 Euro im Monat.

Fazit: Das darf noch besser werden

Beide Apps haben Stärken und Schwächen. Die Erkennungsleistung schwankt stark. Bei manchen Motiven ist die eine App, bei manchen die andere besser. Insgesamt haben beide Apps Verbesserungsbedarf. Die Idee, eine App zu entwickeln, mit der Sehbehinderte Bilder erkennen und akustisch erfahren können, finde ich klasse. Leider ist die Umsetzung insbesondere bei FotoOto fehlgeschlagen, sodass die App ihren Zweck nicht erfüllt. Nicht einmal zu Unterhaltungszwecken lohnt es sich, FotoOto auszuprobieren.

Auch, wenn Aipoly Vision mit einem begrenzten Funktionsumfang kommt, gefällt mir die Qualität und der Funktionsumfang hier deutlich besser als bei FotoOto. Die Integration einer Aufnahmefunktion in die App wäre wünschenswert, ist aber nicht erforderlich. Überflüssige Features wie die (nicht funktionierende) Sprachaufnahme und die unverständliche Übersetzung in einen Klangteppich wurden weggelassen und ich habe sie auch nicht vermisst. Sechs Euro im Monat sind für eine App zwar verhältnismäßig viel, wer jedoch wirklich unter einer Sehbehinderung leidet, wird sich freuen, dass es derartige Technologie inzwischen zu erschwinglichen Preisen im App Store gibt.

Dieser Artikel erschien zuerst auf Applepiloten.

---

Teaser Image by Publicis Pixelpark; Screenshots by Niklas Hamburg

---

Artikel per E-Mail verschicken
Schlagwörter: Aipoly Vision, APP NEWS, Augen, Ausgabe, Bedienungshilfe, bild, Blinde, cnn, FotoOto, KI, Klang, Machine Learning, scanner, sehen, Sprachaufnahme, Sprache, test, Ton, VoiceOver, Vorlesen