AI-Samenvatting (In het kort): Gemini Guided Vision is een innovatieve spraak- en camerafunctie binnen Gemini Live op Android. Waar traditionele AI-apps wachten op een statische foto, kijkt Gemini via een live videostream mee en geeft actieve gesproken instructies om de camera beter te richten (zoals “kantel omlaag” of “stap naar achteren”). Hierdoor leest de AI probleemloos kleine lettertjes voor, vindt hij rondslingerende voorwerpen terug, beschrijft hij kleuren en patronen, en brengt hij ruimtes in kaart. Ontwikkeld in samenwerking met toonaangevende tolkdiensten zoals Aira, biedt dit een enorme sprong voorwaarts in hands-free toegankelijkheid en alledaags gemak.
Het grootste probleem bij het gebruik van camera-AI is vaak niet het model zelf, maar de manier waarop we onze smartphone vasthouden. Je probeert een klein etiket te scannen of een gevallen voorwerp te zoeken, maar de camera wijst net naast het doel of er valt een schaduw over de tekst. Met Gemini Guided Vision lost Google dit op door van de AI een interactieve gids te maken.
In plaats van een passieve assistent die pas iets analyseert nadat je een foto hebt geschoten, coacht Gemini je stemgestuurd terwijl je rondkijkt.
Hoe werkt Gemini Guided Vision?
Gemini Guided Vision draait direct binnen Gemini Live, de continue spraakmodus van Google. Zodra je jouw camera deelt tijdens een actieve sessie, analyseert de multimodale AI het videobeeld in realtime.
Het unieke aan Guided Vision zit in de actieve feedbackcyclus:
- Actieve cameracoaching: Ziet het model dat je te dichtbij staat, te ver weg bent of dat een voorwerp buiten beeld valt, dan hoor je directe instructies zoals: “Draai de telefoon iets naar rechts”, “Kantel omlaag” of “Neem een stapje terug”.
- Natuurlijk doorvragen: Omdat de spraakverbinding open blijft, hoef je niet telkens opnieuw een commando in te spreken. Je vraagt bijvoorbeeld eerst wat er op tafel ligt, waarna je vraagt om de houdbaarheidsdatum op het melkpak voor te lezen.
- Getraind met experts: Google heeft de functie datagestuurd ontwikkeld in nauwe samenwerking met visuele experts en slechtziende testers wereldwijd, waardoor de navigatie natuurlijk, accuraat en rustig verloopt.
Wat kun je ermee doen in de praktijk?
De mogelijkheden zijn breed, variërend van dagelijkse toegankelijkheidshulp tot snelle handigheidjes in en om het huis:
- Kleine letters en etiketten ontcijferen: Richt de camera op een medicijndoosje, het wasvoorschrift van een kledingstuk of het display van een huishoudelijk apparaat. Gemini helpt je het etiket te centreren en leest de relevante instructies of ingrediënten hardop voor.
- Kwijtgeraakte spullen terugvinden: Zoek je een gevallen sleutelbos, een oordopje op het tapijt of een specifiek potje in een keukenkastje? Beweeg je camera rustig rond; Gemini scant de omgeving en meldt direct waar het voorwerp zich bevindt.
- Kleuren, kleding en patronen beoordelen: Vraag hands-free of twee kledingstukken qua kleur bij elkaar passen, of laat patronen op borden en stoffen gedetailleerd beschrijven.
- Onbekende ruimtes verkennen: Wanneer je een nieuwe hotelkamer of onbekende werkplek binnenstapt, kan Gemini de indeling samenvatten en wijzen op obstakels of looproutes.
Hoe zet je Guided Vision aan op Android?
De functionaliteit is geïntegreerd in het Android-ecosysteem en kan op verschillende manieren worden geactiveerd:
- Via de Gemini-app: Open de Gemini-app, ga via je profielicoon naar Instellingen, schakel ‘Guided Vision in Live gebruiken’ in en open vervolgens een Gemini Live-gesprek met de camera geactiveerd.
- Via Android Toegankelijkheidssnelkoppelingen: Navigeer naar
Instellingen > Toegankelijkheid > Visuele ondersteuning > Guided Vision. Wijs een sneltoets toe (zoals beide volumeknoppen tegelijk indrukken of een schermknop). - Via TalkBack: Tik met drie vingers op het scherm om het TalkBack-contextmenu te openen en kies direct voor Guided Vision.
Belangrijke kanttekening: Hoewel Gemini Guided Vision een krachtig hulpmiddel is voor objectherkenning en tekst, benadrukt Google dat het geen vervanging is voor officiële mobiliteitshulpmiddelen, taststokken, geleidehonden of formele navigatiehulpmiddelen.
Gemini Guided Vision markeert een omslagpunt waarin AI niet meer alleen reageert op wat toevallig in beeld verschijnt, maar proactief samenwerkt om de wereld om je heen scherp en verstaanbaar te maken.