Google déploie Guided Vision dans Gemini Live sur les appareils Android compatibles. Cette fonction permet à l’intelligence artificielle d’analyser en temps réel ce que filme la caméra du smartphone et de fournir des descriptions audio.

L’outil peut notamment lire de petits textes, décrire un environnement, identifier des objets ou donner davantage de détails sur un élément montré à la caméra. L’utilisateur peut ensuite poser des questions supplémentaires, par exemple demander la date de péremption d’un produit qui vient d’être identifié.

Guided Vision est également intégré à Google TalkBack et peut être configuré comme raccourci d’accessibilité sur les appareils fonctionnant sous Android neuf ou une version plus récente. Google destine notamment cette technologie aux personnes aveugles ou malvoyantes, mais elle peut aussi servir ponctuellement à d’autres utilisateurs.

Gemini peut même fournir des indications audio pour aider à placer correctement la caméra lorsqu’un élément recherché n’est pas encore dans le champ.

Google précise toutefois que Guided Vision ne doit pas être utilisé pour la navigation, les déplacements en sécurité ou la détection d’obstacles. La fonction ne doit donc pas remplacer une canne ou une aide à la mobilité.