Project Astra : Google veut rendre l'IA multimodale utile au quotidien

Une IA "universelle et utile au quotidien". C'est en ces termes que Google décrivait il y a quelques instants son Project Astra, un projet d'IA multimodale capable de se montrer réellement pertinente au quotidien, pour les particuliers comme les professionnels. Sa particularité ? Sa capacité à comprendre et à répondre à un environnement complexe et changeant, exactement comme le ferait un humain, tout en gérant sans accrocs (et sans latence excessive), des échanges en langage naturel avec l'utilisateur.

Basé sur Gemini, ce dispositif est en mesure de mémoriser des éléments aperçus dans l'environnement de l'utilisateur, de manière à accumuler du contexte en lien avec ses demandes, mais aussi de façon à apporter des réponses plus précises lorsqu'il est interrogé. Google explique que ce Project Astra est "proactif, enseignable et personnel". Comment ? En tirant parti d'un smartphone (ou de lunettes de réalité augmentée) et du flux vidéo de sa caméra.

Pour parvenir à un résultat probant, Google précise avoir développé de nouveaux agents basés sur Gemini, capables de synthétiser des informations très rapidement en encodant en continu les images issues de ce flux vidéo, et en les combinant au discours de l'utilisateur de manière à obtenir une timeline d'événements sur lesquels s'appuyer pour aboutir à des interactions les plus naturelles possible. Project Astra est par ailleurs capable de prendre en compte l'intonation de l'utilisateur pour lui répondre plus précisément, et ce sans passer à côté du contexte de la conversation ou de la demande.

Une démonstration (que Google promet avoir filmé en une seule prise et en temps réel) nous permet de prendre la mesure du travail accompli par les équipes du géant de Mountain View. L'IA obtenue est capable de détecter sans latence n'importe quel élément visible dans l'environnement de l'utilisateur, de répondre à des questions, y compris complexes, relatives à un élément en particulier de cet environnement, et même de conserver en mémoire l’endroit où l'utilisateur a oublié ses lunettes.

Le moment le plus probant de la démonstration ? Probablement celui où l'utilisatrice demande à l'IA comment un système de serveur, simplement tracé sous la forme d'un croquis, pourrait être amélioré... L'IA lui suggère alors d'ajouter un peu de cache entre le serveur et sa base de données pour booster l'installation.

Suivez toute l'actualité des Numériques sur Google Actualités et sur la chaîne WhatsApp des Numériques