Aplicativo gratuito criado por engenheiro de software cego que atuou no Google e na Samsung ganha um assistente que enxerga, conversa por voz sem interrupções, descreve ambientes, informa onde a pessoa está, busca informações na internet, lê e toca partituras musicais e ajuda cegos a tirarem fotos bem enquadradas. Disponível para iPhone e Android.

O Visionauta, aplicativo de acessibilidade que usa inteligência artificial para dar mais autonomia a pessoas cegas e com baixa visão, anuncia sua maior atualização desde o lançamento — e agora fala onze idiomas: português, inglês, espanhol, francês, coreano, alemão, japonês, italiano, árabe, russo e chinês simplificado. A tradução vale para todo o aplicativo e também para as respostas da inteligência artificial, que conversa com o usuário no idioma dele.

O app é gratuito e está disponível para iPhone, na App Store, e para Android, na Google Play.

CONVERSA EM TEMPO REAL: UM ASSISTENTE QUE ENXERGA E FALA JUNTO

O principal recurso do Visionauta é a Conversa em Tempo Real. Nela, a pessoa fala naturalmente, sem apertar botões e sem esperar a vez, com uma inteligência artificial que vê pela câmera do celular e responde por voz na hora — como ter ao lado um amigo que enxerga e descreve o mundo.

Durante essa conversa, o Visionauta pode:

• Descrever ambientes e cenas — o que há na sala, quem está por perto, como está a mesa, que roupa está sobre a cama, se a luz está acesa.
• Dizer onde a pessoa está e o que existe ao redor — endereço atual, ruas, pontos de referência, farmácias, padarias e o ponto de ônibus mais próximo, usando informações de mapa em tempo real.
• Buscar informações na internet — notícias, horários, preços, dados atualizados, sem sair da conversa.
• Ler e tocar partituras musicais — basta apontar a câmera para uma partitura impressa. O Visionauta identifica as notas, lê a música em voz alta e a reproduz no próprio aparelho, gerando os arquivos MusicXML e MIDI. Um recurso inédito para músicos cegos, que historicamente dependem de terceiros ou de edições em braile raras e caras.
• Ajudar a pessoa com deficiência visual a tirar fotos — o assistente de foto orienta o enquadramento, avisa quando está bom, faz a contagem regressiva e dispara a câmera, para que fotos de família, de documentos ou de redes sociais saiam bem feitas.
• Chamar um carro por voz — basta dizer o destino e o app abre o Uber, 99, Bolt ou Lyft com a corrida já preenchida, restando apenas confirmar.
• Responder qualquer pergunta sobre o que está diante da câmera — que produto é este, qual a data de validade, qual a cor desta roupa, o que diz esta placa.

VISIONAUTA MAGIC: A IA QUE DESCREVE IMAGENS E EXECUTA TAREFAS NO CELULAR

Exclusivo do Android e disponível para assinantes do Visionauta Plus, o Visionauta Magic trabalha em conjunto com o leitor de tela do aparelho, como o TalkBack, e resolve dois problemas antigos da comunidade:

Primeiro, ele descreve as imagens sem rótulo que aparecem em qualquer aplicativo. Quando o foco do leitor de tela para sobre uma imagem, um ícone ou um cartão sem descrição, o Visionauta analisa apenas aquele elemento e anuncia em voz alta o que há nele.

Segundo, ele executa tarefas no celular. A pessoa pede algo como "abra o WhatsApp e mande uma mensagem para a Ana", e o Visionauta monta um plano, lê o plano em voz alta e só age depois da aprovação do usuário — narrando cada passo e podendo ser interrompido a qualquer momento por um botão de emergência ou por um toque duplo com dois dedos. Nada acontece sem confirmação.

OS RECURSOS DO DIA A DIA

Além da conversa, o Visionauta mantém o conjunto de ferramentas que o tornou popular na comunidade de pessoas com deficiência visual, boa parte delas funcionando sem internet:

• Leitura de textos offline — aponte a câmera para documentos, embalagens, cartas ou placas e ouça o conteúdo em voz alta.
• Reconhecimento de cédulas de dinheiro — Real, Dólar, Euro, Peso Mexicano, Iene, Dólar Canadense e Australiano, sem conexão.
• Localizador de objetos — diga "me ajude a encontrar meu celular" e o app varre o ambiente, avisando com vibração e voz ao encontrar.
• Lupa eletrônica para baixa visão — com zoom e modos de alto contraste, cores invertidas, branco no preto, preto no branco e amarelo no azul.
• Lanterna com lembrete por vibração.
• Vozes naturais próprias — que podem ser usadas por todo o sistema, como voz do TalkBack no Android e do VoiceOver no iPhone, funcionando offline depois de baixadas.

A versão para iPhone é totalmente integrada ao VoiceOver e aos recursos de acessibilidade do iOS.

DECLARAÇÕES

"A Conversa em Tempo Real mudou o que o Visionauta é. Não é mais um aplicativo em que você tira uma foto e espera uma resposta: é uma conversa contínua com alguém que enxerga por você e está sempre ali, seja para descrever a rua, achar a farmácia mais próxima ou ler a partitura que você vai tocar."
— Jonathan Santos

"Traduzir o aplicativo para árabe, russo, chinês, japonês, alemão e italiano não foi uma decisão de mercado, foi uma decisão de justiça. A tecnologia assistiva sempre chegou primeiro em inglês, e quem não fala inglês esperava anos. Dessa vez, não."
— Jonathan Santos

"Agradeço aos professores Ismar Frango e Nizam Omar, da Universidade Presbiteriana Mackenzie, que me incentivaram a transformar um projeto acadêmico em uma ferramenta real para a comunidade."
— Jonathan Santos

The app built by a blind software engineer who worked at Google and Samsung gains an assistant that sees: it talks by voice without interruptions, describes surroundings, tells the user where they are, searches the internet, reads and plays sheet music, and helps blind people take well-framed photos. Available for iPhone and Android.

Visionauta, the accessibility app that uses artificial intelligence to give more autonomy to blind and low-vision people, announces its largest update since launch — and now speaks eleven languages: Portuguese, English, Spanish, French, Korean, German, Japanese, Italian, Arabic, Russian and Simplified Chinese. The translation covers the entire app and also the answers from the artificial intelligence, which talks to users in their own language.

Every feature of the app can be used without paying, within daily quotas. The optional Visionauta Plus subscription raises those quotas. The app is available for iPhone on the App Store and for Android on Google Play.

REAL-TIME CONVERSATION: AN ASSISTANT THAT SEES AND TALKS BACK

The central feature of Visionauta is the Real-Time Conversation. The user speaks naturally — no button to press, no beep to wait for — with an artificial intelligence that sees through the phone's camera and answers immediately by voice. Like a sighted friend standing next to you, describing the world.

During this conversation, Visionauta can:

• Describe surroundings and scenes — what is in the room, who is nearby, how the table is set, which clothes are on the bed, whether the light is on.
• Say where the user is and what is around — current address, streets, landmarks, pharmacies, bakeries and the nearest bus stop, from real-time map data.
• Search the internet — news, opening hours, prices, up-to-date facts, without leaving the conversation.
• Read and play sheet music — just point the camera at printed music. Visionauta recognises the notes, reads the piece aloud and plays it right on the device, generating MusicXML and MIDI files. A new capability for blind musicians, who until now depended on other people or on rare and expensive braille editions.
• Help blind people take photographs — the photo assistant guides the framing, says when the shot is aligned, counts down and releases the shutter, so that family photos, documents or pictures for social media come out right.
• Call a car by voice — just name the destination, and the app opens Uber, 99, Bolt or Lyft with the trip already filled in; all that is left is to confirm.
• Answer any question about what is in front of the camera — what product is this, how long does it keep, what colour is this garment, what does this sign say.

VISIONAUTA MAGIC: THE AI THAT DESCRIBES IMAGES AND CARRIES OUT TASKS ON THE PHONE

Visionauta Magic is available exclusively on Android and for Visionauta Plus subscribers. It works together with the device's screen reader, such as TalkBack, and solves two long-standing problems for the community:

First, it describes unlabelled images that appear in any app. As soon as the screen reader's focus lands on an image, icon or card with no description, Visionauta analyses that exact element and announces aloud what it shows.

Second, it carries out tasks on the phone. The user says, for example, "Open WhatsApp and send Ana a message", and Visionauta builds a plan, reads it aloud and only acts after the user agrees — narrating every step, and stoppable at any moment through an emergency button or a two-finger double tap. Nothing happens without confirmation.

THE EVERYDAY FEATURES

Beyond the conversation, Visionauta keeps the tools that made it popular in the blind and low-vision community — many of them work without internet:

• Offline text recognition — point the camera at documents, packaging, letters or signs and have the content read aloud.
• Banknote recognition — Brazilian real, US dollar, euro, Mexican peso, yen, Canadian and Australian dollar, with no connection.
• Object finder — say "Help me find my phone", and the app scans the surroundings and signals the find through vibration and speech.
• Electronic magnifier for low vision — with zoom and modes for high contrast, inverted colours, white on black, black on white and yellow on blue.
• Flashlight with vibration reminder.
• Its own natural voices — usable system-wide, as a voice for TalkBack on Android and for VoiceOver on iPhone, and offline once downloaded.

The iPhone version is fully integrated with VoiceOver and the iOS accessibility features.

QUOTES

"The Real-Time Conversation changed what Visionauta is. It is no longer an app where you take a photo and wait for an answer: it is a continuous conversation with someone who sees for you and is always there — whether to describe the street, find the nearest pharmacy or read out the music you are about to play."
— Jonathan Santos

"Translating the app into Arabic, Russian, Chinese, Japanese, German and Italian was not a market decision, it was a matter of justice. Assistive technology has always arrived in English first, and those who do not speak English waited years. Not this time."
— Jonathan Santos

"I thank professors Ismar Frango and Nizam Omar of Universidade Presbiteriana Mackenzie, who encouraged me to turn an academic project into a real tool for the community."
— Jonathan Santos

La aplicación creada por un ingeniero de software ciego que trabajó en Google y Samsung incorpora un asistente que ve: habla por voz sin interrupciones, describe entornos, le dice a la persona dónde se encuentra, busca información en internet, lee y reproduce partituras impresas y ayuda a las personas ciegas a encuadrar bien sus fotos. Disponible para iPhone y Android.

Visionauta, la aplicación de accesibilidad que emplea inteligencia artificial para dar más autonomía a las personas ciegas y con baja visión, anuncia su mayor actualización hasta la fecha, y ya habla once idiomas: portugués, inglés, español, francés, coreano, alemán, japonés, italiano, árabe, ruso y chino simplificado. La traducción abarca toda la aplicación y también las respuestas de la inteligencia artificial, que conversa con cada persona en su propio idioma.

Todas las funciones de la aplicación pueden usarse sin pagar, dentro de cupos diarios. La suscripción opcional Visionauta Plus amplía esos cupos. La aplicación está disponible para iPhone en la App Store y para Android en Google Play.

CONVERSACIÓN EN TIEMPO REAL: UN ASISTENTE QUE VE Y RESPONDE

La función central de Visionauta es la Conversación en Tiempo Real. La persona habla con naturalidad —sin pulsar ningún botón, sin esperar una señal sonora— con una inteligencia artificial que ve a través de la cámara del teléfono y responde de inmediato por voz. Como un amigo vidente que está a tu lado y describe el mundo.

Durante esa conversación, Visionauta puede:

• Describir entornos y escenas: qué hay en la habitación, quién está cerca, cómo está puesta la mesa, qué ropa hay sobre la cama, si la luz está encendida.
• Decir dónde se encuentra la persona y qué hay alrededor: dirección actual, calles, puntos de referencia, farmacias, panaderías y la parada de autobús más cercana, a partir de datos cartográficos en tiempo real.
• Buscar información en internet: noticias, horarios de apertura, precios, datos actualizados, sin salir de la conversación.
• Leer y reproducir partituras: basta con apuntar la cámara a las notas impresas. Visionauta reconoce las notas, lee la pieza en voz alta y la reproduce directamente en el dispositivo, generando además archivos MusicXML y MIDI. Una función inédita para las músicas y los músicos ciegos, que hasta ahora dependían de la ayuda de terceros o de ediciones en braille escasas y caras.
• Ayudar a las personas ciegas a fotografiar: el asistente de fotos guía el encuadre, avisa cuando la imagen está alineada, hace la cuenta atrás y dispara la cámara, para que salgan bien las fotos familiares, los documentos o las imágenes para redes sociales.
• Pedir un coche por voz: basta con indicar el destino y la aplicación abre Uber, 99, Bolt o Lyft con el viaje ya cargado; solo queda confirmar.
• Responder cualquier pregunta sobre lo que hay frente a la cámara: qué producto es este, hasta cuándo se conserva, de qué color es esta prenda, qué dice este cartel.

VISIONAUTA MAGIC: LA IA QUE DESCRIBE IMÁGENES Y REALIZA TAREAS EN EL TELÉFONO

Visionauta Magic está disponible en exclusiva para Android y para las personas suscritas a Visionauta Plus. Funciona junto con el lector de pantalla del dispositivo, como TalkBack, y resuelve dos viejos problemas de la comunidad:

En primer lugar, describe las imágenes sin etiquetar que aparecen en cualquier aplicación. En cuanto el foco del lector de pantalla se detiene en una imagen, un icono o una tarjeta sin descripción, Visionauta analiza justamente ese elemento y anuncia en voz alta lo que muestra.

En segundo lugar, realiza tareas en el teléfono. La persona dice, por ejemplo, «Abre WhatsApp y envíale un mensaje a Ana», y Visionauta elabora un plan, lo lee en voz alta y solo actúa tras la aprobación de la persona usuaria, comentando cada paso y pudiendo interrumpirse en cualquier momento mediante un botón de parada de emergencia o un doble toque con dos dedos. Sin confirmación no ocurre nada.

LAS FUNCIONES DEL DÍA A DÍA

Además de la conversación, Visionauta mantiene las herramientas que lo hicieron popular en la comunidad de personas ciegas y con baja visión, y muchas de ellas funcionan sin internet:

• Reconocimiento de texto sin conexión: apuntar la cámara a documentos, envases, cartas o carteles y escuchar su contenido.
• Reconocimiento de billetes: real brasileño, dólar estadounidense, euro, peso mexicano, yen, dólar canadiense y australiano, sin conexión.
• Buscador de objetos: decir «Ayúdame a encontrar mi teléfono» y la aplicación rastrea el entorno y avisa del hallazgo mediante vibración y voz.
• Lupa electrónica para baja visión: con zoom y modos de alto contraste, colores invertidos, blanco sobre negro, negro sobre blanco y amarillo sobre azul.
• Linterna con recordatorio por vibración.
• Voces naturales propias: utilizables en todo el sistema, como voz de TalkBack en Android y de VoiceOver en el iPhone, y sin conexión una vez descargadas.

La versión para iPhone está totalmente integrada con VoiceOver y las funciones de accesibilidad de iOS.

CITAS

«La Conversación en Tiempo Real cambió lo que es Visionauta. Ya no es una aplicación en la que haces una foto y esperas una respuesta: es una conversación continua con alguien que ve por ti y siempre está ahí, ya sea para describir la calle, encontrar la farmacia más cercana o leerte la partitura que estás a punto de tocar.»
— Jonathan Santos

«Traducir la aplicación al árabe, al ruso, al chino, al japonés, al alemán y al italiano no fue una decisión de mercado, sino una cuestión de justicia. La tecnología de apoyo siempre llegó primero en inglés, y quien no habla inglés esperaba años. Esta vez no.»
— Jonathan Santos

«Agradezco a los profesores Ismar Frango y Nizam Omar, de la Universidade Presbiteriana Mackenzie, que me animaron a convertir un proyecto académico en una herramienta real para la comunidad.»
— Jonathan Santos

Jonathan Santos, ingénieur logiciel aveugle ayant travaillé chez Google et Samsung, annonce le lancement de la version iOS de Visionauta, une application gratuite qui utilise l'intelligence artificielle pour aider les personnes aveugles et malvoyantes dans leurs tâches quotidiennes. L'application est désormais disponible sur l'App Store.

Cette nouveauté arrive après le succès de la version Android, lancée début 2026, devenue un grand succès au sein de la communauté des personnes déficientes visuelles, atteignant des milliers d'utilisateurs et recueillant des avis très positifs. Désormais, l'ensemble de ces fonctionnalités est également disponible pour les utilisateurs d'iPhone.

Visionauta fonctionne comme un assistant visuel portable. Il suffit de pointer la caméra du téléphone pour lire des textes à voix haute, identifier des billets de banque, retrouver des objets perdus ou poser des questions sur l'environnement.

L'un des grands atouts de Visionauta — disponible aussi bien sur iOS que sur Android — est la Conversation en Temps Réel : un mode dans lequel l'utilisateur dialogue par la voix, de façon naturelle et continue, avec l'intelligence artificielle, qui décrit l'environnement et répond aux questions instantanément, comme s'il avait à ses côtés un assistant qui voit pour lui.

« Amener Visionauta sur iPhone était une demande constante de la communauté. Le succès sur Android a montré qu'il existe un réel besoin, et désormais personne n'est laissé de côté à cause de la plateforme qu'il utilise. »
— Jonathan Santos

L'idée est née pendant son master en Ingénierie Informatique à l'Université Presbytérienne Mackenzie, dans les cours de Pensée Computationnelle et d'Intelligence Artificielle.

« Je remercie les professeurs Ismar Frango et Nizam Omar, qui m'ont encouragé à transformer un projet académique en un outil concret pour la communauté. »
— Jonathan Santos

Fonctionnalités de l'Application

Parmi les fonctionnalités de l'application : Conversation en Temps Réel avec l'IA par la voix, lecture de textes hors ligne, reconnaissance des billets de plusieurs devises (Real, Dollar, Euro, Peso mexicain, Yen, Dollar canadien et australien), loupe électronique avec modes de contraste élevé, localisateur d'objets par commande vocale et assistant IA qui décrit des scènes et répond aux questions. La version iOS est entièrement intégrée à VoiceOver et aux fonctions d'accessibilité de l'iPhone.

구글과 삼성에서 근무한 시각장애인 소프트웨어 엔지니어 조나단 산토스(Jonathan Santos)가 시각장애인과 저시력자의 일상생활을 돕는 인공지능 기반 무료 앱 비지오나우타(Visionauta)의 iOS 버전 출시를 발표했습니다. 이 앱은 현재 앱스토어(App Store)에서 다운로드할 수 있습니다.

이번 출시는 2026년 초에 선보인 안드로이드 버전의 성공에 뒤이은 것으로, 안드로이드 버전은 시각장애인 커뮤니티에서 큰 성공을 거두며 수천 명의 사용자와 매우 긍정적인 평가를 얻었습니다. 이제 이 모든 기능을 아이폰 사용자도 이용할 수 있게 되었습니다.

비지오나우타는 휴대용 시각 보조 도구로 작동합니다. 휴대폰 카메라를 가리키기만 하면 텍스트를 소리 내어 읽고, 지폐를 식별하고, 잃어버린 물건을 찾거나, 주변 환경에 대해 질문할 수 있습니다.

비지오나우타의 대표 기능 중 하나는 iOS와 Android 모두에서 제공되는 실시간 대화입니다. 사용자가 음성으로 자연스럽고 연속적으로 인공지능과 대화하면, AI가 주변 환경을 설명하고 질문에 즉시 답해 줍니다. 마치 옆에서 대신 봐 주는 도우미가 있는 것과 같습니다.

"비지오나우타를 아이폰에 출시하는 것은 커뮤니티의 끊임없는 요청이었습니다. 안드로이드에서의 성공은 실질적인 필요가 있음을 보여주었고, 이제 어떤 플랫폼을 사용하든 누구도 소외되지 않습니다."
— 조나단 산토스

이 아이디어는 맥켄지 장로교 대학교 컴퓨터 공학 석사 과정 중 컴퓨팅 사고와 인공지능 수업에서 탄생했습니다.

"학술 프로젝트를 커뮤니티를 위한 실질적인 도구로 발전시키도록 격려해 주신 이스마르 프랑고(Ismar Frango) 교수님과 니잠 오마르(Nizam Omar) 교수님께 감사드립니다."
— 조나단 산토스

앱 기능

앱의 기능에는 AI와의 음성 실시간 대화, 오프라인 텍스트 읽기, 브라질 헤알, 미국 달러, 유로, 멕시코 페소, 엔, 캐나다 달러, 호주 달러 등 여러 통화의 지폐 인식, 고대비 모드의 전자 확대경, 음성 명령 물체 찾기, 장면을 설명하고 질문에 답하는 AI 어시스턴트가 포함됩니다. iOS 버전은 보이스오버(VoiceOver) 및 아이폰의 접근성 기능과 완벽하게 통합되었습니다.

Die kostenlose App eines blinden Softwareentwicklers, der bei Google und Samsung gearbeitet hat, bekommt einen Assistenten, der sieht: Er spricht ununterbrochen per Sprache, beschreibt Umgebungen, sagt der Person, wo sie sich befindet, sucht Informationen im Internet, liest und spielt Notenblätter vor und hilft blinden Menschen, gut ausgerichtete Fotos aufzunehmen. Verfügbar für iPhone und Android.

Visionauta, die Barrierefreiheits-App, die künstliche Intelligenz einsetzt, um blinden und sehbehinderten Menschen mehr Selbstständigkeit zu geben, kündigt ihr bislang größtes Update an – und spricht nun elf Sprachen: Portugiesisch, Englisch, Spanisch, Französisch, Koreanisch, Deutsch, Japanisch, Italienisch, Arabisch, Russisch und vereinfachtes Chinesisch. Die Übersetzung gilt für die gesamte App und ebenso für die Antworten der künstlichen Intelligenz, die sich mit der Nutzerin oder dem Nutzer in deren Sprache unterhält.

Die App ist kostenlos und für das iPhone im App Store sowie für Android bei Google Play erhältlich.

ECHTZEIT-GESPRÄCH: EIN ASSISTENT, DER SIEHT UND MITSPRICHT

Die zentrale Funktion von Visionauta ist das Echtzeit-Gespräch. Dabei spricht die Person ganz natürlich – ohne Tastendruck, ohne auf einen Signalton zu warten – mit einer künstlichen Intelligenz, die durch die Handykamera sieht und sofort per Sprache antwortet. Wie ein sehender Freund, der neben einem steht und die Welt beschreibt.

Während dieses Gesprächs kann Visionauta:

• Umgebungen und Szenen beschreiben – was im Raum steht, wer in der Nähe ist, wie der Tisch gedeckt ist, welche Kleidung auf dem Bett liegt, ob das Licht brennt.
• Sagen, wo sich die Person befindet und was es in der Umgebung gibt – aktuelle Adresse, Straßen, Orientierungspunkte, Apotheken, Bäckereien und die nächste Bushaltestelle, anhand von Kartendaten in Echtzeit.
• Informationen im Internet suchen – Nachrichten, Öffnungszeiten, Preise, aktuelle Angaben, ohne das Gespräch zu verlassen.
• Notenblätter lesen und abspielen – einfach die Kamera auf gedruckte Noten richten. Visionauta erkennt die Noten, liest das Stück laut vor und spielt es direkt auf dem Gerät ab; dabei entstehen MusicXML- und MIDI-Dateien. Eine neuartige Funktion für blinde Musikerinnen und Musiker, die bislang auf fremde Hilfe oder auf seltene und teure Braille-Ausgaben angewiesen waren.
• Blinden Menschen beim Fotografieren helfen – der Foto-Assistent leitet die Bildausrichtung an, meldet, wenn der Ausschnitt stimmt, zählt herunter und löst die Kamera aus, damit Familienfotos, Dokumente oder Bilder für soziale Netzwerke gelingen.
• Per Sprache ein Auto rufen – man nennt einfach das Ziel, und die App öffnet Uber, 99, Bolt oder Lyft mit bereits eingetragener Fahrt; es bleibt nur noch die Bestätigung.
• Jede Frage zu dem beantworten, was vor der Kamera liegt – welches Produkt ist das, wie lange ist es haltbar, welche Farbe hat dieses Kleidungsstück, was steht auf diesem Schild.

VISIONAUTA MAGIC: DIE KI, DIE BILDER BESCHREIBT UND AUFGABEN AUF DEM HANDY ERLEDIGT

Visionauta Magic ist exklusiv für Android und für Abonnentinnen und Abonnenten von Visionauta Plus verfügbar. Es arbeitet mit dem Screenreader des Geräts zusammen, etwa mit TalkBack, und löst zwei alte Probleme der Community:

Erstens beschreibt es unbeschriftete Bilder, die in beliebigen Apps auftauchen. Sobald der Fokus des Screenreaders auf einem Bild, einem Symbol oder einer Karte ohne Beschreibung stehen bleibt, analysiert Visionauta genau dieses Element und sagt laut an, was darauf zu sehen ist.

Zweitens erledigt es Aufgaben auf dem Handy. Die Person sagt etwa „Öffne WhatsApp und schicke Ana eine Nachricht“, und Visionauta erstellt einen Plan, liest ihn laut vor und handelt erst nach der Zustimmung der Nutzerin oder des Nutzers – dabei kommentiert es jeden Schritt und lässt sich jederzeit über eine Not-Aus-Taste oder durch ein Doppeltippen mit zwei Fingern unterbrechen. Ohne Bestätigung geschieht nichts.

DIE FUNKTIONEN FÜR DEN ALLTAG

Neben dem Gespräch behält Visionauta jene Werkzeuge, die es in der Community blinder und sehbehinderter Menschen beliebt gemacht haben – viele davon funktionieren ohne Internet:

• Texterkennung offline – die Kamera auf Dokumente, Verpackungen, Briefe oder Schilder richten und den Inhalt vorgelesen bekommen.
• Geldscheinerkennung – brasilianischer Real, US-Dollar, Euro, mexikanischer Peso, Yen, kanadischer und australischer Dollar, ohne Verbindung.
• Objektsuche – „Hilf mir, mein Handy zu finden“ sagen, und die App durchsucht die Umgebung und meldet den Fund per Vibration und Sprache.
• Elektronische Lupe für Sehbehinderte – mit Zoom und Modi für hohen Kontrast, invertierte Farben, Weiß auf Schwarz, Schwarz auf Weiß und Gelb auf Blau.
• Taschenlampe mit Vibrationserinnerung.
• Eigene natürliche Stimmen – systemweit nutzbar, als Stimme für TalkBack unter Android und für VoiceOver auf dem iPhone, nach dem Herunterladen auch offline.

Die iPhone-Version ist vollständig in VoiceOver und die Bedienungshilfen von iOS integriert.

ZITATE

„Das Echtzeit-Gespräch hat verändert, was Visionauta ist. Es ist keine App mehr, in der man ein Foto macht und auf eine Antwort wartet: Es ist ein fortlaufendes Gespräch mit jemandem, der für dich sieht und immer da ist – ob um die Straße zu beschreiben, die nächste Apotheke zu finden oder die Noten vorzulesen, die du gleich spielst.“
— Jonathan Santos

„Die App ins Arabische, Russische, Chinesische, Japanische, Deutsche und Italienische zu übersetzen, war keine Marktentscheidung, sondern eine Frage der Gerechtigkeit. Assistive Technologie kam immer zuerst auf Englisch, und wer kein Englisch spricht, wartete jahrelang. Dieses Mal nicht.“
— Jonathan Santos

„Ich danke den Professoren Ismar Frango und Nizam Omar von der Universidade Presbiteriana Mackenzie, die mich ermutigt haben, aus einem akademischen Projekt ein echtes Werkzeug für die Community zu machen.“
— Jonathan Santos

L'app gratuita creata da un ingegnere del software cieco che ha lavorato in Google e Samsung guadagna un assistente che vede: parla a voce senza interruzioni, descrive gli ambienti, dice alla persona dove si trova, cerca informazioni su internet, legge ed esegue spartiti musicali e aiuta le persone cieche a scattare fotografie ben inquadrate. Disponibile per iPhone e Android.

Visionauta, l'app di accessibilità che usa l'intelligenza artificiale per dare più autonomia alle persone cieche e ipovedenti, annuncia il suo aggiornamento più importante dal lancio — e ora parla undici lingue: portoghese, inglese, spagnolo, francese, coreano, tedesco, giapponese, italiano, arabo, russo e cinese semplificato. La traduzione riguarda l'intera app e anche le risposte dell'intelligenza artificiale, che dialoga con l'utente nella sua lingua.

L'app è gratuita ed è disponibile per iPhone sull'App Store e per Android su Google Play.

CONVERSAZIONE IN TEMPO REALE: UN ASSISTENTE CHE VEDE E PARLA INSIEME A TE

La funzione principale di Visionauta è la Conversazione in Tempo Reale. La persona parla in modo naturale, senza premere pulsanti e senza attendere il proprio turno, con un'intelligenza artificiale che vede attraverso la fotocamera del telefono e risponde subito a voce: come avere accanto un amico che vede e descrive il mondo.

Durante la conversazione, Visionauta può:

• Descrivere ambienti e scene — che cosa c'è nella stanza, chi si trova nei paraggi, com'è apparecchiata la tavola, quale vestito è appoggiato sul letto, se la luce è accesa.
• Dire dove si trova la persona e che cosa c'è intorno — indirizzo attuale, strade, punti di riferimento, farmacie, panetterie e la fermata dell'autobus più vicina, usando informazioni cartografiche in tempo reale.
• Cercare informazioni su internet — notizie, orari, prezzi, dati aggiornati, senza uscire dalla conversazione.
• Leggere ed eseguire spartiti musicali — basta puntare la fotocamera su uno spartito stampato. Visionauta riconosce le note, legge il brano ad alta voce e lo riproduce sul dispositivo stesso, generando i file MusicXML e MIDI. Una funzione inedita per i musicisti ciechi, che storicamente dipendono da terzi o da edizioni in braille rare e costose.
• Aiutare la persona cieca a scattare fotografie — l'assistente fotografico guida l'inquadratura, avvisa quando è corretta, esegue il conto alla rovescia e scatta, perché le foto di famiglia, dei documenti o per i social riescano bene.
• Chiamare un'auto a voce — basta dire la destinazione e l'app apre Uber, 99, Bolt o Lyft con la corsa già compilata: resta solo da confermare.
• Rispondere a qualsiasi domanda su ciò che si trova davanti alla fotocamera — che prodotto è questo, qual è la data di scadenza, di che colore è questo capo, che cosa dice questo cartello.

VISIONAUTA MAGIC: L'IA CHE DESCRIVE LE IMMAGINI ED ESEGUE ATTIVITÀ SUL TELEFONO

Esclusivo per Android e disponibile per gli abbonati a Visionauta Plus, Visionauta Magic lavora insieme allo screen reader del dispositivo, come TalkBack, e risolve due problemi storici della comunità:

Primo, descrive le immagini prive di etichetta che compaiono in qualsiasi applicazione. Quando il fuoco dello screen reader si ferma su un'immagine, un'icona o una scheda senza descrizione, Visionauta analizza solo quell'elemento e annuncia ad alta voce che cosa contiene.

Secondo, esegue attività sul telefono. La persona chiede per esempio "apri WhatsApp e manda un messaggio ad Ana", e Visionauta prepara un piano, lo legge ad alta voce e agisce solo dopo l'approvazione dell'utente — narrando ogni passaggio e potendo essere interrotto in qualsiasi momento con un pulsante di emergenza o con un doppio tocco a due dita. Nulla accade senza conferma.

LE FUNZIONI DI TUTTI I GIORNI

Oltre alla conversazione, Visionauta mantiene l'insieme di strumenti che l'ha reso popolare nella comunità delle persone con disabilità visiva, molti dei quali funzionano senza internet:

• Lettura di testi offline — punta la fotocamera su documenti, confezioni, lettere o cartelli e ascolta il contenuto ad alta voce.
• Riconoscimento delle banconote — real brasiliano, dollaro, euro, peso messicano, yen, dollaro canadese e australiano, senza connessione.
• Ricerca di oggetti — di' "aiutami a trovare il mio telefono" e l'app perlustra l'ambiente, avvisando con vibrazione e voce quando lo trova.
• Lente d'ingrandimento elettronica per ipovedenti — con zoom e modalità ad alto contrasto, colori invertiti, bianco su nero, nero su bianco e giallo su blu.
• Torcia con promemoria a vibrazione.
• Voci naturali proprie — utilizzabili in tutto il sistema, come voce di TalkBack su Android e di VoiceOver su iPhone, funzionanti offline dopo il download.

La versione per iPhone è completamente integrata con VoiceOver e con le funzioni di accessibilità di iOS.

DICHIARAZIONI

"La Conversazione in Tempo Reale ha cambiato che cosa è Visionauta. Non è più un'app in cui scatti una foto e aspetti una risposta: è un dialogo continuo con qualcuno che vede per te ed è sempre lì, sia per descrivere la strada, sia per trovare la farmacia più vicina, sia per leggere lo spartito che stai per suonare."
— Jonathan Santos

"Tradurre l'app in arabo, russo, cinese, giapponese, tedesco e italiano non è stata una decisione di mercato, è stata una decisione di giustizia. La tecnologia assistiva è sempre arrivata prima in inglese, e chi non parla inglese aspettava anni. Questa volta no."
— Jonathan Santos

"Ringrazio i professori Ismar Frango e Nizam Omar, dell'Universidade Presbiteriana Mackenzie, che mi hanno incoraggiato a trasformare un progetto accademico in uno strumento reale per la comunità."
— Jonathan Santos

グーグルとサムスンに在籍した全盲のソフトウェアエンジニアが開発した無料アプリに、「見える」アシスタントが加わりました。途切れることなく音声で会話し、周囲の様子を説明し、今いる場所を伝え、インターネットで情報を検索し、楽譜を読み上げて演奏し、視覚障害のある人が構図の整った写真を撮る手助けをします。iPhoneとAndroidで利用できます。

視覚障害者・弱視者の自立を支援するために人工知能を活用するアクセシビリティアプリ「ビジョナウタ（Visionauta）」は、公開以来最大となるアップデートを発表しました。対応言語は11となり、ポルトガル語、英語、スペイン語、フランス語、韓国語、ドイツ語、日本語、イタリア語、アラビア語、ロシア語、簡体字中国語に対応します。翻訳はアプリ全体に及び、人工知能の応答も同様で、利用者の言語で会話します。

アプリは無料で、iPhone版はApp Store、Android版はGoogle Playで提供されています。

リアルタイム会話 ― 「見て、一緒に話す」アシスタント

ビジョナウタの中心的な機能が「リアルタイム会話」です。ボタンを押す必要も、順番を待つ必要もありません。スマートフォンのカメラを通して見ている人工知能と自然に話し、その場で音声の返事が返ってきます。目の見える友人がそばにいて、世界を言葉にしてくれるような体験です。

会話の中で、ビジョナウタは次のことができます。

• 周囲の様子や場面を説明する ― 部屋に何があるか、近くに誰がいるか、テーブルの上はどうなっているか、ベッドにどんな服が置かれているか、明かりがついているか。
• 今いる場所と周辺の情報を伝える ― 現在の住所、通り、目印になる建物、薬局、パン屋、最寄りのバス停などを、リアルタイムの地図情報をもとに案内します。
• インターネットで情報を検索する ― ニュース、営業時間、価格、最新の情報を、会話を中断せずに調べます。
• 楽譜を読み上げて演奏する ― 印刷された楽譜にカメラを向けるだけです。ビジョナウタは音符を認識し、曲を声で読み上げ、そのまま端末で再生します。MusicXMLとMIDIのファイルも生成されます。これまで他人の助けや、数が少なく高価な点字楽譜に頼らざるをえなかった全盲の音楽家にとって、画期的な機能です。
• 視覚障害のある人の撮影を助ける ― 写真アシスタントが構図を案内し、良い状態になると知らせ、カウントダウンをしてシャッターを切ります。家族写真、書類の撮影、SNS用の写真がきちんと撮れます。
• 音声で配車を依頼する ― 行き先を言うだけで、Uber、99、Bolt、Lyftが目的地を入力済みの状態で開き、あとは確認するだけです。
• カメラの前にあるものについて、どんな質問にも答える ― これは何の商品か、賞味期限はいつか、この服は何色か、この標識には何と書かれているか。

ビジョナウタ・マジック ― 画像を説明し、スマートフォンの操作を代行するAI

Android専用で、有料プラン「ビジョナウタ・プラス」の加入者が利用できる「ビジョナウタ・マジック」は、TalkBackなど端末のスクリーンリーダーと連携し、当事者コミュニティが長年抱えてきた二つの課題を解決します。

第一に、あらゆるアプリに現れる「代替テキストのない画像」を説明します。スクリーンリーダーのフォーカスが、説明のない画像・アイコン・カードの上で止まると、ビジョナウタはその要素だけを解析し、何が写っているかを読み上げます。

第二に、スマートフォンの操作を代行します。「WhatsAppを開いてアナにメッセージを送って」のように頼むと、ビジョナウタは手順の計画を立て、それを読み上げ、利用者が承認して初めて実行します。実行中は一つひとつの操作を音声で説明し、緊急停止ボタンや2本指のダブルタップでいつでも中断できます。確認なしに実行されることはありません。

日常を支える機能

会話機能に加えて、ビジョナウタは視覚障害者コミュニティで支持されてきた道具立てをそのまま備えています。その多くはインターネットなしで動作します。

• オフラインでの文字読み上げ ― 書類、パッケージ、手紙、標識にカメラを向けると、内容を読み上げます。
• 紙幣の識別 ― ブラジル・レアル、米ドル、ユーロ、メキシコ・ペソ、円、カナダドル、豪ドルに対応し、通信不要です。
• 物体検索 ― 「スマホを探して」と言うと、アプリが周囲を走査し、見つけると振動と音声で知らせます。
• 弱視向けの電子ルーペ ― ズームのほか、ハイコントラスト、色反転、黒地に白、白地に黒、青地に黄のモードを備えます。
• 振動で点灯を知らせるライト。
• 独自の自然な音声 ― Androidのトークバック、iPhoneのボイスオーバーの読み上げ音声として端末全体で利用でき、ダウンロード後はオフラインでも動作します。

iPhone版はVoiceOverおよびiOSのアクセシビリティ機能と完全に統合されています。

開発者のコメント

「リアルタイム会話は、ビジョナウタというアプリの意味を変えました。写真を撮って答えを待つアプリではなく、自分の代わりに見てくれる誰かとの、途切れない会話です。道の様子を説明してもらうときも、近くの薬局を探すときも、これから弾く楽譜を読んでもらうときも、いつもそこにいます」― ジョナタン・サントス
— Jonathan Santos

「アラビア語、ロシア語、中国語、日本語、ドイツ語、イタリア語への翻訳は、市場の判断ではなく、公正さの問題でした。支援技術はいつも英語から始まり、英語を話さない人は何年も待たされてきました。今回はそうしません」― ジョナタン・サントス
— Jonathan Santos

「学術的なプロジェクトを、コミュニティのための実際の道具に変えるよう励ましてくださったマッケンジー長老派大学のイズマール・フランゴ教授とニザム・オマル教授に感謝します」― ジョナタン・サントス
— Jonathan Santos

Бесплатное приложение, созданное незрячим инженером-программистом, работавшим в Google и Samsung, получило помощника, который видит: он говорит голосом без пауз и нажатий, описывает обстановку, сообщает, где находится человек, ищет информацию в интернете, читает и проигрывает нотные партитуры и помогает незрячим делать фотографии с правильной композицией. Доступно для iPhone и Android.

Visionauta — приложение для доступности, использующее искусственный интеллект, чтобы дать больше самостоятельности незрячим и слабовидящим людям, — объявляет о крупнейшем обновлении с момента выхода. Теперь приложение говорит на одиннадцати языках: португальском, английском, испанском, французском, корейском, немецком, японском, итальянском, арабском, русском и китайском (упрощённом). Перевод охватывает всё приложение, а также ответы искусственного интеллекта, который общается с пользователем на его языке.

Приложение бесплатно и доступно для iPhone в App Store и для Android в Google Play.

РАЗГОВОР В РЕАЛЬНОМ ВРЕМЕНИ: ПОМОЩНИК, КОТОРЫЙ ВИДИТ И ГОВОРИТ РЯДОМ

Главная функция Visionauta — «Разговор в реальном времени». Человек говорит естественно, не нажимая кнопок и не дожидаясь своей очереди, с искусственным интеллектом, который смотрит через камеру телефона и сразу отвечает голосом. Это похоже на зрячего друга рядом, который описывает мир.

Во время такого разговора Visionauta может:

• Описывать помещения и сцены — что стоит в комнате, кто находится рядом, как накрыт стол, какая одежда лежит на кровати, включён ли свет.
• Сообщать, где находится человек и что вокруг — текущий адрес, улицы, ориентиры, аптеки, пекарни и ближайшую автобусную остановку, опираясь на картографические данные в реальном времени.
• Искать информацию в интернете — новости, часы работы, цены, актуальные данные, не прерывая разговор.
• Читать и проигрывать нотные партитуры — достаточно навести камеру на печатные ноты. Visionauta распознаёт ноты, читает произведение вслух и воспроизводит его прямо на устройстве, создавая файлы MusicXML и MIDI. Это принципиально новая возможность для незрячих музыкантов, которые исторически зависели от помощи других людей либо от редких и дорогих изданий по Брайлю.
• Помогать незрячему человеку фотографировать — фотопомощник подсказывает, как выстроить кадр, сообщает, когда композиция удачна, ведёт обратный отсчёт и делает снимок, чтобы семейные фотографии, снимки документов и фото для соцсетей получались хорошо.
• Вызывать машину голосом — достаточно назвать адрес, и приложение откроет Uber, 99, Bolt или Lyft с уже заполненной поездкой: остаётся только подтвердить.
• Отвечать на любые вопросы о том, что находится перед камерой — что это за товар, каков срок годности, какого цвета эта одежда, что написано на этой табличке.

VISIONAUTA MAGIC: ИИ, КОТОРЫЙ ОПИСЫВАЕТ ИЗОБРАЖЕНИЯ И ВЫПОЛНЯЕТ ЗАДАЧИ НА ТЕЛЕФОНЕ

Функция Visionauta Magic доступна только на Android и только подписчикам Visionauta Plus. Она работает вместе с экранным диктором устройства, например с TalkBack, и решает две давние проблемы сообщества.

Во-первых, она описывает изображения без подписи, встречающиеся в любых приложениях. Когда фокус экранного диктора останавливается на изображении, значке или карточке без описания, Visionauta анализирует только этот элемент и вслух сообщает, что на нём.

Во-вторых, она выполняет задачи на телефоне. Человек просит, например: «открой WhatsApp и отправь сообщение Ане», — и Visionauta составляет план, зачитывает его вслух и действует только после одобрения пользователя, комментируя каждый шаг. Прервать выполнение можно в любой момент кнопкой экстренной остановки или двойным касанием двумя пальцами. Без подтверждения не происходит ничего.

ПОВСЕДНЕВНЫЕ ВОЗМОЖНОСТИ

Помимо разговора, Visionauta сохраняет набор инструментов, благодаря которым приложение стало популярным в сообществе незрячих; большинство из них работает без интернета:

• Чтение текста офлайн — наведите камеру на документы, упаковку, письма или таблички и услышьте содержание вслух.
• Распознавание банкнот — бразильский реал, доллар США, евро, мексиканское песо, иена, канадский и австралийский доллар, без подключения к сети.
• Поиск предметов — скажите «помоги найти мой телефон», и приложение будет осматривать пространство, сообщая о находке вибрацией и голосом.
• Электронная лупа для слабовидящих — с увеличением и режимами высокой контрастности, инверсии цветов, белого на чёрном, чёрного на белом и жёлтого на синем.
• Фонарик с напоминанием вибрацией.
• Собственные естественные голоса — их можно использовать во всей системе как голос TalkBack на Android и VoiceOver на iPhone; после загрузки они работают офлайн.

Версия для iPhone полностью интегрирована с VoiceOver и функциями доступности iOS.

ЦИТАТЫ

«Разговор в реальном времени изменил саму суть Visionauta. Это больше не приложение, где вы делаете снимок и ждёте ответа: это непрерывный разговор с тем, кто видит за вас и всегда рядом — чтобы описать улицу, найти ближайшую аптеку или прочитать партитуру, которую вы собираетесь играть».
— Жонатан Сантос

«Перевод приложения на арабский, русский, китайский, японский, немецкий и итальянский был не рыночным решением, а решением справедливости. Ассистивные технологии всегда приходили сначала на английском, и те, кто не говорит по-английски, ждали годами. На этот раз — нет».
— Жонатан Сантос

«Благодарю профессоров Измара Франго и Низама Омара из Пресвитерианского университета Маккензи, которые побудили меня превратить академический проект в реальный инструмент для сообщества».
— Жонатан Сантос

这款由曾任职于谷歌和三星的盲人软件工程师开发的免费应用，新增了一位"看得见"的助手：它以语音持续对话，描述周围环境，告知使用者身处何地，在互联网上查找信息，识读并演奏乐谱，还能帮助视障者拍出构图良好的照片。iPhone 和 Android 均可使用。

Visionauta 是一款借助人工智能帮助盲人和低视力者获得更多自主能力的无障碍应用。此次发布是产品上线以来最大的一次更新，应用现已支持十一种语言：葡萄牙语、英语、西班牙语、法语、韩语、德语、日语、意大利语、阿拉伯语、俄语和简体中文。翻译覆盖整个应用，也包括人工智能的回答——它会用使用者的语言与其交谈。

应用免费，iPhone 版可在 App Store 下载，Android 版可在 Google Play 下载。

实时对话：一位看得见并与你同行的助手

Visionauta 的核心功能是"实时对话"。使用者无需按键，也不必等待轮次，可以自然地与人工智能交谈；它通过手机摄像头观看眼前的一切，并立即以语音作答，就像身旁有一位看得见的朋友在描述这个世界。

在对话过程中，Visionauta 可以：

• 描述环境与场景——房间里有什么，附近有谁，桌上摆着什么，床上放着哪件衣服，灯是否亮着。
• 告知使用者身处何地、周围有什么——当前地址、街道、地标、药店、面包店以及最近的公交站，依据实时地图信息作答。
• 在互联网上查找信息——新闻、营业时间、价格、最新数据，无需中断对话。
• 识读并演奏乐谱——只需将摄像头对准印刷乐谱。Visionauta 识别音符，朗读乐曲，并直接在设备上播放，同时生成 MusicXML 和 MIDI 文件。对于长期依赖他人协助、或依赖稀少而昂贵的盲文乐谱的盲人音乐家而言，这是一项全新的功能。
• 帮助视障者拍照——拍照助手引导取景，在构图合适时提示，倒计时并按下快门，让全家福、证件照或社交媒体上的照片都能拍好。
• 用语音叫车——只需说出目的地，应用便会打开 Uber、99、Bolt 或 Lyft，行程信息已自动填好，确认即可。
• 回答关于镜头前一切事物的任何问题——这是什么产品，保质期到什么时候，这件衣服是什么颜色，这块牌子上写了什么。

Visionauta Magic：描述图片并代为操作手机的人工智能

Visionauta Magic 为 Android 独有，面向 Visionauta Plus 订阅用户开放。它与设备上的屏幕阅读器（如 TalkBack）协同工作，解决了社群长期以来的两个难题。

其一，它会描述各类应用中缺少替代文字的图片。当屏幕阅读器的焦点停留在没有描述的图片、图标或卡片上时，Visionauta 只分析该元素，并朗读出其中的内容。

其二，它可以代为操作手机。使用者提出诸如"打开 WhatsApp 给 Ana 发条消息"的请求后，Visionauta 会制定一份操作计划，朗读出来，并且只有在使用者批准之后才会执行——执行过程中逐步语音说明，随时可通过紧急停止按钮或双指双击中断。未经确认，不会执行任何操作。

日常功能

除了对话之外，Visionauta 保留了让它在视障社群中广受欢迎的全套工具，其中多数无需联网即可使用：

• 离线文字朗读——将摄像头对准文件、包装、信件或标牌，即可听到内容。
• 纸币识别——支持巴西雷亚尔、美元、欧元、墨西哥比索、日元、加元和澳元，无需联网。
• 物品查找——说一句"帮我找手机"，应用便会持续扫描环境，找到时以振动和语音提示。
• 面向低视力者的电子放大镜——支持缩放，以及高对比度、颜色反转、黑底白字、白底黑字和蓝底黄字等模式。
• 手电筒，并以振动提醒其处于开启状态。
• 自有的自然语音——可在整个系统中使用，作为 Android 上 TalkBack 和 iPhone 上 VoiceOver 的朗读语音，下载后可离线运行。

iPhone 版本与 VoiceOver 及 iOS 的无障碍功能完全整合。

引述

"实时对话改变了 Visionauta 的本质。它不再是一款拍张照片然后等待答复的应用，而是与一位替你观看、始终在身边的伙伴之间不间断的对话——无论是描述街道、找到最近的药店，还是读出你即将演奏的乐谱。"
— 乔纳坦·桑托斯

"把应用翻译成阿拉伯语、俄语、中文、日语、德语和意大利语，不是市场决策，而是公平的选择。辅助技术总是先有英文版，不讲英语的人要等上许多年。这一次不会这样。"
— 乔纳坦·桑托斯

"感谢麦肯锡长老会大学的 Ismar Frango 教授和 Nizam Omar 教授，是他们鼓励我把一个学术项目变成真正服务社群的工具。"
— 乔纳坦·桑托斯

التطبيق المجاني الذي طوّره مهندس برمجيات كفيف عمل في غوغل وسامسونغ يحصل على مساعد يُبصر: يتحدث صوتيًا دون انقطاع، ويصف المحيط، ويخبر المستخدم بمكانه، ويبحث عن المعلومات على الإنترنت، ويقرأ النوتات الموسيقية ويعزفها، ويساعد المكفوفين على التقاط صور جيدة التكوين. متاح لأجهزة آيفون وأندرويد.

أعلن تطبيق «فيجيوناوتا» (Visionauta)، وهو تطبيق لإمكانية الوصول يستخدم الذكاء الاصطناعي لمنح المكفوفين وضعاف البصر مزيدًا من الاستقلالية، عن أكبر تحديث له منذ إطلاقه؛ وصار التطبيق يتحدث إحدى عشرة لغة: البرتغالية والإنجليزية والإسبانية والفرنسية والكورية والألمانية واليابانية والإيطالية والعربية والروسية والصينية المبسّطة. وتشمل الترجمة التطبيق بأكمله، كما تشمل ردود الذكاء الاصطناعي الذي يحاور المستخدم بلغته.

التطبيق مجاني، ومتاح لأجهزة آيفون عبر متجر App Store ولأجهزة أندرويد عبر Google Play.

المحادثة الفورية: مساعد يُبصر ويتحدث إلى جانبك

الميزة الأبرز في «فيجيوناوتا» هي المحادثة الفورية. يتحدث المستخدم بشكل طبيعي، دون ضغط أزرار ودون انتظار دوره، مع ذكاء اصطناعي يرى عبر كاميرا الهاتف ويجيب صوتيًا في الحال؛ أشبه بصديق مبصر يقف إلى جانبك ويصف لك العالم.

وخلال هذه المحادثة، يستطيع «فيجيوناوتا»:

• وصف الأماكن والمشاهد — ما الموجود في الغرفة، ومن يقف بالقرب منك، وكيف رُتّبت المائدة، وأي ثوب على السرير، وهل الضوء مضاء.
• إخبارك بمكانك وبما حولك — العنوان الحالي، والشوارع، والمعالم، والصيدليات، والمخابز، وأقرب موقف حافلات، اعتمادًا على معلومات الخرائط الآنية.
• البحث عن المعلومات على الإنترنت — الأخبار ومواعيد العمل والأسعار والبيانات المحدَّثة، دون مغادرة المحادثة.
• قراءة النوتات الموسيقية وعزفها — يكفي توجيه الكاميرا إلى نوتة مطبوعة. يتعرّف «فيجيوناوتا» على النغمات، ويقرأ المقطوعة بصوت مسموع، ويعزفها على الجهاز نفسه، مُنشئًا ملفَّي MusicXML وMIDI. وهي ميزة غير مسبوقة للموسيقيين المكفوفين الذين اعتادوا الاعتماد على مساعدة الآخرين أو على نسخ برايل النادرة والباهظة.
• مساعدة الشخص الكفيف على التصوير — يوجّه مساعد التصوير تأطير الصورة، وينبّه عندما يصبح الإطار مناسبًا، ثم يعدّ تنازليًا ويلتقط الصورة، لتخرج صور العائلة والوثائق وصور مواقع التواصل بشكل جيد.
• طلب سيارة بالصوت — يكفي ذكر الوجهة، فيفتح التطبيق «أوبر» أو «99» أو «بولت» أو «ليفت» والرحلة مُعبأة سلفًا، ولا يتبقى سوى التأكيد.
• الإجابة عن أي سؤال يتعلق بما أمام الكاميرا — ما هذا المنتج، وما تاريخ انتهاء صلاحيته، وما لون هذا الثوب، وماذا تقول هذه اللافتة.

فيجيوناوتا ماجيك: ذكاء اصطناعي يصف الصور وينفّذ المهام على الهاتف

«فيجيوناوتا ماجيك» متاح حصريًا على أندرويد ولمشتركي «فيجيوناوتا بلس». يعمل جنبًا إلى جنب مع قارئ الشاشة في الجهاز، مثل TalkBack، ويعالج مشكلتين قديمتين لدى مجتمع المكفوفين:

أولًا، يصف الصور غير الموصوفة التي تظهر في أي تطبيق. فحين يتوقف مؤشر قارئ الشاشة عند صورة أو أيقونة أو بطاقة بلا وصف، يحلّل «فيجيوناوتا» ذلك العنصر وحده ويعلن بصوت مسموع ما فيه.

ثانيًا، ينفّذ المهام على الهاتف. يطلب المستخدم مثلًا: «افتح واتساب وأرسل رسالة إلى آنا»، فيضع «فيجيوناوتا» خطة، ويقرأها بصوت مسموع، ولا يتصرف إلا بعد موافقة المستخدم — يسرد كل خطوة أثناء التنفيذ، ويمكن إيقافه في أي لحظة بزر الطوارئ أو بالنقر مرتين بإصبعين. لا يحدث شيء دون تأكيد.

ميزات الاستخدام اليومي

إلى جانب المحادثة، يحتفظ «فيجيوناوتا» بمجموعة الأدوات التي جعلته محبوبًا في أوساط ذوي الإعاقة البصرية، ويعمل معظمها دون إنترنت:

• قراءة النصوص دون اتصال — وجّه الكاميرا إلى مستند أو عبوة أو رسالة أو لافتة واستمع إلى المحتوى.
• التعرّف على الأوراق النقدية — الريال البرازيلي والدولار واليورو والبيزو المكسيكي والين والدولار الكندي والأسترالي، دون اتصال.
• العثور على الأشياء — قل «ساعدني في العثور على هاتفي»، فيمسح التطبيق المحيط وينبّهك بالاهتزاز والصوت عند العثور عليه.
• مكبّر إلكتروني لضعاف البصر — مع تكبير وأوضاع تباين عالٍ وألوان معكوسة وأبيض على أسود وأسود على أبيض وأصفر على أزرق.
• مصباح يدوي مع تذكير بالاهتزاز.
• أصوات طبيعية خاصة بالتطبيق — يمكن استخدامها في النظام كله، كصوت لـ TalkBack على أندرويد ولـ VoiceOver على آيفون، وتعمل دون إنترنت بعد تنزيلها.

أما نسخة آيفون فمتكاملة تمامًا مع VoiceOver ومع ميزات إمكانية الوصول في نظام iOS.

تصريحات

«غيّرت المحادثة الفورية ماهية فيجيوناوتا. لم يعد تطبيقًا تلتقط فيه صورة ثم تنتظر إجابة، بل صار حوارًا متصلًا مع من يُبصر نيابة عنك ويكون حاضرًا دائمًا: ليصف لك الشارع، أو يجد أقرب صيدلية، أو يقرأ النوتة التي أنت على وشك عزفها.»
— جوناتان سانتوس

«ترجمة التطبيق إلى العربية والروسية والصينية واليابانية والألمانية والإيطالية لم تكن قرارًا تجاريًا، بل قرار عدالة. لطالما وصلت التقنيات المساعِدة بالإنجليزية أولًا، ومن لا يتحدث الإنجليزية كان ينتظر سنوات. هذه المرة لا.»
— جوناتان سانتوس

«أشكر الأستاذين إسمار فرانغو ونظام عمر من جامعة ماكنزي المشيخية، اللذين شجعاني على تحويل مشروع أكاديمي إلى أداة حقيقية في خدمة المجتمع.»
— جوناتان سانتوس