Aplicativo gratuito criado por engenheiro de software cego que atuou no Google e na Samsung tem um assistente que enxerga: conversa por voz sem interrupções, descreve ambientes, informa onde a pessoa está, busca informações na internet, lê e toca partituras musicais, grava vídeos com áudio e ajuda cegos a tirarem fotos bem enquadradas. Disponível para iPhone e Android.

O Visionauta, aplicativo de acessibilidade que usa inteligência artificial para dar mais autonomia a pessoas cegas e com baixa visão, anuncia sua nova versão — e agora fala 39 idiomas: português, inglês, espanhol, francês, coreano, alemão, japonês, italiano, árabe, russo, chinês simplificado, hindi, bengali, vietnamita, turco e indonésio, mais 23 idiomas novos: tcheco, grego, estoniano, persa, finlandês, hebraico, húngaro, islandês, lituano, marati, holandês, polonês, romeno, eslovaco, esloveno, sueco, suaíli, tâmil, telugu, tailandês, ucraniano, urdu e cantonês. A tradução vale para todo o aplicativo, para os comandos de voz, para a leitura de textos e também para as respostas da inteligência artificial, que conversa com o usuário no idioma dele. Com os 23 idiomas novos, o aplicativo passa a alcançar falantes na Europa, no Oriente Médio, na África e na Ásia.

O app é gratuito e está disponível para iPhone, na App Store, e para Android, na Google Play.

CONVERSA EM TEMPO REAL: UM ASSISTENTE QUE ENXERGA E FALA JUNTO

O principal recurso do Visionauta é a Conversa em Tempo Real. Nela, a pessoa fala naturalmente, sem apertar botões e sem esperar a vez, com uma inteligência artificial que vê pela câmera do celular e responde por voz na hora — como ter ao lado um amigo que enxerga e descreve o mundo. Na versão mais recente, a voz da conversa ficou mais clara, com menos ruídos e melhor dicção.

Durante essa conversa, o Visionauta pode:

• Descrever ambientes e cenas — o que há na sala, quem está por perto, como está a mesa, que roupa está sobre a cama, se a luz está acesa.
• Dizer onde a pessoa está e o que existe ao redor — endereço atual, ruas, pontos de referência, farmácias, padarias e o ponto de ônibus mais próximo, usando informações de mapa em tempo real.
• Buscar informações na internet — notícias, horários, preços, dados atualizados, sem sair da conversa.
• Ler e tocar partituras musicais — basta apontar a câmera para uma partitura impressa. O Visionauta identifica as notas, lê a música em voz alta e a reproduz no próprio aparelho, gerando os arquivos MusicXML e MIDI. Um recurso inédito para músicos cegos, que historicamente dependem de terceiros ou de edições em braile raras e caras.
• Ajudar a pessoa com deficiência visual a tirar fotos — o assistente de foto orienta o enquadramento, avisa quando está bom, faz a contagem regressiva e dispara a câmera, para que fotos de família, de documentos ou de redes sociais saiam bem feitas.
• Gravar vídeos com áudio — a pessoa pede por voz, o assistente orienta o enquadramento e grava; a gravação pode ser pausada, retomada, concluída ou cancelada com controles acessíveis, e os vídeos ficam salvos em Atividades, prontos para assistir e compartilhar.
• Chamar um carro por voz — basta dizer o destino e o app abre o Uber, 99, Bolt ou Lyft com a corrida já preenchida, restando apenas confirmar.
• Responder qualquer pergunta sobre o que está diante da câmera — que produto é este, qual a data de validade, qual a cor desta roupa, o que diz esta placa.

VISIONAUTA MAGIC: A IA QUE DESCREVE IMAGENS E EXECUTA TAREFAS NO CELULAR

Exclusivo do Android e disponível para assinantes do Visionauta Plus, o Visionauta Magic trabalha em conjunto com o leitor de tela do aparelho, como o TalkBack, e resolve dois problemas antigos da comunidade:

Primeiro, ele descreve as imagens sem rótulo que aparecem em qualquer aplicativo. Quando o foco do leitor de tela para sobre uma imagem, um ícone ou um cartão sem descrição, o Visionauta analisa apenas aquele elemento e anuncia em voz alta o que há nele.

Segundo, ele executa tarefas no celular. A pessoa pede algo como "abra o WhatsApp e mande uma mensagem para a Ana", e o Visionauta monta um plano, lê o plano em voz alta e só age depois da aprovação do usuário — narrando cada passo e podendo ser interrompido a qualquer momento por um botão de emergência ou por um toque duplo com dois dedos. Nada acontece sem confirmação.

OS RECURSOS DO DIA A DIA

Além da conversa, o Visionauta mantém o conjunto de ferramentas que o tornou popular na comunidade de pessoas com deficiência visual, boa parte delas funcionando sem internet:

• Leitura de textos offline — aponte a câmera para documentos, embalagens, cartas ou placas e ouça o conteúdo em voz alta.
• Reconhecimento de cédulas de dinheiro — Real, Dólar, Euro, Peso Mexicano, Iene, Dólar Canadense e Australiano, sem conexão.
• Localizador de objetos — diga "me ajude a encontrar meu celular" e o app varre o ambiente, avisando com vibração e voz ao encontrar.
• Lupa eletrônica para baixa visão — com zoom e modos de alto contraste, cores invertidas, branco no preto, preto no branco e amarelo no azul.
• Lanterna com lembrete por vibração.
• Vozes naturais próprias — que podem ser usadas por todo o sistema, como voz do TalkBack no Android e do VoiceOver no iPhone, funcionando offline depois de baixadas.

A versão para iPhone é totalmente integrada ao VoiceOver e aos recursos de acessibilidade do iOS.

DECLARAÇÕES

"A Conversa em Tempo Real mudou o que o Visionauta é. Não é mais um aplicativo em que você tira uma foto e espera uma resposta: é uma conversa contínua com alguém que enxerga por você e está sempre ali, seja para descrever a rua, achar a farmácia mais próxima, gravar um vídeo ou ler a partitura que você vai tocar."
— Jonathan Santos

"Levar o aplicativo a 23 novos idiomas, do tcheco ao tailandês, do hebraico ao suaíli, foi uma decisão de justiça, não de mercado. A tecnologia assistiva sempre chegou primeiro em inglês, e quem não fala inglês esperava anos. Agora muito mais pessoas podem conversar com o Visionauta na própria língua."
— Jonathan Santos

"Agradeço aos professores Ismar Frango e Nizam Omar, da Universidade Presbiteriana Mackenzie, que me incentivaram a transformar um projeto acadêmico em uma ferramenta real para a comunidade."
— Jonathan Santos

The free app built by a blind software engineer who worked at Google and Samsung has an assistant that sees: it talks by voice without interruptions, describes surroundings, tells the user where they are, searches the internet, reads and plays sheet music, records videos with sound and helps blind people take well-framed photos. Available for iPhone and Android.

Visionauta, the accessibility app that uses artificial intelligence to give more autonomy to blind and low-vision people, announces its new version — and now speaks 39 languages: Portuguese, English, Spanish, French, Korean, German, Japanese, Italian, Arabic, Russian, Simplified Chinese, Hindi, Bengali, Vietnamese, Turkish and Indonesian, plus 23 new languages: Czech, Greek, Estonian, Persian, Finnish, Hebrew, Hungarian, Icelandic, Lithuanian, Marathi, Dutch, Polish, Romanian, Slovak, Slovenian, Swedish, Swahili, Tamil, Telugu, Thai, Ukrainian, Urdu and Cantonese. The translation covers the entire app, the voice commands, text reading and also the answers from the artificial intelligence, which talks to users in their own language. With the 23 new languages, the app now reaches speakers across Europe, the Middle East, Africa and Asia.

Every feature of the app can be used without paying, within daily quotas. The optional Visionauta Plus subscription raises those quotas. The app is available for iPhone on the App Store and for Android on Google Play.

REAL-TIME CONVERSATION: AN ASSISTANT THAT SEES AND SPEAKS ALONG

Visionauta's core feature is Real-Time Conversation. In it, the person speaks naturally, without pressing buttons and without waiting for a turn, with an artificial intelligence that sees through the phone's camera and answers out loud right away — like having a sighted friend beside you describing the world. In the latest version the conversation voice is clearer, with fewer artifacts and better diction.

During that conversation, Visionauta can:

• Describe surroundings and scenes — what is in the room, who is nearby, how the table is set, what clothes are on the bed, whether the light is on.
• Say where the person is and what is around them — current address, streets, landmarks, pharmacies, bakeries and the nearest bus stop, using real-time map data.
• Search the internet — news, opening hours, prices, up-to-date information, without leaving the conversation.
• Read and play sheet music — just point the camera at a printed score. Visionauta identifies the notes, reads the piece out loud and plays it on the device itself, generating MusicXML and MIDI files. A first-of-its-kind feature for blind musicians, who have historically depended on other people or on rare and expensive braille editions.
• Help people with visual impairment take photos — the photo assistant guides the framing, says when it looks good, counts down and releases the shutter, so that family pictures, documents or social media photos come out right.
• Record videos with sound — the person asks by voice, the assistant guides the framing and records; the recording can be paused, resumed, finished or cancelled with accessible controls, and the videos are saved in Activities, ready to watch and share.
• Hail a ride by voice — just say the destination and the app opens Uber, 99, Bolt or Lyft with the trip already filled in, leaving only the confirmation.
• Answer any question about what is in front of the camera — what product is this, what is the expiry date, what color is this garment, what does this sign say.

VISIONAUTA MAGIC: THE AI THAT DESCRIBES IMAGES AND CARRIES OUT TASKS ON THE PHONE

Exclusive to Android and available to Visionauta Plus subscribers, Visionauta Magic works together with the device's screen reader, such as TalkBack, and solves two long-standing problems in the community:

First, it describes unlabeled images that appear in any app. When the screen reader's focus lands on an image, an icon or a card with no description, Visionauta analyzes just that element and announces out loud what is in it.

Second, it carries out tasks on the phone. The person asks for something like "open WhatsApp and send a message to Ana", and Visionauta builds a plan, reads the plan out loud and only acts after the user approves it — narrating every step and able to be interrupted at any moment by an emergency button or by a two-finger double tap. Nothing happens without confirmation.

THE EVERYDAY FEATURES

Beyond the conversation, Visionauta keeps the set of tools that made it popular in the blind and low-vision community, most of them working without an internet connection:

• Offline text reading — point the camera at documents, packaging, letters or signs and hear the content read out loud.
• Banknote recognition — Real, Dollar, Euro, Mexican Peso, Yen, Canadian and Australian Dollar, with no connection required.
• Object finder — say "help me find my phone" and the app scans the surroundings, alerting with vibration and voice when it finds it.
• Electronic magnifier for low vision — with zoom and high-contrast modes, inverted colors, white on black, black on white and yellow on blue.
• Flashlight with vibration reminder.
• Built-in natural voices — which can be used across the whole system, as a TalkBack voice on Android and a VoiceOver voice on iPhone, working offline once downloaded.

The iPhone version is fully integrated with VoiceOver and the accessibility features of iOS.

QUOTES

"Real-Time Conversation changed what Visionauta is. It is no longer an app where you take a picture and wait for an answer: it is a continuous conversation with someone who sees for you and is always there, whether to describe the street, find the nearest pharmacy, record a video or read the score you are about to play."
— Jonathan Santos

"Bringing the app to 23 new languages, from Czech to Thai, from Hebrew to Swahili, was a matter of justice, not a market decision. Assistive technology has always arrived in English first, and those who do not speak English waited years. Many more people can now talk to Visionauta in their own language."
— Jonathan Santos

"I am grateful to professors Ismar Frango and Nizam Omar, of Universidade Presbiteriana Mackenzie, who encouraged me to turn an academic project into a real tool for the community."
— Jonathan Santos

La aplicación gratuita creada por un ingeniero de software ciego que trabajó en Google y Samsung cuenta con un asistente que ve: habla por voz sin interrupciones, describe entornos, le dice a la persona dónde se encuentra, busca información en internet, lee y reproduce partituras impresas, graba vídeos con sonido y ayuda a las personas ciegas a encuadrar bien sus fotos. Disponible para iPhone y Android.

Visionauta, la aplicación de accesibilidad que emplea inteligencia artificial para dar más autonomía a las personas ciegas y con baja visión, anuncia su nueva versión, y ya habla 39 idiomas: portugués, inglés, español, francés, coreano, alemán, japonés, italiano, árabe, ruso, chino simplificado, hindi, bengalí, vietnamita, turco e indonesio, además de 23 idiomas nuevos: checo, griego, estonio, persa, finés, hebreo, húngaro, islandés, lituano, maratí, neerlandés, polaco, rumano, eslovaco, esloveno, sueco, suajili, tamil, telugu, tailandés, ucraniano, urdu y cantonés. La traducción abarca toda la aplicación, los comandos de voz, la lectura de textos y también las respuestas de la inteligencia artificial, que conversa con cada persona en su propio idioma. Con los 23 idiomas nuevos, la aplicación pasa a alcanzar a hablantes en Europa, Oriente Medio, África y Asia.

Todas las funciones de la aplicación pueden usarse sin pagar, dentro de cupos diarios. La suscripción opcional Visionauta Plus amplía esos cupos. La aplicación está disponible para iPhone en la App Store y para Android en Google Play.

CONVERSACIÓN EN TIEMPO REAL: UN ASISTENTE QUE VE Y RESPONDE

La función central de Visionauta es la Conversación en Tiempo Real. La persona habla con naturalidad —sin pulsar ningún botón, sin esperar una señal sonora— con una inteligencia artificial que ve a través de la cámara del teléfono y responde de inmediato por voz. Como un amigo vidente que está a tu lado y describe el mundo. En la versión más reciente, la voz de la conversación es más clara, con menos ruido y mejor dicción.

Durante esa conversación, Visionauta puede:

• Describir entornos y escenas: qué hay en la habitación, quién está cerca, cómo está puesta la mesa, qué ropa hay sobre la cama, si la luz está encendida.
• Decir dónde se encuentra la persona y qué hay alrededor: dirección actual, calles, puntos de referencia, farmacias, panaderías y la parada de autobús más cercana, a partir de datos cartográficos en tiempo real.
• Buscar información en internet: noticias, horarios de apertura, precios, datos actualizados, sin salir de la conversación.
• Leer y reproducir partituras: basta con apuntar la cámara a las notas impresas. Visionauta reconoce las notas, lee la pieza en voz alta y la reproduce directamente en el dispositivo, generando además archivos MusicXML y MIDI. Una función inédita para las músicas y los músicos ciegos, que hasta ahora dependían de la ayuda de terceros o de ediciones en braille escasas y caras.
• Ayudar a las personas ciegas a fotografiar: el asistente de fotos guía el encuadre, avisa cuando la imagen está alineada, hace la cuenta atrás y dispara la cámara, para que salgan bien las fotos familiares, los documentos o las imágenes para redes sociales.
• Grabar vídeos con sonido: la persona lo pide por voz, el asistente guía el encuadre y graba; la grabación se puede pausar, reanudar, finalizar o cancelar con controles accesibles, y los vídeos quedan guardados en Actividades, listos para verlos y compartirlos.
• Pedir un coche por voz: basta con indicar el destino y la aplicación abre Uber, 99, Bolt o Lyft con el viaje ya cargado; solo queda confirmar.
• Responder cualquier pregunta sobre lo que hay frente a la cámara: qué producto es este, hasta cuándo se conserva, de qué color es esta prenda, qué dice este cartel.

VISIONAUTA MAGIC: LA IA QUE DESCRIBE IMÁGENES Y REALIZA TAREAS EN EL TELÉFONO

Visionauta Magic está disponible en exclusiva para Android y para las personas suscritas a Visionauta Plus. Funciona junto con el lector de pantalla del dispositivo, como TalkBack, y resuelve dos viejos problemas de la comunidad:

En primer lugar, describe las imágenes sin etiquetar que aparecen en cualquier aplicación. En cuanto el foco del lector de pantalla se detiene en una imagen, un icono o una tarjeta sin descripción, Visionauta analiza justamente ese elemento y anuncia en voz alta lo que muestra.

En segundo lugar, realiza tareas en el teléfono. La persona dice, por ejemplo, «Abre WhatsApp y envíale un mensaje a Ana», y Visionauta elabora un plan, lo lee en voz alta y solo actúa tras la aprobación de la persona usuaria, comentando cada paso y pudiendo interrumpirse en cualquier momento mediante un botón de parada de emergencia o un doble toque con dos dedos. Sin confirmación no ocurre nada.

LAS FUNCIONES DEL DÍA A DÍA

Además de la conversación, Visionauta mantiene las herramientas que lo hicieron popular en la comunidad de personas ciegas y con baja visión, y muchas de ellas funcionan sin internet:

• Reconocimiento de texto sin conexión: apuntar la cámara a documentos, envases, cartas o carteles y escuchar su contenido.
• Reconocimiento de billetes: real brasileño, dólar estadounidense, euro, peso mexicano, yen, dólar canadiense y australiano, sin conexión.
• Buscador de objetos: decir «Ayúdame a encontrar mi teléfono» y la aplicación rastrea el entorno y avisa del hallazgo mediante vibración y voz.
• Lupa electrónica para baja visión: con zoom y modos de alto contraste, colores invertidos, blanco sobre negro, negro sobre blanco y amarillo sobre azul.
• Linterna con recordatorio por vibración.
• Voces naturales propias: utilizables en todo el sistema, como voz de TalkBack en Android y de VoiceOver en el iPhone, y sin conexión una vez descargadas.

La versión para iPhone está totalmente integrada con VoiceOver y las funciones de accesibilidad de iOS.

CITAS

«La Conversación en Tiempo Real cambió lo que es Visionauta. Ya no es una aplicación en la que haces una foto y esperas una respuesta: es una conversación continua con alguien que ve por ti y siempre está ahí, ya sea para describir la calle, encontrar la farmacia más cercana, grabar un vídeo o leerte la partitura que estás a punto de tocar.»
— Jonathan Santos

«Llevar la aplicación a 23 nuevos idiomas, del checo al tailandés, del hebreo al suajili, fue una cuestión de justicia, no una decisión de mercado. La tecnología de apoyo siempre llegó primero en inglés, y quien no habla inglés esperaba años. Ahora muchas más personas pueden conversar con Visionauta en su propia lengua.»
— Jonathan Santos

«Agradezco a los profesores Ismar Frango y Nizam Omar, de la Universidade Presbiteriana Mackenzie, que me animaron a convertir un proyecto académico en una herramienta real para la comunidad.»
— Jonathan Santos

L'application gratuite d'un ingénieur logiciel aveugle ayant travaillé chez Google et Samsung dispose d'un assistant qui voit : il parle sans interruption par la voix, décrit les environnements, indique à la personne où elle se trouve, cherche des informations sur Internet, lit et joue des partitions imprimées, enregistre des vidéos avec le son et aide les personnes aveugles à cadrer correctement leurs photos. Disponible pour iPhone et Android.

Visionauta, l'application d'accessibilité qui met l'intelligence artificielle au service de l'autonomie des personnes aveugles et malvoyantes, annonce sa nouvelle version — et parle désormais 39 langues : portugais, anglais, espagnol, français, coréen, allemand, japonais, italien, arabe, russe, chinois simplifié, hindi, bengali, vietnamien, turc et indonésien, auxquelles s'ajoutent 23 nouvelles langues : tchèque, grec, estonien, persan, finnois, hébreu, hongrois, islandais, lituanien, marathi, néerlandais, polonais, roumain, slovaque, slovène, suédois, swahili, tamoul, télougou, thaï, ukrainien, ourdou et cantonais. La traduction couvre l'ensemble de l'application, les commandes vocales, la lecture de textes ainsi que les réponses de l'intelligence artificielle, qui dialogue avec l'utilisatrice ou l'utilisateur dans sa propre langue. Avec ces 23 nouvelles langues, l'application touche désormais des locuteurs en Europe, au Moyen-Orient, en Afrique et en Asie.

Toutes les fonctionnalités de l'application sont utilisables sans paiement, dans la limite de quotas quotidiens. L'abonnement facultatif Visionauta Plus élargit ces quotas. L'application est disponible sur l'App Store pour iPhone et sur Google Play pour Android.

CONVERSATION EN TEMPS RÉEL : UN ASSISTANT QUI VOIT ET QUI PARLE

La fonctionnalité centrale de Visionauta est la Conversation en Temps Réel. La personne parle tout naturellement — sans appuyer sur un bouton, sans attendre de signal sonore — avec une intelligence artificielle qui voit à travers la caméra du téléphone et répond immédiatement par la voix. Comme un ami voyant qui se tiendrait à côté de vous et décrirait le monde. Dans la version la plus récente, la voix de la conversation est plus claire, avec moins de bruit et une meilleure diction.

Au cours de cette conversation, Visionauta peut :

• Décrire des environnements et des scènes — ce qui se trouve dans la pièce, qui est à proximité, comment la table est dressée, quels vêtements sont posés sur le lit, si la lumière est allumée.
• Indiquer où se trouve la personne et ce qu'il y a autour — adresse actuelle, rues, points de repère, pharmacies, boulangeries et l'arrêt de bus le plus proche, à partir de données cartographiques en temps réel.
• Chercher des informations sur Internet — actualités, horaires d'ouverture, prix, données à jour, sans quitter la conversation.
• Lire et jouer des partitions — il suffit de pointer la caméra sur des notes imprimées. Visionauta reconnaît les notes, lit le morceau à voix haute et le joue directement sur l'appareil ; des fichiers MusicXML et MIDI sont générés au passage. Une fonctionnalité inédite pour les musiciennes et musiciens aveugles, jusqu'ici tributaires de l'aide d'autrui ou d'éditions en braille rares et coûteuses.
• Aider les personnes aveugles à photographier — l'assistant photo guide le cadrage, signale lorsque l'image est bien alignée, décompte et déclenche l'appareil, afin de réussir photos de famille, documents ou images destinées aux réseaux sociaux.
• Enregistrer des vidéos avec le son — la personne le demande à la voix, l'assistant guide le cadrage et enregistre ; l'enregistrement peut être mis en pause, repris, terminé ou annulé grâce à des commandes accessibles, et les vidéos sont conservées dans Activités, prêtes à être visionnées et partagées.
• Commander une voiture à la voix — il suffit d'indiquer la destination, et l'application ouvre Uber, 99, Bolt ou Lyft avec le trajet déjà renseigné ; il ne reste plus qu'à confirmer.
• Répondre à toute question sur ce qui se trouve devant la caméra — quel est ce produit, jusqu'à quelle date se conserve-t-il, de quelle couleur est ce vêtement, qu'indique ce panneau.

VISIONAUTA MAGIC : L'IA QUI DÉCRIT LES IMAGES ET EXÉCUTE DES TÂCHES SUR LE TÉLÉPHONE

Visionauta Magic est disponible exclusivement sur Android et pour les abonnées et abonnés de Visionauta Plus. Il fonctionne de concert avec le lecteur d'écran de l'appareil, TalkBack par exemple, et résout deux problèmes anciens de la communauté :

Premièrement, il décrit les images non étiquetées qui apparaissent dans n'importe quelle application. Dès que le focus du lecteur d'écran s'arrête sur une image, une icône ou une carte dépourvue de description, Visionauta analyse précisément cet élément et annonce à voix haute ce qui s'y trouve.

Deuxièmement, il exécute des tâches sur le téléphone. La personne dit par exemple « Ouvre WhatsApp et envoie un message à Ana », et Visionauta établit un plan, le lit à voix haute et n'agit qu'après l'accord de l'utilisatrice ou de l'utilisateur — en commentant chaque étape, avec la possibilité d'interrompre à tout moment par un bouton d'arrêt d'urgence ou par un double tapotement à deux doigts. Rien ne se produit sans confirmation.

LES FONCTIONNALITÉS DU QUOTIDIEN

Au-delà de la conversation, Visionauta conserve les outils qui l'ont rendu populaire au sein de la communauté des personnes aveugles et malvoyantes — dont beaucoup fonctionnent sans Internet :

• Reconnaissance de texte hors ligne — pointer la caméra sur des documents, des emballages, des courriers ou des panneaux et s'en faire lire le contenu.
• Reconnaissance des billets de banque — réal brésilien, dollar américain, euro, peso mexicain, yen, dollars canadien et australien, sans connexion.
• Localisateur d'objets — dire « Aide-moi à trouver mon téléphone », et l'application explore l'environnement et signale la trouvaille par vibration et par la voix.
• Loupe électronique pour personnes malvoyantes — avec zoom et modes contraste élevé, couleurs inversées, blanc sur noir, noir sur blanc et jaune sur bleu.
• Lampe torche avec rappel par vibration.
• Voix naturelles propres — utilisables dans tout le système, comme voix de TalkBack sous Android et de VoiceOver sur iPhone, et hors ligne une fois téléchargées.

La version iPhone est entièrement intégrée à VoiceOver et aux fonctions d'accessibilité d'iOS.

CITATIONS

« La Conversation en Temps Réel a changé ce qu'est Visionauta. Ce n'est plus une application où l'on prend une photo et où l'on attend une réponse : c'est une conversation continue avec quelqu'un qui voit pour vous et qui est toujours là — qu'il s'agisse de décrire la rue, de trouver la pharmacie la plus proche, d'enregistrer une vidéo ou de lire la partition que vous vous apprêtez à jouer. »
— Jonathan Santos

« Porter l'application à 23 nouvelles langues, du tchèque au thaï, de l'hébreu au swahili, était une question de justice, pas une décision de marché. La technologie d'assistance est toujours arrivée d'abord en anglais, et celles et ceux qui ne parlent pas anglais attendaient des années. Beaucoup plus de personnes peuvent désormais converser avec Visionauta dans leur propre langue. »
— Jonathan Santos

« Je remercie les professeurs Ismar Frango et Nizam Omar de l'Universidade Presbiteriana Mackenzie, qui m'ont encouragé à transformer un projet académique en un véritable outil pour la communauté. »
— Jonathan Santos

Die kostenlose App eines blinden Softwareentwicklers, der bei Google und Samsung gearbeitet hat, verfügt über einen Assistenten, der sieht: Er spricht ununterbrochen per Sprache, beschreibt Umgebungen, sagt der Person, wo sie sich befindet, sucht Informationen im Internet, liest und spielt Notenblätter vor, nimmt Videos mit Ton auf und hilft blinden Menschen, gut ausgerichtete Fotos aufzunehmen. Verfügbar für iPhone und Android.

Visionauta, die Barrierefreiheits-App, die künstliche Intelligenz einsetzt, um blinden und sehbehinderten Menschen mehr Selbstständigkeit zu geben, kündigt ihre neue Version an – und spricht nun 39 Sprachen: Portugiesisch, Englisch, Spanisch, Französisch, Koreanisch, Deutsch, Japanisch, Italienisch, Arabisch, Russisch, vereinfachtes Chinesisch, Hindi, Bengalisch, Vietnamesisch, Türkisch und Indonesisch, dazu 23 neue Sprachen: Tschechisch, Griechisch, Estnisch, Persisch, Finnisch, Hebräisch, Ungarisch, Isländisch, Litauisch, Marathi, Niederländisch, Polnisch, Rumänisch, Slowakisch, Slowenisch, Schwedisch, Swahili, Tamil, Telugu, Thai, Ukrainisch, Urdu und Kantonesisch. Die Übersetzung gilt für die gesamte App, für die Sprachbefehle, für die Texterkennung und ebenso für die Antworten der künstlichen Intelligenz, die sich mit der Nutzerin oder dem Nutzer in deren Sprache unterhält. Mit den 23 neuen Sprachen erreicht die App nun Sprecherinnen und Sprecher in Europa, im Nahen Osten, in Afrika und in Asien.

Die App ist kostenlos und für das iPhone im App Store sowie für Android bei Google Play erhältlich.

ECHTZEIT-GESPRÄCH: EIN ASSISTENT, DER SIEHT UND MITSPRICHT

Die zentrale Funktion von Visionauta ist das Echtzeit-Gespräch. Dabei spricht die Person ganz natürlich – ohne Tastendruck, ohne auf einen Signalton zu warten – mit einer künstlichen Intelligenz, die durch die Handykamera sieht und sofort per Sprache antwortet. Wie ein sehender Freund, der neben einem steht und die Welt beschreibt. In der neuesten Version ist die Stimme des Gesprächs klarer geworden, mit weniger Rauschen und besserer Aussprache.

Während dieses Gesprächs kann Visionauta:

• Umgebungen und Szenen beschreiben – was im Raum steht, wer in der Nähe ist, wie der Tisch gedeckt ist, welche Kleidung auf dem Bett liegt, ob das Licht brennt.
• Sagen, wo sich die Person befindet und was es in der Umgebung gibt – aktuelle Adresse, Straßen, Orientierungspunkte, Apotheken, Bäckereien und die nächste Bushaltestelle, anhand von Kartendaten in Echtzeit.
• Informationen im Internet suchen – Nachrichten, Öffnungszeiten, Preise, aktuelle Angaben, ohne das Gespräch zu verlassen.
• Notenblätter lesen und abspielen – einfach die Kamera auf gedruckte Noten richten. Visionauta erkennt die Noten, liest das Stück laut vor und spielt es direkt auf dem Gerät ab; dabei entstehen MusicXML- und MIDI-Dateien. Eine neuartige Funktion für blinde Musikerinnen und Musiker, die bislang auf fremde Hilfe oder auf seltene und teure Braille-Ausgaben angewiesen waren.
• Blinden Menschen beim Fotografieren helfen – der Foto-Assistent leitet die Bildausrichtung an, meldet, wenn der Ausschnitt stimmt, zählt herunter und löst die Kamera aus, damit Familienfotos, Dokumente oder Bilder für soziale Netzwerke gelingen.
• Videos mit Ton aufnehmen – die Person bittet per Sprache darum, der Assistent leitet die Bildausrichtung an und nimmt auf; die Aufnahme lässt sich über barrierefreie Bedienelemente anhalten, fortsetzen, abschließen oder abbrechen, und die Videos werden unter Aktivitäten gespeichert, bereit zum Ansehen und Teilen.
• Per Sprache ein Auto rufen – man nennt einfach das Ziel, und die App öffnet Uber, 99, Bolt oder Lyft mit bereits eingetragener Fahrt; es bleibt nur noch die Bestätigung.
• Jede Frage zu dem beantworten, was vor der Kamera liegt – welches Produkt ist das, wie lange ist es haltbar, welche Farbe hat dieses Kleidungsstück, was steht auf diesem Schild.

VISIONAUTA MAGIC: DIE KI, DIE BILDER BESCHREIBT UND AUFGABEN AUF DEM HANDY ERLEDIGT

Visionauta Magic ist exklusiv für Android und für Abonnentinnen und Abonnenten von Visionauta Plus verfügbar. Es arbeitet mit dem Screenreader des Geräts zusammen, etwa mit TalkBack, und löst zwei alte Probleme der Community:

Erstens beschreibt es unbeschriftete Bilder, die in beliebigen Apps auftauchen. Sobald der Fokus des Screenreaders auf einem Bild, einem Symbol oder einer Karte ohne Beschreibung stehen bleibt, analysiert Visionauta genau dieses Element und sagt laut an, was darauf zu sehen ist.

Zweitens erledigt es Aufgaben auf dem Handy. Die Person sagt etwa „Öffne WhatsApp und schicke Ana eine Nachricht“, und Visionauta erstellt einen Plan, liest ihn laut vor und handelt erst nach der Zustimmung der Nutzerin oder des Nutzers – dabei kommentiert es jeden Schritt und lässt sich jederzeit über eine Not-Aus-Taste oder durch ein Doppeltippen mit zwei Fingern unterbrechen. Ohne Bestätigung geschieht nichts.

DIE FUNKTIONEN FÜR DEN ALLTAG

Neben dem Gespräch behält Visionauta jene Werkzeuge, die es in der Community blinder und sehbehinderter Menschen beliebt gemacht haben – viele davon funktionieren ohne Internet:

• Texterkennung offline – die Kamera auf Dokumente, Verpackungen, Briefe oder Schilder richten und den Inhalt vorgelesen bekommen.
• Geldscheinerkennung – brasilianischer Real, US-Dollar, Euro, mexikanischer Peso, Yen, kanadischer und australischer Dollar, ohne Verbindung.
• Objektsuche – „Hilf mir, mein Handy zu finden“ sagen, und die App durchsucht die Umgebung und meldet den Fund per Vibration und Sprache.
• Elektronische Lupe für Sehbehinderte – mit Zoom und Modi für hohen Kontrast, invertierte Farben, Weiß auf Schwarz, Schwarz auf Weiß und Gelb auf Blau.
• Taschenlampe mit Vibrationserinnerung.
• Eigene natürliche Stimmen – systemweit nutzbar, als Stimme für TalkBack unter Android und für VoiceOver auf dem iPhone, nach dem Herunterladen auch offline.

Die iPhone-Version ist vollständig in VoiceOver und die Bedienungshilfen von iOS integriert.

ZITATE

„Das Echtzeit-Gespräch hat verändert, was Visionauta ist. Es ist keine App mehr, in der man ein Foto macht und auf eine Antwort wartet: Es ist ein fortlaufendes Gespräch mit jemandem, der für dich sieht und immer da ist – ob um die Straße zu beschreiben, die nächste Apotheke zu finden, ein Video aufzunehmen oder die Noten vorzulesen, die du gleich spielst.“
— Jonathan Santos

„Die App in 23 neue Sprachen zu bringen, vom Tschechischen bis zum Thai, vom Hebräischen bis zum Swahili, war eine Frage der Gerechtigkeit, keine Marktentscheidung. Assistive Technologie kam immer zuerst auf Englisch, und wer kein Englisch spricht, wartete jahrelang. Nun können sich viel mehr Menschen in ihrer eigenen Sprache mit Visionauta unterhalten.“
— Jonathan Santos

„Ich danke den Professoren Ismar Frango und Nizam Omar von der Universidade Presbiteriana Mackenzie, die mich ermutigt haben, aus einem akademischen Projekt ein echtes Werkzeug für die Community zu machen.“
— Jonathan Santos

L'app gratuita creata da un ingegnere del software cieco che ha lavorato in Google e Samsung ha un assistente che vede: parla a voce senza interruzioni, descrive gli ambienti, dice alla persona dove si trova, cerca informazioni su internet, legge ed esegue spartiti musicali, registra video con l'audio e aiuta le persone cieche a scattare fotografie ben inquadrate. Disponibile per iPhone e Android.

Visionauta, l'app di accessibilità che usa l'intelligenza artificiale per dare più autonomia alle persone cieche e ipovedenti, annuncia la sua nuova versione — e ora parla 39 lingue: portoghese, inglese, spagnolo, francese, coreano, tedesco, giapponese, italiano, arabo, russo, cinese semplificato, hindi, bengalese, vietnamita, turco e indonesiano, più 23 lingue nuove: ceco, greco, estone, persiano, finlandese, ebraico, ungherese, islandese, lituano, marathi, olandese, polacco, rumeno, slovacco, sloveno, svedese, swahili, tamil, telugu, tailandese, ucraino, urdu e cantonese. La traduzione riguarda l'intera app, i comandi vocali, la lettura dei testi e anche le risposte dell'intelligenza artificiale, che dialoga con l'utente nella sua lingua. Con le 23 lingue nuove, l'app raggiunge ora parlanti in Europa, in Medio Oriente, in Africa e in Asia.

L'app è gratuita ed è disponibile per iPhone sull'App Store e per Android su Google Play.

CONVERSAZIONE IN TEMPO REALE: UN ASSISTENTE CHE VEDE E PARLA INSIEME A TE

La funzione principale di Visionauta è la Conversazione in Tempo Reale. La persona parla in modo naturale, senza premere pulsanti e senza attendere il proprio turno, con un'intelligenza artificiale che vede attraverso la fotocamera del telefono e risponde subito a voce: come avere accanto un amico che vede e descrive il mondo. Nella versione più recente la voce della conversazione è diventata più chiara, con meno rumore e una dizione migliore.

Durante la conversazione, Visionauta può:

• Descrivere ambienti e scene — che cosa c'è nella stanza, chi si trova nei paraggi, com'è apparecchiata la tavola, quale vestito è appoggiato sul letto, se la luce è accesa.
• Dire dove si trova la persona e che cosa c'è intorno — indirizzo attuale, strade, punti di riferimento, farmacie, panetterie e la fermata dell'autobus più vicina, usando informazioni cartografiche in tempo reale.
• Cercare informazioni su internet — notizie, orari, prezzi, dati aggiornati, senza uscire dalla conversazione.
• Leggere ed eseguire spartiti musicali — basta puntare la fotocamera su uno spartito stampato. Visionauta riconosce le note, legge il brano ad alta voce e lo riproduce sul dispositivo stesso, generando i file MusicXML e MIDI. Una funzione inedita per i musicisti ciechi, che storicamente dipendono da terzi o da edizioni in braille rare e costose.
• Aiutare la persona cieca a scattare fotografie — l'assistente fotografico guida l'inquadratura, avvisa quando è corretta, esegue il conto alla rovescia e scatta, perché le foto di famiglia, dei documenti o per i social riescano bene.
• Registrare video con l'audio — la persona lo chiede a voce, l'assistente guida l'inquadratura e registra; la registrazione può essere messa in pausa, ripresa, conclusa o annullata con controlli accessibili, e i video restano salvati in Attività, pronti da guardare e condividere.
• Chiamare un'auto a voce — basta dire la destinazione e l'app apre Uber, 99, Bolt o Lyft con la corsa già compilata: resta solo da confermare.
• Rispondere a qualsiasi domanda su ciò che si trova davanti alla fotocamera — che prodotto è questo, qual è la data di scadenza, di che colore è questo capo, che cosa dice questo cartello.

VISIONAUTA MAGIC: L'IA CHE DESCRIVE LE IMMAGINI ED ESEGUE ATTIVITÀ SUL TELEFONO

Esclusivo per Android e disponibile per gli abbonati a Visionauta Plus, Visionauta Magic lavora insieme allo screen reader del dispositivo, come TalkBack, e risolve due problemi storici della comunità:

Primo, descrive le immagini prive di etichetta che compaiono in qualsiasi applicazione. Quando il fuoco dello screen reader si ferma su un'immagine, un'icona o una scheda senza descrizione, Visionauta analizza solo quell'elemento e annuncia ad alta voce che cosa contiene.

Secondo, esegue attività sul telefono. La persona chiede per esempio "apri WhatsApp e manda un messaggio ad Ana", e Visionauta prepara un piano, lo legge ad alta voce e agisce solo dopo l'approvazione dell'utente — narrando ogni passaggio e potendo essere interrotto in qualsiasi momento con un pulsante di emergenza o con un doppio tocco a due dita. Nulla accade senza conferma.

LE FUNZIONI DI TUTTI I GIORNI

Oltre alla conversazione, Visionauta mantiene l'insieme di strumenti che l'ha reso popolare nella comunità delle persone con disabilità visiva, molti dei quali funzionano senza internet:

• Lettura di testi offline — punta la fotocamera su documenti, confezioni, lettere o cartelli e ascolta il contenuto ad alta voce.
• Riconoscimento delle banconote — real brasiliano, dollaro, euro, peso messicano, yen, dollaro canadese e australiano, senza connessione.
• Ricerca di oggetti — di' "aiutami a trovare il mio telefono" e l'app perlustra l'ambiente, avvisando con vibrazione e voce quando lo trova.
• Lente d'ingrandimento elettronica per ipovedenti — con zoom e modalità ad alto contrasto, colori invertiti, bianco su nero, nero su bianco e giallo su blu.
• Torcia con promemoria a vibrazione.
• Voci naturali proprie — utilizzabili in tutto il sistema, come voce di TalkBack su Android e di VoiceOver su iPhone, funzionanti offline dopo il download.

La versione per iPhone è completamente integrata con VoiceOver e con le funzioni di accessibilità di iOS.

DICHIARAZIONI

"La Conversazione in Tempo Reale ha cambiato che cosa è Visionauta. Non è più un'app in cui scatti una foto e aspetti una risposta: è un dialogo continuo con qualcuno che vede per te ed è sempre lì, sia per descrivere la strada, sia per trovare la farmacia più vicina, sia per registrare un video, sia per leggere lo spartito che stai per suonare."
— Jonathan Santos

"Portare l'app in 23 nuove lingue, dal ceco al tailandese, dall'ebraico allo swahili, è stata una decisione di giustizia, non di mercato. La tecnologia assistiva è sempre arrivata prima in inglese, e chi non parla inglese aspettava anni. Ora molte più persone possono conversare con Visionauta nella propria lingua."
— Jonathan Santos

"Ringrazio i professori Ismar Frango e Nizam Omar, dell'Universidade Presbiteriana Mackenzie, che mi hanno incoraggiato a trasformare un progetto accademico in uno strumento reale per la comunità."
— Jonathan Santos

구글과 삼성에서 근무한 전맹 소프트웨어 엔지니어가 만든 이 무료 앱에는 「보는」 어시스턴트가 있습니다. 끊김 없이 음성으로 대화하고, 주변을 설명하고, 지금 있는 위치를 알려 주고, 인터넷에서 정보를 검색하고, 악보를 읽어 연주하고, 소리가 담긴 동영상을 촬영하며, 시각장애인이 구도가 잘 잡힌 사진을 찍도록 돕습니다. 아이폰과 안드로이드에서 이용할 수 있습니다.

시각장애인과 저시력자의 자율성을 높이기 위해 인공지능을 활용하는 접근성 앱 비지오나우타(Visionauta)가 새 버전을 발표했습니다. 이제 앱은 포르투갈어, 영어, 스페인어, 프랑스어, 한국어, 독일어, 일본어, 이탈리아어, 아랍어, 러시아어, 간체 중국어, 힌디어, 벵골어, 베트남어, 터키어, 인도네시아어 등 16개 언어에 더해 체코어, 그리스어, 에스토니아어, 페르시아어, 핀란드어, 히브리어, 헝가리어, 아이슬란드어, 리투아니아어, 마라티어, 네덜란드어, 폴란드어, 루마니아어, 슬로바키아어, 슬로베니아어, 스웨덴어, 스와힐리어, 타밀어, 텔루구어, 태국어, 우크라이나어, 우르두어, 광둥어 등 23개 신규 언어까지 총 39개 언어를 지원합니다. 번역은 앱 전체와 음성 명령, 텍스트 읽기에 적용되며, 인공지능의 답변에도 그대로 적용되어 사용자의 언어로 대화합니다. 23개 신규 언어로 이 앱은 유럽, 중동, 아프리카, 아시아의 사용자에게 다가갑니다.

앱은 무료이며, 아이폰용은 앱스토어에서, 안드로이드용은 구글 플레이에서 제공됩니다.

실시간 대화: 보면서 함께 말해 주는 어시스턴트

비지오나우타의 핵심 기능은 실시간 대화입니다. 버튼을 누르지 않고 차례를 기다리지도 않은 채 자연스럽게 말하면, 휴대폰 카메라로 보는 인공지능이 곧바로 소리 내어 대답합니다. 옆에서 세상을 설명해 주는 눈이 보이는 친구가 함께 있는 것과 같습니다. 최신 버전에서는 대화 음성이 잡음은 줄고 발음은 더 또렷해졌습니다.

이 대화 중에 비지오나우타는 다음과 같은 일을 할 수 있습니다.

• 주변과 장면을 설명합니다 — 방 안에 무엇이 있는지, 누가 가까이 있는지, 식탁이 어떻게 차려져 있는지, 침대 위에 어떤 옷이 놓여 있는지, 불이 켜져 있는지 알려 줍니다.
• 지금 있는 곳과 주변에 무엇이 있는지 말해 줍니다 — 실시간 지도 데이터를 이용해 현재 주소, 거리, 주요 지형지물, 약국, 빵집, 가장 가까운 버스 정류장을 안내합니다.
• 인터넷을 검색합니다 — 대화를 벗어나지 않고 뉴스, 영업시간, 가격, 최신 정보를 확인합니다.
• 악보를 읽고 연주합니다 — 인쇄된 악보에 카메라를 향하기만 하면 됩니다. 비지오나우타가 음표를 인식해 곡을 소리 내어 읽어 주고 기기에서 직접 연주하며, MusicXML과 MIDI 파일을 생성합니다. 그동안 다른 사람의 도움이나 드물고 값비싼 점자 악보에 의존해야 했던 시각장애인 음악가를 위한, 전례 없는 기능입니다.
• 시각장애인이 사진을 찍도록 돕습니다 — 사진 어시스턴트가 구도를 안내하고, 잘 잡혔을 때 알려 주며, 카운트다운 후 셔터를 눌러 가족사진이나 서류, 소셜 미디어용 사진이 제대로 나오게 합니다.
• 소리가 담긴 동영상을 촬영합니다 — 음성으로 요청하면 어시스턴트가 구도를 안내하고 촬영을 시작합니다. 접근성 있는 조작으로 촬영을 일시정지, 재개, 완료, 취소할 수 있으며, 동영상은 「활동」에 저장되어 바로 보고 공유할 수 있습니다.
• 음성으로 차량을 호출합니다 — 목적지를 말하기만 하면 우버, 99, 볼트, 리프트가 경로가 입력된 상태로 열려 확인만 하면 됩니다.
• 카메라 앞에 있는 것에 대한 어떤 질문에도 답합니다 — 이 제품이 무엇인지, 유통기한이 언제인지, 이 옷이 무슨 색인지, 이 표지판에 뭐라고 쓰여 있는지 알려 줍니다.

비지오나우타 매직: 이미지를 설명하고 휴대폰에서 작업을 수행하는 인공지능

안드로이드 전용이며 비지오나우타 플러스 구독자에게 제공되는 비지오나우타 매직은 토크백(TalkBack)과 같은 기기의 스크린 리더와 함께 작동하며, 커뮤니티의 오래된 두 가지 문제를 해결합니다.

첫째, 어떤 앱에서든 나타나는 설명 없는 이미지를 설명합니다. 스크린 리더의 포커스가 설명이 없는 이미지나 아이콘, 카드에 놓이면 비지오나우타가 그 요소만 분석해 무엇이 담겨 있는지 소리 내어 알려 줍니다.

둘째, 휴대폰에서 작업을 수행합니다. 「왓츠앱을 열어 아나에게 메시지를 보내 줘」와 같이 요청하면 비지오나우타가 계획을 세우고, 그 계획을 소리 내어 읽어 준 뒤, 사용자가 승인한 다음에야 실행합니다. 모든 단계를 설명하며, 긴급 버튼이나 두 손가락 두 번 두드리기로 언제든 중단할 수 있습니다. 확인 없이는 아무 일도 일어나지 않습니다.

일상의 기능들

대화 기능 외에도 비지오나우타는 시각장애인과 저시력자 커뮤니티에서 사랑받아 온 도구들을 그대로 유지하고 있으며, 대부분은 인터넷 연결 없이도 작동합니다.

• 오프라인 텍스트 읽기 — 서류, 포장지, 편지, 표지판에 카메라를 향하면 내용을 소리 내어 읽어 줍니다.
• 지폐 인식 — 헤알, 달러, 유로, 멕시코 페소, 엔, 캐나다 달러, 호주 달러를 연결 없이 인식합니다.
• 물건 찾기 — 「내 휴대폰을 찾아 줘」라고 말하면 앱이 주변을 살펴보고 찾았을 때 진동과 음성으로 알려 줍니다.
• 저시력자를 위한 전자 확대경 — 확대 기능과 고대비 모드, 반전 색상, 검은 바탕에 흰 글씨, 흰 바탕에 검은 글씨, 파란 바탕에 노란 글씨를 지원합니다.
• 진동 알림이 있는 손전등.
• 내장 자연 음성 — 시스템 전체에서 사용할 수 있어 안드로이드에서는 토크백 음성으로, 아이폰에서는 보이스오버 음성으로 쓸 수 있으며, 한 번 내려받으면 오프라인에서도 작동합니다.

아이폰 버전은 보이스오버 및 iOS의 접근성 기능과 완전히 통합되어 있습니다.

인용

「실시간 대화는 비지오나우타가 어떤 앱인지를 바꿔 놓았습니다. 이제는 사진을 찍고 답을 기다리는 앱이 아닙니다. 거리를 설명해 주든, 가장 가까운 약국을 찾아 주든, 동영상을 찍어 주든, 지금 연주하려는 악보를 읽어 주든, 나를 대신해 보아 주며 언제나 곁에 있는 누군가와 나누는 끊이지 않는 대화입니다.」
— 조나단 산토스

「앱을 체코어에서 태국어까지, 히브리어에서 스와힐리어까지 23개 신규 언어로 확장한 것은 시장의 결정이 아니라 정의의 문제였습니다. 보조 기술은 언제나 영어로 먼저 도착했고, 영어를 쓰지 않는 사람들은 몇 년을 기다려야 했습니다. 이제 훨씬 더 많은 사람들이 자신의 언어로 비지오나우타와 대화할 수 있습니다.」
— 조나단 산토스

「학술 프로젝트를 커뮤니티를 위한 실질적인 도구로 발전시키도록 격려해 주신 마켄지 장로교 대학교의 이스마르 프랑고 교수님과 니잠 오마르 교수님께 감사드립니다.」
— 조나단 산토스

グーグルとサムスンに在籍した全盲のソフトウェアエンジニアが開発した無料アプリには、「見える」アシスタントが備わっています。途切れることなく音声で会話し、周囲の様子を説明し、今いる場所を伝え、インターネットで情報を検索し、楽譜を読み上げて演奏し、音声付きの動画を撮影し、視覚障害のある人が構図の整った写真を撮る手助けをします。iPhoneとAndroidで利用できます。

視覚障害者・弱視者の自立を支援するために人工知能を活用するアクセシビリティアプリ「ビジョナウタ（Visionauta）」は、新バージョンを発表しました。対応言語は39となり、ポルトガル語、英語、スペイン語、フランス語、韓国語、ドイツ語、日本語、イタリア語、アラビア語、ロシア語、簡体字中国語、ヒンディー語、ベンガル語、ベトナム語、トルコ語、インドネシア語に加えて、新たに23言語（チェコ語、ギリシャ語、エストニア語、ペルシア語、フィンランド語、ヘブライ語、ハンガリー語、アイスランド語、リトアニア語、マラーティー語、オランダ語、ポーランド語、ルーマニア語、スロバキア語、スロベニア語、スウェーデン語、スワヒリ語、タミル語、テルグ語、タイ語、ウクライナ語、ウルドゥー語、広東語）に対応します。翻訳はアプリ全体、音声コマンド、文字の読み上げに及び、人工知能の応答も同様で、利用者の言語で会話します。新たに加わった23言語により、アプリはヨーロッパ、中東、アフリカ、アジアの話者に届くようになりました。

アプリは無料で、iPhone版はApp Store、Android版はGoogle Playで提供されています。

リアルタイム会話 ― 「見て、一緒に話す」アシスタント

ビジョナウタの中心的な機能が「リアルタイム会話」です。ボタンを押す必要も、順番を待つ必要もありません。スマートフォンのカメラを通して見ている人工知能と自然に話し、その場で音声の返事が返ってきます。目の見える友人がそばにいて、世界を言葉にしてくれるような体験です。最新バージョンでは、会話の音声が一段と明瞭になり、ノイズが減って発音も聞き取りやすくなりました。

会話の中で、ビジョナウタは次のことができます。

• 周囲の様子や場面を説明する ― 部屋に何があるか、近くに誰がいるか、テーブルの上はどうなっているか、ベッドにどんな服が置かれているか、明かりがついているか。
• 今いる場所と周辺の情報を伝える ― 現在の住所、通り、目印になる建物、薬局、パン屋、最寄りのバス停などを、リアルタイムの地図情報をもとに案内します。
• インターネットで情報を検索する ― ニュース、営業時間、価格、最新の情報を、会話を中断せずに調べます。
• 楽譜を読み上げて演奏する ― 印刷された楽譜にカメラを向けるだけです。ビジョナウタは音符を認識し、曲を声で読み上げ、そのまま端末で再生します。MusicXMLとMIDIのファイルも生成されます。これまで他人の助けや、数が少なく高価な点字楽譜に頼らざるをえなかった全盲の音楽家にとって、画期的な機能です。
• 視覚障害のある人の撮影を助ける ― 写真アシスタントが構図を案内し、良い状態になると知らせ、カウントダウンをしてシャッターを切ります。家族写真、書類の撮影、SNS用の写真がきちんと撮れます。
• 音声付きの動画を撮影する ― 声で頼むと、アシスタントが構図を案内して録画を始めます。録画はアクセシブルな操作で一時停止・再開・完了・取り消しができ、動画は「アクティビティ」に保存され、すぐに視聴や共有ができます。
• 音声で配車を依頼する ― 行き先を言うだけで、Uber、99、Bolt、Lyftが目的地を入力済みの状態で開き、あとは確認するだけです。
• カメラの前にあるものについて、どんな質問にも答える ― これは何の商品か、賞味期限はいつか、この服は何色か、この標識には何と書かれているか。

ビジョナウタ・マジック ― 画像を説明し、スマートフォンの操作を代行するAI

Android専用で、有料プラン「ビジョナウタ・プラス」の加入者が利用できる「ビジョナウタ・マジック」は、TalkBackなど端末のスクリーンリーダーと連携し、当事者コミュニティが長年抱えてきた二つの課題を解決します。

第一に、あらゆるアプリに現れる「代替テキストのない画像」を説明します。スクリーンリーダーのフォーカスが、説明のない画像・アイコン・カードの上で止まると、ビジョナウタはその要素だけを解析し、何が写っているかを読み上げます。

第二に、スマートフォンの操作を代行します。「WhatsAppを開いてアナにメッセージを送って」のように頼むと、ビジョナウタは手順の計画を立て、それを読み上げ、利用者が承認して初めて実行します。実行中は一つひとつの操作を音声で説明し、緊急停止ボタンや2本指のダブルタップでいつでも中断できます。確認なしに実行されることはありません。

日常を支える機能

会話機能に加えて、ビジョナウタは視覚障害者コミュニティで支持されてきた道具立てをそのまま備えています。その多くはインターネットなしで動作します。

• オフラインでの文字読み上げ ― 書類、パッケージ、手紙、標識にカメラを向けると、内容を読み上げます。
• 紙幣の識別 ― ブラジル・レアル、米ドル、ユーロ、メキシコ・ペソ、円、カナダドル、豪ドルに対応し、通信不要です。
• 物体検索 ― 「スマホを探して」と言うと、アプリが周囲を走査し、見つけると振動と音声で知らせます。
• 弱視向けの電子ルーペ ― ズームのほか、ハイコントラスト、色反転、黒地に白、白地に黒、青地に黄のモードを備えます。
• 振動で点灯を知らせるライト。
• 独自の自然な音声 ― Androidのトークバック、iPhoneのボイスオーバーの読み上げ音声として端末全体で利用でき、ダウンロード後はオフラインでも動作します。

iPhone版はVoiceOverおよびiOSのアクセシビリティ機能と完全に統合されています。

開発者のコメント

「リアルタイム会話は、ビジョナウタというアプリの意味を変えました。写真を撮って答えを待つアプリではなく、自分の代わりに見てくれる誰かとの、途切れない会話です。道の様子を説明してもらうときも、近くの薬局を探すときも、動画を撮るときも、これから弾く楽譜を読んでもらうときも、いつもそこにいます」― ジョナタン・サントス
— Jonathan Santos

「23の新しい言語、チェコ語からタイ語、ヘブライ語からスワヒリ語まで対応したのは、市場の判断ではなく、公正さの問題でした。支援技術はいつも英語から始まり、英語を話さない人は何年も待たされてきました。今、はるかに多くの人々が、自分の言語でビジョナウタと話せるようになったのです」― ジョナタン・サントス
— Jonathan Santos

「学術的なプロジェクトを、コミュニティのための実際の道具に変えるよう励ましてくださったマッケンジー長老派大学のイズマール・フランゴ教授とニザム・オマル教授に感謝します」― ジョナタン・サントス
— Jonathan Santos

这款由曾任职于谷歌和三星的盲人软件工程师开发的免费应用，拥有一位"看得见"的助手：它以语音持续对话，描述周围环境，告知使用者身处何地，在互联网上查找信息，识读并演奏乐谱，录制带声音的视频，还能帮助视障者拍出构图良好的照片。iPhone 和 Android 均可使用。

Visionauta 是一款借助人工智能帮助盲人和低视力者获得更多自主能力的无障碍应用。此次发布新版本后，应用支持 39 种语言：葡萄牙语、英语、西班牙语、法语、韩语、德语、日语、意大利语、阿拉伯语、俄语、简体中文、印地语、孟加拉语、越南语、土耳其语、印度尼西亚语，另新增 23 种语言：捷克语、希腊语、爱沙尼亚语、波斯语、芬兰语、希伯来语、匈牙利语、冰岛语、立陶宛语、马拉地语、荷兰语、波兰语、罗马尼亚语、斯洛伐克语、斯洛文尼亚语、瑞典语、斯瓦希里语、泰米尔语、泰卢固语、泰语、乌克兰语、乌尔都语、粤语。翻译覆盖整个应用、语音指令和文字识读，也包括人工智能的回答——它会用使用者的语言与其交谈。新增的 23 种语言，让这款应用触达欧洲、中东、非洲和亚洲的使用者。

应用免费，iPhone 版可在 App Store 下载，Android 版可在 Google Play 下载。

实时对话：一位看得见并与你同行的助手

Visionauta 的核心功能是"实时对话"。使用者无需按键，也不必等待轮次，可以自然地与人工智能交谈；它通过手机摄像头观看眼前的一切，并立即以语音作答，就像身旁有一位看得见的朋友在描述这个世界。在最新版本中，对话语音更加清晰，杂音更少，吐字也更好。

在对话过程中，Visionauta 可以：

• 描述环境与场景——房间里有什么，附近有谁，桌上摆着什么，床上放着哪件衣服，灯是否亮着。
• 告知使用者身处何地、周围有什么——当前地址、街道、地标、药店、面包店以及最近的公交站，依据实时地图信息作答。
• 在互联网上查找信息——新闻、营业时间、价格、最新数据，无需中断对话。
• 识读并演奏乐谱——只需将摄像头对准印刷乐谱。Visionauta 识别音符，朗读乐曲，并直接在设备上播放，同时生成 MusicXML 和 MIDI 文件。对于长期依赖他人协助、或依赖稀少而昂贵的盲文乐谱的盲人音乐家而言，这是一项全新的功能。
• 帮助视障者拍照——拍照助手引导取景，在构图合适时提示，倒计时并按下快门，让全家福、证件照或社交媒体上的照片都能拍好。
• 录制带声音的视频——使用者用语音发出请求，助手引导取景并开始录制；录制可通过无障碍控件暂停、继续、完成或取消，视频保存在"活动"中，随时可以观看和分享。
• 用语音叫车——只需说出目的地，应用便会打开 Uber、99、Bolt 或 Lyft，行程信息已自动填好，确认即可。
• 回答关于镜头前一切事物的任何问题——这是什么产品，保质期到什么时候，这件衣服是什么颜色，这块牌子上写了什么。

Visionauta Magic：描述图片并代为操作手机的人工智能

Visionauta Magic 为 Android 独有，面向 Visionauta Plus 订阅用户开放。它与设备上的屏幕阅读器（如 TalkBack）协同工作，解决了社群长期以来的两个难题。

其一，它会描述各类应用中缺少替代文字的图片。当屏幕阅读器的焦点停留在没有描述的图片、图标或卡片上时，Visionauta 只分析该元素，并朗读出其中的内容。

其二，它可以代为操作手机。使用者提出诸如"打开 WhatsApp 给 Ana 发条消息"的请求后，Visionauta 会制定一份操作计划，朗读出来，并且只有在使用者批准之后才会执行——执行过程中逐步语音说明，随时可通过紧急停止按钮或双指双击中断。未经确认，不会执行任何操作。

日常功能

除了对话之外，Visionauta 保留了让它在视障社群中广受欢迎的全套工具，其中多数无需联网即可使用：

• 离线文字朗读——将摄像头对准文件、包装、信件或标牌，即可听到内容。
• 纸币识别——支持巴西雷亚尔、美元、欧元、墨西哥比索、日元、加元和澳元，无需联网。
• 物品查找——说一句"帮我找手机"，应用便会持续扫描环境，找到时以振动和语音提示。
• 面向低视力者的电子放大镜——支持缩放，以及高对比度、颜色反转、黑底白字、白底黑字和蓝底黄字等模式。
• 手电筒，并以振动提醒其处于开启状态。
• 自有的自然语音——可在整个系统中使用，作为 Android 上 TalkBack 和 iPhone 上 VoiceOver 的朗读语音，下载后可离线运行。

iPhone 版本与 VoiceOver 及 iOS 的无障碍功能完全整合。

引述

"实时对话改变了 Visionauta 的本质。它不再是一款拍张照片然后等待答复的应用，而是与一位替你观看、始终在身边的伙伴之间不间断的对话——无论是描述街道、找到最近的药店、录一段视频，还是读出你即将演奏的乐谱。"——乔纳坦·桑托斯
— Jonathan Santos

"把应用带到 23 种新语言，从捷克语到泰语，从希伯来语到斯瓦希里语，是公平的选择，而不是市场决策。辅助技术总是先有英文版，不讲英语的人要等上许多年。如今，多得多的人可以用自己的语言与 Visionauta 交谈。"——乔纳坦·桑托斯
— Jonathan Santos

"感谢麦肯锡长老会大学的 Ismar Frango 教授和 Nizam Omar 教授，是他们鼓励我把一个学术项目变成真正服务社群的工具。"——乔纳坦·桑托斯
— Jonathan Santos

Бесплатное приложение, созданное незрячим инженером-программистом, работавшим в Google и Samsung, имеет помощника, который видит: он говорит голосом без пауз и нажатий, описывает обстановку, сообщает, где находится человек, ищет информацию в интернете, читает и проигрывает нотные партитуры, записывает видео со звуком и помогает незрячим делать фотографии с правильной композицией. Доступно для iPhone и Android.

Visionauta — приложение для доступности, использующее искусственный интеллект, чтобы дать больше самостоятельности незрячим и слабовидящим людям, — объявляет о выходе новой версии. Теперь приложение говорит на 39 языках: португальском, английском, испанском, французском, корейском, немецком, японском, итальянском, арабском, русском, китайском (упрощённом), хинди, бенгальском, вьетнамском, турецком, индонезийском, а также на 23 новых: чешском, греческом, эстонском, персидском, финском, иврите, венгерском, исландском, литовском, маратхи, нидерландском, польском, румынском, словацком, словенском, шведском, суахили, тамильском, телугу, тайском, украинском, урду и кантонском. Перевод охватывает всё приложение, голосовые команды, чтение текста, а также ответы искусственного интеллекта, который общается с пользователем на его языке. Благодаря 23 новым языкам приложение становится доступным носителям в Европе, на Ближнем Востоке, в Африке и в Азии.

Приложение бесплатно и доступно для iPhone в App Store и для Android в Google Play.

РАЗГОВОР В РЕАЛЬНОМ ВРЕМЕНИ: ПОМОЩНИК, КОТОРЫЙ ВИДИТ И ГОВОРИТ РЯДОМ

Главная функция Visionauta — «Разговор в реальном времени». Человек говорит естественно, не нажимая кнопок и не дожидаясь своей очереди, с искусственным интеллектом, который смотрит через камеру телефона и сразу отвечает голосом. Это похоже на зрячего друга рядом, который описывает мир. В последней версии голос в разговоре стал чище: меньше помех и лучше дикция.

Во время такого разговора Visionauta может:

• Описывать помещения и сцены — что стоит в комнате, кто находится рядом, как накрыт стол, какая одежда лежит на кровати, включён ли свет.
• Сообщать, где находится человек и что вокруг — текущий адрес, улицы, ориентиры, аптеки, пекарни и ближайшую автобусную остановку, опираясь на картографические данные в реальном времени.
• Искать информацию в интернете — новости, часы работы, цены, актуальные данные, не прерывая разговор.
• Читать и проигрывать нотные партитуры — достаточно навести камеру на печатные ноты. Visionauta распознаёт ноты, читает произведение вслух и воспроизводит его прямо на устройстве, создавая файлы MusicXML и MIDI. Это принципиально новая возможность для незрячих музыкантов, которые исторически зависели от помощи других людей либо от редких и дорогих изданий по Брайлю.
• Помогать незрячему человеку фотографировать — фотопомощник подсказывает, как выстроить кадр, сообщает, когда композиция удачна, ведёт обратный отсчёт и делает снимок, чтобы семейные фотографии, снимки документов и фото для соцсетей получались хорошо.
• Записывать видео со звуком — человек просит голосом, помощник подсказывает, как выстроить кадр, и начинает запись; её можно приостановить, продолжить, завершить или отменить доступными элементами управления, а видео сохраняются в разделе «Активности», готовые к просмотру и отправке.
• Вызывать машину голосом — достаточно назвать адрес, и приложение откроет Uber, 99, Bolt или Lyft с уже заполненной поездкой: остаётся только подтвердить.
• Отвечать на любые вопросы о том, что находится перед камерой — что это за товар, каков срок годности, какого цвета эта одежда, что написано на этой табличке.

VISIONAUTA MAGIC: ИИ, КОТОРЫЙ ОПИСЫВАЕТ ИЗОБРАЖЕНИЯ И ВЫПОЛНЯЕТ ЗАДАЧИ НА ТЕЛЕФОНЕ

Функция Visionauta Magic доступна только на Android и только подписчикам Visionauta Plus. Она работает вместе с экранным диктором устройства, например с TalkBack, и решает две давние проблемы сообщества.

Во-первых, она описывает изображения без подписи, встречающиеся в любых приложениях. Когда фокус экранного диктора останавливается на изображении, значке или карточке без описания, Visionauta анализирует только этот элемент и вслух сообщает, что на нём.

Во-вторых, она выполняет задачи на телефоне. Человек просит, например: «открой WhatsApp и отправь сообщение Ане», — и Visionauta составляет план, зачитывает его вслух и действует только после одобрения пользователя, комментируя каждый шаг. Прервать выполнение можно в любой момент кнопкой экстренной остановки или двойным касанием двумя пальцами. Без подтверждения не происходит ничего.

ПОВСЕДНЕВНЫЕ ВОЗМОЖНОСТИ

Помимо разговора, Visionauta сохраняет набор инструментов, благодаря которым приложение стало популярным в сообществе незрячих; большинство из них работает без интернета:

• Чтение текста офлайн — наведите камеру на документы, упаковку, письма или таблички и услышьте содержание вслух.
• Распознавание банкнот — бразильский реал, доллар США, евро, мексиканское песо, иена, канадский и австралийский доллар, без подключения к сети.
• Поиск предметов — скажите «помоги найти мой телефон», и приложение будет осматривать пространство, сообщая о находке вибрацией и голосом.
• Электронная лупа для слабовидящих — с увеличением и режимами высокой контрастности, инверсии цветов, белого на чёрном, чёрного на белом и жёлтого на синем.
• Фонарик с напоминанием вибрацией.
• Собственные естественные голоса — их можно использовать во всей системе как голос TalkBack на Android и VoiceOver на iPhone; после загрузки они работают офлайн.

Версия для iPhone полностью интегрирована с VoiceOver и функциями доступности iOS.

ЦИТАТЫ

«Разговор в реальном времени изменил саму суть Visionauta. Это больше не приложение, где вы делаете снимок и ждёте ответа: это непрерывный разговор с тем, кто видит за вас и всегда рядом — чтобы описать улицу, найти ближайшую аптеку, записать видео или прочитать партитуру, которую вы собираетесь играть».
— Жонатан Сантос

«Выход приложения на 23 новых языка, от чешского до тайского, от иврита до суахили, был решением справедливости, а не рыночным решением. Ассистивные технологии всегда приходили сначала на английском, и те, кто не говорит по-английски, ждали годами. Теперь гораздо больше людей могут разговаривать с Visionauta на родном языке».
— Жонатан Сантос

«Благодарю профессоров Измара Франго и Низама Омара из Пресвитерианского университета Маккензи, которые побудили меня превратить академический проект в реальный инструмент для сообщества».
— Жонатан Сантос

التطبيق المجاني الذي طوّره مهندس برمجيات كفيف عمل في غوغل وسامسونغ يضم مساعدًا يُبصر: يتحدث صوتيًا دون انقطاع، ويصف المحيط، ويخبر المستخدم بمكانه، ويبحث عن المعلومات على الإنترنت، ويقرأ النوتات الموسيقية ويعزفها، ويسجّل مقاطع فيديو بالصوت، ويساعد المكفوفين على التقاط صور جيدة التكوين. متاح لأجهزة آيفون وأندرويد.

أعلن تطبيق «فيجيوناوتا» (Visionauta)، وهو تطبيق لإمكانية الوصول يستخدم الذكاء الاصطناعي لمنح المكفوفين وضعاف البصر مزيدًا من الاستقلالية، عن نسخته الجديدة؛ وصار التطبيق يتحدث 39 لغة: البرتغالية والإنجليزية والإسبانية والفرنسية والكورية والألمانية واليابانية والإيطالية والعربية والروسية والصينية المبسّطة والهندية والبنغالية والفيتنامية والتركية والإندونيسية، إضافةً إلى 23 لغة جديدة: التشيكية، واليونانية، والإستونية، والفارسية، والفنلندية، والعبرية، والمجرية، والأيسلندية، والليتوانية، والماراثية، والهولندية، والبولندية، والرومانية، والسلوفاكية، والسلوفينية، والسويدية، والسواحيلية، والتاميلية، والتيلوغوية، والتايلاندية، والأوكرانية، والأردية، والكانتونية. وتشمل الترجمة التطبيق بأكمله والأوامر الصوتية وقراءة النصوص، كما تشمل ردود الذكاء الاصطناعي الذي يحاور المستخدم بلغته. وبهذه اللغات الـ23 الجديدة يصل التطبيق إلى متحدثين في أوروبا والشرق الأوسط وأفريقيا وآسيا.

التطبيق مجاني، ومتاح لأجهزة آيفون عبر متجر App Store ولأجهزة أندرويد عبر Google Play.

المحادثة الفورية: مساعد يُبصر ويتحدث إلى جانبك

الميزة الأبرز في «فيجيوناوتا» هي المحادثة الفورية. يتحدث المستخدم بشكل طبيعي، دون ضغط أزرار ودون انتظار دوره، مع ذكاء اصطناعي يرى عبر كاميرا الهاتف ويجيب صوتيًا في الحال؛ أشبه بصديق مبصر يقف إلى جانبك ويصف لك العالم. وفي أحدث نسخة صار صوت المحادثة أوضح، بضجيج أقل ونطق أفضل.

وخلال هذه المحادثة، يستطيع «فيجيوناوتا»:

• وصف الأماكن والمشاهد — ما الموجود في الغرفة، ومن يقف بالقرب منك، وكيف رُتّبت المائدة، وأي ثوب على السرير، وهل الضوء مضاء.
• إخبارك بمكانك وبما حولك — العنوان الحالي، والشوارع، والمعالم، والصيدليات، والمخابز، وأقرب موقف حافلات، اعتمادًا على معلومات الخرائط الآنية.
• البحث عن المعلومات على الإنترنت — الأخبار ومواعيد العمل والأسعار والبيانات المحدَّثة، دون مغادرة المحادثة.
• قراءة النوتات الموسيقية وعزفها — يكفي توجيه الكاميرا إلى نوتة مطبوعة. يتعرّف «فيجيوناوتا» على النغمات، ويقرأ المقطوعة بصوت مسموع، ويعزفها على الجهاز نفسه، مُنشئًا ملفَّي MusicXML وMIDI. وهي ميزة غير مسبوقة للموسيقيين المكفوفين الذين اعتادوا الاعتماد على مساعدة الآخرين أو على نسخ برايل النادرة والباهظة.
• مساعدة الشخص الكفيف على التصوير — يوجّه مساعد التصوير تأطير الصورة، وينبّه عندما يصبح الإطار مناسبًا، ثم يعدّ تنازليًا ويلتقط الصورة، لتخرج صور العائلة والوثائق وصور مواقع التواصل بشكل جيد.
• تسجيل مقاطع فيديو بالصوت — يطلب المستخدم ذلك بصوته، فيوجّه المساعد تأطير اللقطة ويبدأ التسجيل؛ ويمكن إيقاف التسجيل مؤقتًا أو استئنافه أو إنهاؤه أو إلغاؤه عبر عناصر تحكم ميسّرة، وتُحفظ المقاطع في قسم «الأنشطة» جاهزة للمشاهدة والمشاركة.
• طلب سيارة بالصوت — يكفي ذكر الوجهة، فيفتح التطبيق «أوبر» أو «99» أو «بولت» أو «ليفت» والرحلة مُعبأة سلفًا، ولا يتبقى سوى التأكيد.
• الإجابة عن أي سؤال يتعلق بما أمام الكاميرا — ما هذا المنتج، وما تاريخ انتهاء صلاحيته، وما لون هذا الثوب، وماذا تقول هذه اللافتة.

فيجيوناوتا ماجيك: ذكاء اصطناعي يصف الصور وينفّذ المهام على الهاتف

«فيجيوناوتا ماجيك» متاح حصريًا على أندرويد ولمشتركي «فيجيوناوتا بلس». يعمل جنبًا إلى جنب مع قارئ الشاشة في الجهاز، مثل TalkBack، ويعالج مشكلتين قديمتين لدى مجتمع المكفوفين:

أولًا، يصف الصور غير الموصوفة التي تظهر في أي تطبيق. فحين يتوقف مؤشر قارئ الشاشة عند صورة أو أيقونة أو بطاقة بلا وصف، يحلّل «فيجيوناوتا» ذلك العنصر وحده ويعلن بصوت مسموع ما فيه.

ثانيًا، ينفّذ المهام على الهاتف. يطلب المستخدم مثلًا: «افتح واتساب وأرسل رسالة إلى آنا»، فيضع «فيجيوناوتا» خطة، ويقرأها بصوت مسموع، ولا يتصرف إلا بعد موافقة المستخدم — يسرد كل خطوة أثناء التنفيذ، ويمكن إيقافه في أي لحظة بزر الطوارئ أو بالنقر مرتين بإصبعين. لا يحدث شيء دون تأكيد.

ميزات الاستخدام اليومي

إلى جانب المحادثة، يحتفظ «فيجيوناوتا» بمجموعة الأدوات التي جعلته محبوبًا في أوساط ذوي الإعاقة البصرية، ويعمل معظمها دون إنترنت:

• قراءة النصوص دون اتصال — وجّه الكاميرا إلى مستند أو عبوة أو رسالة أو لافتة واستمع إلى المحتوى.
• التعرّف على الأوراق النقدية — الريال البرازيلي والدولار واليورو والبيزو المكسيكي والين والدولار الكندي والأسترالي، دون اتصال.
• العثور على الأشياء — قل «ساعدني في العثور على هاتفي»، فيمسح التطبيق المحيط وينبّهك بالاهتزاز والصوت عند العثور عليه.
• مكبّر إلكتروني لضعاف البصر — مع تكبير وأوضاع تباين عالٍ وألوان معكوسة وأبيض على أسود وأسود على أبيض وأصفر على أزرق.
• مصباح يدوي مع تذكير بالاهتزاز.
• أصوات طبيعية خاصة بالتطبيق — يمكن استخدامها في النظام كله، كصوت لـ TalkBack على أندرويد ولـ VoiceOver على آيفون، وتعمل دون إنترنت بعد تنزيلها.

أما نسخة آيفون فمتكاملة تمامًا مع VoiceOver ومع ميزات إمكانية الوصول في نظام iOS.

تصريحات

«غيّرت المحادثة الفورية ماهية فيجيوناوتا. لم يعد تطبيقًا تلتقط فيه صورة ثم تنتظر إجابة، بل صار حوارًا متصلًا مع من يُبصر نيابة عنك ويكون حاضرًا دائمًا: ليصف لك الشارع، أو يجد أقرب صيدلية، أو يسجّل مقطع فيديو، أو يقرأ النوتة التي أنت على وشك عزفها.»
— جوناتان سانتوس

«إتاحة التطبيق بـ23 لغة جديدة، من التشيكية إلى التايلاندية ومن العبرية إلى السواحيلية، كانت قرار عدالة لا قرارًا تجاريًا. لطالما وصلت التقنيات المساعِدة بالإنجليزية أولًا، ومن لا يتحدث الإنجليزية كان ينتظر سنوات. اليوم يستطيع عدد أكبر بكثير من الناس محاورة فيجيوناوتا بلغتهم.»
— جوناتان سانتوس

«أشكر الأستاذين إسمار فرانغو ونظام عمر من جامعة ماكنزي المشيخية، اللذين شجعاني على تحويل مشروع أكاديمي إلى أداة حقيقية في خدمة المجتمع.»
— جوناتان سانتوس

Google और Samsung में काम कर चुके एक दृष्टिबाधित सॉफ़्टवेयर इंजीनियर द्वारा बनाए गए इस निःशुल्क ऐप में एक ऐसा सहायक है जो देख सकता है: यह बिना रुकावट आवाज़ में बात करता है, आसपास के माहौल का वर्णन करता है, बताता है कि व्यक्ति कहाँ है, इंटरनेट पर जानकारी खोजता है, संगीत की स्वरलिपि पढ़कर बजाता है, आवाज़ के साथ वीडियो रिकॉर्ड करता है और दृष्टिबाधित लोगों को सही फ़्रेम में फ़ोटो खींचने में मदद करता है। iPhone और Android के लिए उपलब्ध।

दृष्टिबाधित और कम दृष्टि वाले लोगों को अधिक आत्मनिर्भरता देने के लिए कृत्रिम बुद्धिमत्ता का उपयोग करने वाला सुगम्यता ऐप Visionauta अपना नया संस्करण प्रस्तुत करता है — और अब यह 39 भाषाएँ बोलता है: पुर्तगाली, अंग्रेज़ी, स्पेनिश, फ़्रेंच, कोरियाई, जर्मन, जापानी, इतालवी, अरबी, रूसी, सरलीकृत चीनी, हिंदी, बांग्ला, वियतनामी, तुर्की और इंडोनेशियाई, साथ ही 23 नई भाषाएँ: चेक, यूनानी, एस्टोनियाई, फ़ारसी, फ़िनिश, हिब्रू, हंगेरियन, आइसलैंडिक, लिथुआनियाई, मराठी, डच, पोलिश, रोमानियाई, स्लोवाक, स्लोवेनियाई, स्वीडिश, स्वाहिली, तमिल, तेलुगु, थाई, यूक्रेनी, उर्दू, कैंटोनीज़। यह अनुवाद पूरे ऐप, वॉइस कमांड, टेक्स्ट रीडिंग और कृत्रिम बुद्धिमत्ता के उत्तरों पर भी लागू होता है, जो उपयोगकर्ता से उसकी अपनी भाषा में बात करती है। 23 नई भाषाओं के साथ यह ऐप यूरोप, मध्य पूर्व, अफ़्रीका और एशिया के भाषा-भाषियों तक पहुँचता है।

ऐप निःशुल्क है और iPhone के लिए App Store पर तथा Android के लिए Google Play पर उपलब्ध है।

रियल-टाइम बातचीत: एक सहायक जो देखता है और आपके साथ बोलता है

Visionauta की मुख्य विशेषता रियल-टाइम बातचीत है। इसमें व्यक्ति बिना कोई बटन दबाए और बिना अपनी बारी का इंतज़ार किए, एक ऐसी कृत्रिम बुद्धिमत्ता से स्वाभाविक रूप से बात करता है जो फ़ोन के कैमरे से देखती है और तुरंत आवाज़ में जवाब देती है — जैसे साथ में कोई ऐसा दोस्त हो जो देखता है और दुनिया का वर्णन करता है। हालिया संस्करण में बातचीत की आवाज़ और साफ़ हो गई है, शोर कम है और उच्चारण बेहतर।

इस बातचीत के दौरान Visionauta कर सकता है:

• माहौल और दृश्यों का वर्णन — कमरे में क्या है, पास कौन है, मेज़ कैसी सजी है, बिस्तर पर कौन-से कपड़े रखे हैं, बत्ती जल रही है या नहीं।
• यह बताना कि व्यक्ति कहाँ है और आसपास क्या है — रियल-टाइम मानचित्र जानकारी के साथ वर्तमान पता, सड़कें, पहचान-चिह्न, दवा की दुकानें, बेकरी और सबसे नज़दीकी बस स्टॉप।
• इंटरनेट पर जानकारी खोजना — समाचार, समय-सारणी, कीमतें, ताज़ा आँकड़े, बातचीत से बाहर निकले बिना।
• संगीत की स्वरलिपि पढ़ना और बजाना — बस कैमरे को छपी हुई स्वरलिपि की ओर करें। Visionauta स्वरों को पहचानता है, संगीत को ज़ोर से पढ़ता है और MusicXML तथा MIDI फ़ाइलें बनाकर उसे डिवाइस पर ही बजाता है। दृष्टिबाधित संगीतकारों के लिए एक अभूतपूर्व सुविधा, जो अब तक दूसरों पर या दुर्लभ और महँगे ब्रेल संस्करणों पर निर्भर रहते थे।
• दृष्टिबाधित व्यक्ति को फ़ोटो खींचने में मदद — फ़ोटो सहायक फ़्रेमिंग का मार्गदर्शन करता है, सही होने पर बताता है, उल्टी गिनती करता है और कैमरा चलाता है, ताकि परिवार, दस्तावेज़ों या सोशल मीडिया की तस्वीरें अच्छी आएँ।
• आवाज़ के साथ वीडियो रिकॉर्ड करना — व्यक्ति आवाज़ से कहता है, सहायक फ़्रेमिंग बताता है और रिकॉर्ड करता है; रिकॉर्डिंग को सुगम नियंत्रणों से रोका, फिर से शुरू किया, पूरा किया या रद्द किया जा सकता है, और वीडियो गतिविधियाँ में सहेजे जाते हैं, देखने और साझा करने के लिए तैयार।
• आवाज़ से गाड़ी बुलाना — बस गंतव्य बताएँ और ऐप Uber, 99, Bolt या Lyft को यात्रा की जानकारी भरकर खोल देता है; केवल पुष्टि करना बाकी रहता है।
• कैमरे के सामने जो भी हो, उसके बारे में किसी भी सवाल का जवाब — यह कौन-सा उत्पाद है, इसकी समाप्ति तिथि क्या है, इस कपड़े का रंग क्या है, इस बोर्ड पर क्या लिखा है।

VISIONAUTA MAGIC: वह एआई जो तस्वीरों का वर्णन करती है और फ़ोन पर काम पूरे करती है

केवल Android पर और Visionauta Plus के ग्राहकों के लिए उपलब्ध Visionauta Magic, TalkBack जैसे डिवाइस के स्क्रीन रीडर के साथ मिलकर काम करता है और समुदाय की दो पुरानी समस्याएँ हल करता है:

पहली, यह किसी भी ऐप में दिखने वाली बिना लेबल वाली तस्वीरों का वर्णन करता है। जब स्क्रीन रीडर का फ़ोकस किसी बिना विवरण वाली तस्वीर, आइकन या कार्ड पर रुकता है, तो Visionauta केवल उसी तत्व का विश्लेषण करता है और उसमें जो है उसे ज़ोर से बताता है।

दूसरी, यह फ़ोन पर काम पूरे करता है। व्यक्ति कहता है, जैसे "WhatsApp खोलो और Ana को संदेश भेजो", और Visionauta एक योजना बनाता है, उसे ज़ोर से पढ़ता है और उपयोगकर्ता की स्वीकृति के बाद ही काम करता है — हर कदम बताते हुए, और आपातकालीन बटन या दो उँगलियों से दो बार छूकर इसे किसी भी समय रोका जा सकता है। पुष्टि के बिना कुछ नहीं होता।

रोज़मर्रा की सुविधाएँ

बातचीत के अलावा Visionauta उन उपकरणों का समूह बनाए रखता है जिन्होंने इसे दृष्टिबाधित समुदाय में लोकप्रिय बनाया, जिनमें से अधिकांश बिना इंटरनेट के काम करते हैं:

• ऑफ़लाइन टेक्स्ट रीडिंग — कैमरे को दस्तावेज़ों, पैकेटों, पत्रों या बोर्डों की ओर करें और सामग्री ज़ोर से सुनें।
• नोटों की पहचान — ब्राज़ीलियाई रियाल, अमेरिकी डॉलर, यूरो, मैक्सिकन पेसो, जापानी येन, कनाडाई डॉलर और ऑस्ट्रेलियाई डॉलर, बिना कनेक्शन के।
• वस्तु खोजक — कहें "मेरा फ़ोन ढूँढने में मदद करो" और ऐप माहौल को स्कैन करता है, मिलने पर कंपन और आवाज़ से बताता है।
• कम दृष्टि के लिए इलेक्ट्रॉनिक आवर्धक — ज़ूम और उच्च-कंट्रास्ट मोड के साथ: उलटे रंग, काले पर सफ़ेद, सफ़ेद पर काला और नीले पर पीला।
• कंपन अनुस्मारक वाली टॉर्च।
• अपनी प्राकृतिक आवाज़ें — जिन्हें पूरे सिस्टम में इस्तेमाल किया जा सकता है, Android पर TalkBack और iPhone पर VoiceOver की आवाज़ के रूप में; डाउनलोड के बाद ऑफ़लाइन काम करती हैं।

iPhone संस्करण VoiceOver और iOS की सुगम्यता सुविधाओं के साथ पूरी तरह एकीकृत है।

वक्तव्य

"रियल-टाइम बातचीत ने बदल दिया कि Visionauta क्या है। अब यह ऐसा ऐप नहीं रहा जिसमें आप फ़ोटो खींचकर जवाब का इंतज़ार करें: यह किसी ऐसे व्यक्ति के साथ लगातार बातचीत है जो आपके लिए देखता है और हमेशा साथ है — चाहे सड़क का वर्णन करना हो, सबसे नज़दीकी दवा की दुकान ढूँढनी हो, वीडियो रिकॉर्ड करना हो या वह स्वरलिपि पढ़नी हो जो आप बजाने वाले हैं।"
— जोनाथन सांतोस

"ऐप को 23 नई भाषाओं तक ले जाना, चेक से थाई तक और हिब्रू से स्वाहिली तक, न्याय का फ़ैसला था, बाज़ार का नहीं। सहायक तकनीक हमेशा पहले अंग्रेज़ी में आई, और जो अंग्रेज़ी नहीं बोलते वे वर्षों इंतज़ार करते रहे। अब कहीं अधिक लोग Visionauta से अपनी भाषा में बात कर सकते हैं।"
— जोनाथन सांतोस

"मैं Universidade Presbiteriana Mackenzie के प्रोफ़ेसर इस्मार फ़्रांगो और प्रोफ़ेसर निज़ाम ओमर का आभारी हूँ, जिन्होंने मुझे एक शैक्षणिक परियोजना को समुदाय के लिए वास्तविक उपकरण में बदलने के लिए प्रेरित किया।"
— जोनाथन सांतोस

Google ও Samsung-এ কাজ করা এক দৃষ্টিপ্রতিবন্ধী সফটওয়্যার প্রকৌশলীর তৈরি বিনামূল্যের এই অ্যাপে আছে এমন এক সহকারী, যে দেখতে পায়: বাধাহীনভাবে কণ্ঠে কথা বলে, চারপাশের পরিবেশ বর্ণনা করে, ব্যবহারকারী কোথায় আছেন তা জানায়, ইন্টারনেটে তথ্য খোঁজে, সংগীতের স্বরলিপি পড়ে ও বাজায়, শব্দসহ ভিডিও রেকর্ড করে এবং দৃষ্টিপ্রতিবন্ধীদের সঠিক ফ্রেমে ছবি তুলতে সাহায্য করে। iPhone ও Android-এর জন্য উপলব্ধ।

দৃষ্টিপ্রতিবন্ধী ও ক্ষীণদৃষ্টিসম্পন্ন মানুষকে আরও স্বাবলম্বী করতে কৃত্রিম বুদ্ধিমত্তা ব্যবহার করা অ্যাক্সেসিবিলিটি অ্যাপ Visionauta তার নতুন সংস্করণ ঘোষণা করছে — এবং এখন এটি ৩৯টি ভাষায় কথা বলে: পর্তুগিজ, ইংরেজি, স্প্যানিশ, ফরাসি, কোরীয়, জার্মান, জাপানি, ইতালীয়, আরবি, রুশ, সরলীকৃত চীনা, হিন্দি, বাংলা, ভিয়েতনামি, তুর্কি ও ইন্দোনেশীয়, পাশাপাশি ২৩টি নতুন ভাষা: চেক, গ্রিক, এস্তোনীয়, ফারসি, ফিনিশ, হিব্রু, হাঙ্গেরীয়, আইসল্যান্ডিক, লিথুয়ানীয়, মারাঠি, ডাচ, পোলিশ, রোমানীয়, স্লোভাক, স্লোভেনীয়, সুইডিশ, সোয়াহিলি, তামিল, তেলুগু, থাই, ইউক্রেনীয়, উর্দু, ক্যান্টনিজ। এই অনুবাদ পুরো অ্যাপ, কণ্ঠ-নির্দেশ, লেখা পড়া এবং কৃত্রিম বুদ্ধিমত্তার উত্তরেও প্রযোজ্য, যা ব্যবহারকারীর সঙ্গে তাঁর নিজের ভাষায় কথা বলে। ২৩টি নতুন ভাষা নিয়ে অ্যাপটি ইউরোপ, মধ্যপ্রাচ্য, আফ্রিকা ও এশিয়ার ভাষাভাষীদের কাছে পৌঁছাচ্ছে।

অ্যাপটি বিনামূল্যে পাওয়া যায় — iPhone-এর জন্য App Store-এ এবং Android-এর জন্য Google Play-তে।

রিয়েল-টাইম কথোপকথন: এমন এক সহকারী, যে দেখে এবং আপনার সঙ্গে কথা বলে

Visionauta-র প্রধান বৈশিষ্ট্য রিয়েল-টাইম কথোপকথন। এতে ব্যবহারকারী কোনো বোতাম না চেপে এবং পালার অপেক্ষা না করে স্বাভাবিকভাবে কথা বলেন এমন এক কৃত্রিম বুদ্ধিমত্তার সঙ্গে, যা ফোনের ক্যামেরা দিয়ে দেখে এবং সঙ্গে সঙ্গে কণ্ঠে উত্তর দেয় — যেন পাশে এমন এক বন্ধু আছে, যে দেখতে পায় এবং পৃথিবীর বর্ণনা দেয়। সাম্প্রতিক সংস্করণে কথোপকথনের কণ্ঠ আরও স্পষ্ট হয়েছে, বিকৃতি কম এবং উচ্চারণ আরও ভালো।

এই কথোপকথনের সময় Visionauta যা করতে পারে:

• পরিবেশ ও দৃশ্য বর্ণনা — ঘরে কী আছে, কাছে কে আছে, টেবিল কেমন সাজানো, বিছানায় কোন পোশাক রাখা, বাতি জ্বলছে কি না।
• ব্যবহারকারী কোথায় আছেন এবং চারপাশে কী আছে তা জানানো — রিয়েল-টাইম মানচিত্রের তথ্য দিয়ে বর্তমান ঠিকানা, রাস্তা, নির্দেশক স্থান, ওষুধের দোকান, বেকারি ও সবচেয়ে কাছের বাসস্ট্যান্ড।
• ইন্টারনেটে তথ্য খোঁজা — খবর, সময়সূচি, দাম, হালনাগাদ তথ্য, কথোপকথন থেকে বেরিয়ে না গিয়েই।
• সংগীতের স্বরলিপি পড়া ও বাজানো — ছাপানো স্বরলিপির দিকে ক্যামেরা ধরলেই হয়। Visionauta স্বর চিনে নেয়, সুরটি জোরে পড়ে শোনায় এবং MusicXML ও MIDI ফাইল তৈরি করে ডিভাইসেই বাজায়। দৃষ্টিপ্রতিবন্ধী সংগীতশিল্পীদের জন্য এক অভূতপূর্ব সুবিধা, যাঁরা এতদিন অন্যের ওপর কিংবা দুর্লভ ও দামি ব্রেইল সংস্করণের ওপর নির্ভর করতেন।
• দৃষ্টিপ্রতিবন্ধী ব্যক্তিকে ছবি তুলতে সাহায্য — ফটো সহকারী ফ্রেমিং নির্দেশ করে, ঠিক হলে জানায়, উল্টো গণনা করে এবং ক্যামেরা চালায়, যাতে পরিবারের, নথির কিংবা সামাজিক মাধ্যমের ছবি ভালোভাবে ওঠে।
• শব্দসহ ভিডিও রেকর্ড করা — ব্যবহারকারী কণ্ঠে অনুরোধ করেন, সহকারী ফ্রেমিং নির্দেশ করে ও রেকর্ড করে; সহজলভ্য নিয়ন্ত্রণ দিয়ে রেকর্ডিং থামানো, পুনরায় শুরু করা, শেষ করা কিংবা বাতিল করা যায়, আর ভিডিওগুলো কার্যক্রম বিভাগে সংরক্ষিত থাকে, দেখা ও শেয়ার করার জন্য প্রস্তুত।
• কণ্ঠে গাড়ি ডাকা — গন্তব্য বললেই অ্যাপ Uber, 99, Bolt কিংবা Lyft খুলে দেয় যাত্রার তথ্য পূরণ করা অবস্থায়; কেবল নিশ্চিত করা বাকি থাকে।
• ক্যামেরার সামনে যা আছে, সে বিষয়ে যেকোনো প্রশ্নের উত্তর — এটি কোন পণ্য, মেয়াদ কবে শেষ, এই পোশাকের রং কী, এই সাইনবোর্ডে কী লেখা।

VISIONAUTA MAGIC: যে এআই ছবি বর্ণনা করে এবং ফোনে কাজ সম্পন্ন করে

শুধু Android-এ এবং Visionauta Plus গ্রাহকদের জন্য উপলব্ধ Visionauta Magic ডিভাইসের স্ক্রিন রিডার, যেমন TalkBack-এর সঙ্গে একযোগে কাজ করে এবং এই সম্প্রদায়ের দুটি পুরোনো সমস্যার সমাধান করে:

প্রথমত, এটি যেকোনো অ্যাপে দেখা লেবেলবিহীন ছবি বর্ণনা করে। স্ক্রিন রিডারের ফোকাস বর্ণনাহীন কোনো ছবি, আইকন বা কার্ডে থামলে Visionauta কেবল সেই উপাদানটি বিশ্লেষণ করে এবং তাতে কী আছে তা জোরে জানায়।

দ্বিতীয়ত, এটি ফোনে কাজ সম্পন্ন করে। ব্যবহারকারী বলেন, যেমন "WhatsApp খোলো আর Ana-কে বার্তা পাঠাও", আর Visionauta একটি পরিকল্পনা তৈরি করে, তা জোরে পড়ে শোনায় এবং ব্যবহারকারীর অনুমোদনের পরই কাজ করে — প্রতিটি ধাপ বর্ণনা করতে করতে, এবং জরুরি বোতাম কিংবা দুই আঙুলে দুবার স্পর্শ করে যেকোনো সময় থামানো যায়। নিশ্চিতকরণ ছাড়া কিছুই ঘটে না।

দৈনন্দিন সুবিধাগুলো

কথোপকথনের বাইরেও Visionauta সেই সরঞ্জামগুলো বজায় রেখেছে, যা একে দৃষ্টিপ্রতিবন্ধী সম্প্রদায়ে জনপ্রিয় করেছে; এর বেশিরভাগই ইন্টারনেট ছাড়া কাজ করে:

• অফলাইনে লেখা পড়া — নথি, মোড়ক, চিঠি বা সাইনবোর্ডের দিকে ক্যামেরা ধরুন এবং বিষয়বস্তু জোরে শুনুন।
• নোট চেনা — ব্রাজিলীয় রিয়াল, মার্কিন ডলার, ইউরো, মেক্সিকান পেসো, জাপানি ইয়েন, কানাডীয় ডলার ও অস্ট্রেলীয় ডলার, সংযোগ ছাড়াই।
• বস্তু খোঁজা — বলুন "আমার ফোন খুঁজে পেতে সাহায্য করো", অ্যাপ চারপাশ স্ক্যান করে এবং পেলে কম্পন ও কণ্ঠে জানায়।
• ক্ষীণদৃষ্টির জন্য ইলেকট্রনিক আতশকাচ — জুম ও উচ্চ-কনট্রাস্ট মোডসহ: উল্টো রং, কালোর ওপর সাদা, সাদার ওপর কালো ও নীলের ওপর হলুদ।
• কম্পন-স্মারকসহ টর্চ।
• নিজস্ব স্বাভাবিক কণ্ঠ — পুরো সিস্টেমে ব্যবহারযোগ্য, Android-এ TalkBack ও iPhone-এ VoiceOver-এর কণ্ঠ হিসেবে; ডাউনলোডের পর অফলাইনে কাজ করে।

iPhone সংস্করণ VoiceOver ও iOS-এর অ্যাক্সেসিবিলিটি সুবিধাগুলোর সঙ্গে সম্পূর্ণ সমন্বিত।

বক্তব্য

"রিয়েল-টাইম কথোপকথন বদলে দিয়েছে Visionauta কী। এটি আর এমন অ্যাপ নয়, যেখানে ছবি তুলে উত্তরের অপেক্ষা করতে হয়: এটি এমন একজনের সঙ্গে অবিরাম কথোপকথন, যে আপনার হয়ে দেখে এবং সব সময় পাশে থাকে — রাস্তা বর্ণনা করতে, সবচেয়ে কাছের ওষুধের দোকান খুঁজতে, ভিডিও রেকর্ড করতে কিংবা আপনি যে স্বরলিপি বাজাতে যাচ্ছেন তা পড়তে।"
— জোনাথন সান্তোস

"অ্যাপটিকে ২৩টি নতুন ভাষায় নিয়ে যাওয়া, চেক থেকে থাই, হিব্রু থেকে সোয়াহিলি পর্যন্ত, ছিল ন্যায়ের সিদ্ধান্ত, বাজারের নয়। সহায়ক প্রযুক্তি সব সময় আগে ইংরেজিতে এসেছে, আর যাঁরা ইংরেজি বলেন না, তাঁরা বছরের পর বছর অপেক্ষা করেছেন। এখন আরও অনেক বেশি মানুষ Visionauta-র সঙ্গে নিজের ভাষায় কথা বলতে পারেন।"
— জোনাথন সান্তোস

"আমি Universidade Presbiteriana Mackenzie-র অধ্যাপক ইসমার ফ্রাঙ্গো ও অধ্যাপক নিজাম ওমরের কাছে কৃতজ্ঞ, যাঁরা একটি একাডেমিক প্রকল্পকে সম্প্রদায়ের জন্য বাস্তব হাতিয়ারে রূপ দিতে আমাকে উৎসাহিত করেছেন।"
— জোনাথন সান্তোস

Ứng dụng miễn phí do một kỹ sư phần mềm khiếm thị từng làm việc tại Google và Samsung tạo ra có một trợ lý biết nhìn: trò chuyện bằng giọng nói không gián đoạn, mô tả không gian xung quanh, cho biết người dùng đang ở đâu, tìm thông tin trên internet, đọc và chơi bản nhạc, quay video có âm thanh và giúp người khiếm thị chụp những bức ảnh đúng khung hình. Có sẵn cho iPhone và Android.

Visionauta, ứng dụng hỗ trợ tiếp cận dùng trí tuệ nhân tạo để mang lại nhiều tự chủ hơn cho người mù và người thị lực kém, công bố phiên bản mới — và giờ đây nói được 39 ngôn ngữ: Bồ Đào Nha, Anh, Tây Ban Nha, Pháp, Hàn, Đức, Nhật, Ý, Ả Rập, Nga, Trung giản thể, Hindi, Bengali, Việt, Thổ Nhĩ Kỳ và Indonesia, cùng 23 ngôn ngữ mới: Séc, Hy Lạp, Estonia, Ba Tư, Phần Lan, Do Thái, Hungary, Iceland, Litva, Marathi, Hà Lan, Ba Lan, Romania, Slovakia, Slovenia, Thụy Điển, Swahili, Tamil, Telugu, Thái, Ukraina, Urdu, Quảng Đông. Bản dịch bao trùm toàn bộ ứng dụng, các lệnh thoại, tính năng đọc văn bản và cả câu trả lời của trí tuệ nhân tạo, vốn trò chuyện với người dùng bằng chính ngôn ngữ của họ. Với 23 ngôn ngữ mới, ứng dụng vươn tới người nói ở châu Âu, Trung Đông, châu Phi và châu Á.

Ứng dụng miễn phí và có sẵn cho iPhone trên App Store, cho Android trên Google Play.

TRÒ CHUYỆN THỜI GIAN THỰC: MỘT TRỢ LÝ BIẾT NHÌN VÀ NÓI CÙNG BẠN

Tính năng chính của Visionauta là Trò chuyện thời gian thực. Người dùng nói chuyện tự nhiên, không cần bấm nút hay chờ đến lượt, với một trí tuệ nhân tạo nhìn qua camera điện thoại và trả lời ngay bằng giọng nói — như có một người bạn sáng mắt ở bên, mô tả thế giới cho bạn. Trong phiên bản mới nhất, giọng nói của cuộc trò chuyện rõ hơn, ít nhiễu hơn và phát âm tốt hơn.

Trong cuộc trò chuyện, Visionauta có thể:

• Mô tả không gian và khung cảnh — trong phòng có gì, ai đang ở gần, bàn ăn bày biện ra sao, bộ quần áo nào đang đặt trên giường, đèn có đang bật không.
• Cho biết người dùng đang ở đâu và xung quanh có gì — địa chỉ hiện tại, các con phố, điểm mốc, hiệu thuốc, tiệm bánh và trạm xe buýt gần nhất, dựa trên dữ liệu bản đồ thời gian thực.
• Tìm thông tin trên internet — tin tức, giờ giấc, giá cả, dữ liệu cập nhật, mà không cần rời cuộc trò chuyện.
• Đọc và chơi bản nhạc — chỉ cần hướng camera vào một bản nhạc in. Visionauta nhận diện nốt nhạc, đọc to bản nhạc và phát ngay trên thiết bị, đồng thời tạo tệp MusicXML và MIDI. Một tính năng chưa từng có dành cho nhạc sĩ khiếm thị, những người lâu nay phải phụ thuộc vào người khác hoặc vào các ấn bản chữ nổi Braille hiếm và đắt đỏ.
• Giúp người khiếm thị chụp ảnh — trợ lý chụp ảnh hướng dẫn căn khung, báo khi đã đẹp, đếm ngược và bấm máy, để ảnh gia đình, ảnh giấy tờ hay ảnh đăng mạng xã hội đều đạt.
• Quay video có âm thanh — người dùng yêu cầu bằng giọng nói, trợ lý hướng dẫn căn khung và quay; có thể tạm dừng, tiếp tục, kết thúc hoặc hủy bằng các nút điều khiển dễ tiếp cận, và video được lưu trong mục Hoạt động, sẵn sàng để xem lại và chia sẻ.
• Gọi xe bằng giọng nói — chỉ cần nói điểm đến, ứng dụng mở Uber, 99, Bolt hoặc Lyft với chuyến đi đã điền sẵn, chỉ còn việc xác nhận.
• Trả lời mọi câu hỏi về thứ đang ở trước camera — đây là sản phẩm gì, hạn sử dụng đến khi nào, chiếc áo này màu gì, tấm biển này ghi gì.

VISIONAUTA MAGIC: TRÍ TUỆ NHÂN TẠO MÔ TẢ HÌNH ẢNH VÀ THỰC HIỆN TÁC VỤ TRÊN ĐIỆN THOẠI

Chỉ có trên Android và dành cho người đăng ký Visionauta Plus, Visionauta Magic hoạt động cùng trình đọc màn hình của thiết bị, như TalkBack, và giải quyết hai vấn đề tồn tại từ lâu của cộng đồng:

Thứ nhất, nó mô tả những hình ảnh không có nhãn xuất hiện trong bất kỳ ứng dụng nào. Khi tiêu điểm của trình đọc màn hình dừng trên một hình ảnh, biểu tượng hay thẻ không có mô tả, Visionauta phân tích riêng phần tử đó và đọc to nội dung bên trong.

Thứ hai, nó thực hiện tác vụ trên điện thoại. Người dùng yêu cầu chẳng hạn "mở WhatsApp và nhắn tin cho Ana", Visionauta lập kế hoạch, đọc to kế hoạch và chỉ hành động sau khi người dùng chấp thuận — thuật lại từng bước và có thể bị ngắt bất cứ lúc nào bằng nút khẩn cấp hoặc chạm hai lần bằng hai ngón tay. Không có gì diễn ra khi chưa được xác nhận.

CÁC TÍNH NĂNG HẰNG NGÀY

Ngoài trò chuyện, Visionauta giữ nguyên bộ công cụ đã làm nên tên tuổi của ứng dụng trong cộng đồng người khiếm thị, phần lớn hoạt động không cần internet:

• Đọc văn bản ngoại tuyến — hướng camera vào tài liệu, bao bì, thư từ hay biển báo và nghe đọc to nội dung.
• Nhận diện tiền giấy — real Brazil, đô la Mỹ, euro, peso Mexico, yên Nhật, đô la Canada và đô la Úc, không cần kết nối.
• Tìm đồ vật — nói "giúp tôi tìm điện thoại" và ứng dụng quét không gian, báo bằng rung và giọng nói khi tìm thấy.
• Kính lúp điện tử cho người thị lực kém — có thu phóng và các chế độ tương phản cao: đảo màu, trắng trên đen, đen trên trắng và vàng trên xanh.
• Đèn pin có nhắc nhở bằng rung.
• Giọng nói tự nhiên riêng — dùng được trên toàn hệ thống, làm giọng của TalkBack trên Android và VoiceOver trên iPhone, hoạt động ngoại tuyến sau khi tải về.

Phiên bản iPhone tích hợp trọn vẹn với VoiceOver và các tính năng trợ năng của iOS.

PHÁT BIỂU

"Trò chuyện thời gian thực đã thay đổi bản chất của Visionauta. Nó không còn là ứng dụng để bạn chụp một tấm ảnh rồi chờ câu trả lời: đó là một cuộc trò chuyện liên tục với một người nhìn thay bạn và luôn ở đó, dù là để mô tả con phố, tìm hiệu thuốc gần nhất, quay một đoạn video hay đọc bản nhạc bạn sắp chơi."
— Jonathan Santos

"Đưa ứng dụng đến 23 ngôn ngữ mới, từ tiếng Séc đến tiếng Thái, từ tiếng Do Thái đến tiếng Swahili, là một quyết định vì công bằng, không phải vì thị trường. Công nghệ hỗ trợ luôn đến với tiếng Anh trước, và ai không nói tiếng Anh thì phải chờ nhiều năm. Giờ đây nhiều người hơn nữa có thể trò chuyện với Visionauta bằng chính tiếng mẹ đẻ của mình."
— Jonathan Santos

"Tôi cảm ơn hai giáo sư Ismar Frango và Nizam Omar của Universidade Presbiteriana Mackenzie, những người đã khích lệ tôi biến một đề tài học thuật thành công cụ thực sự cho cộng đồng."
— Jonathan Santos

Google ve Samsung'da çalışmış görme engelli bir yazılım mühendisinin geliştirdiği ücretsiz uygulama, gören bir asistana sahip: kesintisiz sesli sohbet eder, ortamları betimler, kişinin nerede olduğunu söyler, internette bilgi arar, nota kâğıtlarını okuyup çalar, sesli video kaydeder ve görme engellilerin iyi çerçevelenmiş fotoğraflar çekmesine yardımcı olur. iPhone ve Android için kullanılabilir.

Görme engelli ve az gören kişilere daha fazla bağımsızlık kazandırmak için yapay zekâdan yararlanan erişilebilirlik uygulaması Visionauta, yeni sürümünü duyuruyor — ve artık 39 dil konuşuyor: Portekizce, İngilizce, İspanyolca, Fransızca, Korece, Almanca, Japonca, İtalyanca, Arapça, Rusça, Basitleştirilmiş Çince, Hintçe, Bengalce, Vietnamca, Türkçe ve Endonezce, ayrıca 23 yeni dil: Çekçe, Yunanca, Estonca, Farsça, Fince, İbranice, Macarca, İzlandaca, Litvanca, Marathi, Felemenkçe, Lehçe, Romence, Slovakça, Slovence, İsveççe, Svahili, Tamilce, Telugu, Tayca, Ukraynaca, Urduca, Kantonca. Çeviri uygulamanın tamamını, sesli komutları, metin okumayı ve kullanıcıyla kendi dilinde konuşan yapay zekânın yanıtlarını da kapsıyor. 23 yeni dille birlikte uygulama; Avrupa, Orta Doğu, Afrika ve Asya'daki konuşurlara ulaşıyor.

Uygulama ücretsizdir; iPhone için App Store'da, Android için Google Play'de sunulmaktadır.

GERÇEK ZAMANLI SOHBET: GÖREN VE SİZİNLE BİRLİKTE KONUŞAN BİR ASİSTAN

Visionauta'nın ana özelliği Gerçek Zamanlı Sohbet'tir. Kişi, düğmeye basmadan ve sıra beklemeden, telefonun kamerasıyla gören ve anında sesle yanıt veren bir yapay zekâyla doğal biçimde konuşur — yanınızda dünyayı gören ve betimleyen bir arkadaş varmış gibi. En son sürümde sohbetin sesi daha net; gürültü azaldı, diksiyon iyileşti.

Bu sohbet sırasında Visionauta şunları yapabilir:

• Ortamları ve sahneleri betimlemek — odada ne var, yakında kim var, masa nasıl hazırlanmış, yatağın üstünde hangi kıyafet duruyor, ışık açık mı.
• Kişinin nerede olduğunu ve çevresinde ne bulunduğunu söylemek — gerçek zamanlı harita bilgileriyle mevcut adres, sokaklar, referans noktaları, eczaneler, fırınlar ve en yakın otobüs durağı.
• İnternette bilgi aramak — haberler, saatler, fiyatlar, güncel veriler; sohbetten çıkmadan.
• Nota kâğıtlarını okumak ve çalmak — kamerayı basılı bir notaya tutmak yeterli. Visionauta notaları tanır, parçayı sesli okur ve MusicXML ile MIDI dosyalarını üreterek cihazın kendisinde çalar. Tarih boyunca başkalarına ya da nadir ve pahalı Braille baskılara bağımlı kalan görme engelli müzisyenler için benzersiz bir özellik.
• Görme engelli kişinin fotoğraf çekmesine yardım etmek — fotoğraf asistanı çerçevelemeyi yönlendirir, uygun olduğunda haber verir, geri sayım yapar ve deklanşöre basar; böylece aile, belge ya da sosyal medya fotoğrafları düzgün çıkar.
• Sesli video kaydetmek — kişi sesle ister, asistan çerçevelemeyi yönlendirir ve kaydeder; kayıt erişilebilir kontrollerle duraklatılabilir, sürdürülebilir, tamamlanabilir ya da iptal edilebilir. Videolar izlenmeye ve paylaşılmaya hazır olarak Etkinlikler bölümünde saklanır.
• Sesle araç çağırmak — varış noktasını söylemek yeterli; uygulama Uber, 99, Bolt ya da Lyft'i yolculuk bilgileri doldurulmuş olarak açar, geriye yalnızca onaylamak kalır.
• Kameranın önündeki her şey hakkındaki soruları yanıtlamak — bu hangi ürün, son kullanma tarihi ne, bu kıyafet ne renk, bu tabelada ne yazıyor.

VISIONAUTA MAGIC: GÖRSELLERİ BETİMLEYEN VE TELEFONDA GÖREVLERİ YERİNE GETİREN YAPAY ZEKÂ

Yalnızca Android'de ve Visionauta Plus aboneleri için sunulan Visionauta Magic, TalkBack gibi cihazın ekran okuyucusuyla birlikte çalışır ve topluluğun iki eski sorununu çözer:

Birincisi, herhangi bir uygulamada görünen etiketsiz görselleri betimler. Ekran okuyucunun odağı açıklaması olmayan bir görsel, simge ya da kartın üzerinde durduğunda Visionauta yalnızca o öğeyi çözümler ve içeriğini sesli olarak duyurur.

İkincisi, telefonda görevleri yerine getirir. Kişi "WhatsApp'ı aç ve Ana'ya mesaj gönder" gibi bir istekte bulunur; Visionauta bir plan hazırlar, planı sesli okur ve yalnızca kullanıcının onayından sonra harekete geçer — her adımı anlatarak ve bir acil durum düğmesiyle ya da iki parmakla çift dokunarak her an durdurulabilecek biçimde. Onay olmadan hiçbir şey olmaz.

GÜNLÜK YAŞAM ÖZELLİKLERİ

Sohbetin ötesinde Visionauta, onu görme engelliler topluluğunda sevilen kılan ve büyük bölümü internetsiz çalışan araç setini korumaya devam ediyor:

• Çevrimdışı metin okuma — kamerayı belgelere, ambalajlara, mektuplara ya da tabelalara tutun ve içeriği sesli dinleyin.
• Banknot tanıma — Brezilya reali, ABD doları, euro, Meksika pesosu, Japon yeni, Kanada doları ve Avustralya doları; bağlantısız.
• Nesne bulucu — "telefonumu bulmama yardım et" deyin; uygulama ortamı tarar ve bulduğunda titreşim ve sesle haber verir.
• Az görenler için elektronik büyüteç — yakınlaştırma ve yüksek kontrast modları: ters renkler, siyah üstüne beyaz, beyaz üstüne siyah ve mavi üstüne sarı.
• Titreşimli hatırlatıcılı el feneri.
• Özgün doğal sesler — sistem genelinde, Android'de TalkBack'in ve iPhone'da VoiceOver'ın sesi olarak kullanılabilir; indirildikten sonra çevrimdışı çalışır.

iPhone sürümü VoiceOver ve iOS erişilebilirlik özellikleriyle tam entegredir.

AÇIKLAMALAR

"Gerçek Zamanlı Sohbet, Visionauta'nın ne olduğunu değiştirdi. Artık fotoğraf çekip yanıt beklediğiniz bir uygulama değil: sizin yerinize gören ve her zaman yanınızda olan biriyle kesintisiz bir sohbet — ister sokağı betimlemek, ister en yakın eczaneyi bulmak, ister bir video kaydetmek, ister çalacağınız notayı okumak için."
— Jonathan Santos

"Uygulamayı Çekçeden Tayca, İbraniceden Svahiliye kadar 23 yeni dile taşımak bir pazar kararı değil, bir adalet kararıydı. Yardımcı teknoloji her zaman önce İngilizce geldi ve İngilizce bilmeyenler yıllarca bekledi. Artık çok daha fazla insan Visionauta ile kendi dilinde konuşabiliyor."
— Jonathan Santos

"Akademik bir projeyi topluluk için gerçek bir araca dönüştürmem konusunda beni yüreklendiren Universidade Presbiteriana Mackenzie'den Profesör Ismar Frango ve Profesör Nizam Omar'a teşekkür ediyorum."
— Jonathan Santos

Aplikasi gratis yang diciptakan oleh seorang insinyur perangkat lunak tunanetra yang pernah bekerja di Google dan Samsung memiliki asisten yang bisa melihat: bercakap-cakap dengan suara tanpa jeda, mendeskripsikan lingkungan, memberi tahu di mana pengguna berada, mencari informasi di internet, membaca dan memainkan partitur musik, merekam video beraudio, dan membantu tunanetra mengambil foto dengan bingkai yang tepat. Tersedia untuk iPhone dan Android.

Visionauta, aplikasi aksesibilitas yang memanfaatkan kecerdasan buatan untuk memberi kemandirian lebih besar kepada penyandang tunanetra dan low vision, mengumumkan versi terbarunya — dan kini berbicara dalam 39 bahasa: Portugis, Inggris, Spanyol, Prancis, Korea, Jerman, Jepang, Italia, Arab, Rusia, Mandarin Sederhana, Hindi, Bengali, Vietnam, Turki, dan Indonesia, ditambah 23 bahasa baru: Ceko, Yunani, Estonia, Persia, Finlandia, Ibrani, Hungaria, Islandia, Lituania, Marathi, Belanda, Polandia, Rumania, Slovakia, Slovenia, Swedia, Swahili, Tamil, Telugu, Thai, Ukraina, Urdu, Kanton. Terjemahan ini mencakup seluruh aplikasi, perintah suara, pembacaan teks, dan juga jawaban kecerdasan buatan, yang bercakap dengan pengguna dalam bahasanya sendiri. Dengan 23 bahasa baru, aplikasi ini menjangkau penutur di Eropa, Timur Tengah, Afrika, dan Asia.

Aplikasi ini gratis dan tersedia untuk iPhone di App Store serta untuk Android di Google Play.

PERCAKAPAN REAL-TIME: ASISTEN YANG MELIHAT DAN BERBICARA BERSAMA ANDA

Fitur utama Visionauta adalah Percakapan Real-Time. Pengguna berbicara secara alami, tanpa menekan tombol dan tanpa menunggu giliran, dengan kecerdasan buatan yang melihat melalui kamera ponsel dan langsung menjawab dengan suara — seperti memiliki teman yang bisa melihat dan menggambarkan dunia di samping Anda. Pada versi terbaru, suara percakapan menjadi lebih jelas, dengan lebih sedikit gangguan dan diksi yang lebih baik.

Selama percakapan itu, Visionauta dapat:

• Mendeskripsikan lingkungan dan pemandangan — apa yang ada di ruangan, siapa yang berada di dekat Anda, bagaimana meja ditata, pakaian apa yang tergeletak di tempat tidur, apakah lampu menyala.
• Memberi tahu di mana pengguna berada dan apa yang ada di sekitarnya — alamat saat ini, jalan, tengara, apotek, toko roti, dan halte bus terdekat, menggunakan informasi peta real-time.
• Mencari informasi di internet — berita, jadwal, harga, data terbaru, tanpa keluar dari percakapan.
• Membaca dan memainkan partitur musik — cukup arahkan kamera ke partitur cetak. Visionauta mengenali not, membacakan musiknya dengan lantang, dan memainkannya di perangkat itu juga, sambil menghasilkan berkas MusicXML dan MIDI. Fitur yang belum pernah ada bagi musisi tunanetra, yang selama ini bergantung pada orang lain atau pada edisi braille yang langka dan mahal.
• Membantu penyandang tunanetra mengambil foto — asisten foto memandu pembingkaian, memberi tahu saat sudah pas, menghitung mundur, dan memotret, agar foto keluarga, dokumen, atau media sosial hasilnya bagus.
• Merekam video beraudio — pengguna meminta dengan suara, asisten memandu pembingkaian dan merekam; rekaman dapat dijeda, dilanjutkan, diselesaikan, atau dibatalkan dengan kontrol yang aksesibel, dan video tersimpan di Aktivitas, siap ditonton dan dibagikan.
• Memanggil kendaraan dengan suara — cukup sebutkan tujuan dan aplikasi membuka Uber, 99, Bolt, atau Lyft dengan perjalanan yang sudah terisi; tinggal konfirmasi.
• Menjawab pertanyaan apa pun tentang yang ada di depan kamera — produk apa ini, kapan tanggal kedaluwarsanya, apa warna pakaian ini, apa tulisan di papan ini.

VISIONAUTA MAGIC: AI YANG MENDESKRIPSIKAN GAMBAR DAN MENJALANKAN TUGAS DI PONSEL

Eksklusif untuk Android dan tersedia bagi pelanggan Visionauta Plus, Visionauta Magic bekerja bersama pembaca layar perangkat, seperti TalkBack, dan memecahkan dua masalah lama komunitas:

Pertama, ia mendeskripsikan gambar tanpa label yang muncul di aplikasi mana pun. Saat fokus pembaca layar berhenti pada gambar, ikon, atau kartu tanpa deskripsi, Visionauta menganalisis elemen itu saja dan mengumumkan isinya dengan lantang.

Kedua, ia menjalankan tugas di ponsel. Pengguna meminta, misalnya, "buka WhatsApp dan kirim pesan ke Ana", lalu Visionauta menyusun rencana, membacakannya dengan lantang, dan baru bertindak setelah pengguna menyetujui — menarasikan setiap langkah dan dapat dihentikan kapan saja dengan tombol darurat atau ketukan ganda dua jari. Tidak ada yang terjadi tanpa konfirmasi.

FITUR SEHARI-HARI

Selain percakapan, Visionauta mempertahankan rangkaian alat yang membuatnya populer di komunitas penyandang disabilitas netra, sebagian besar berfungsi tanpa internet:

• Pembacaan teks offline — arahkan kamera ke dokumen, kemasan, surat, atau papan dan dengarkan isinya dibacakan.
• Pengenalan uang kertas — real Brasil, dolar AS, euro, peso Meksiko, yen Jepang, dolar Kanada, dan dolar Australia, tanpa koneksi.
• Pencari benda — ucapkan "bantu saya menemukan ponsel saya" dan aplikasi memindai lingkungan, memberi tahu lewat getaran dan suara saat menemukannya.
• Kaca pembesar elektronik untuk low vision — dengan zoom dan mode kontras tinggi: warna terbalik, putih di atas hitam, hitam di atas putih, dan kuning di atas biru.
• Senter dengan pengingat getar.
• Suara alami milik sendiri — dapat digunakan di seluruh sistem sebagai suara TalkBack di Android dan VoiceOver di iPhone, berfungsi offline setelah diunduh.

Versi iPhone terintegrasi sepenuhnya dengan VoiceOver dan fitur aksesibilitas iOS.

PERNYATAAN

"Percakapan Real-Time mengubah apa itu Visionauta. Ia bukan lagi aplikasi tempat Anda mengambil foto lalu menunggu jawaban: ia adalah percakapan berkelanjutan dengan seseorang yang melihat untuk Anda dan selalu ada, entah untuk mendeskripsikan jalan, menemukan apotek terdekat, merekam video, atau membaca partitur yang akan Anda mainkan."
— Jonathan Santos

"Membawa aplikasi ini ke 23 bahasa baru, dari Ceko hingga Thai, dari Ibrani hingga Swahili, adalah keputusan tentang keadilan, bukan tentang pasar. Teknologi bantu selalu tiba lebih dulu dalam bahasa Inggris, dan mereka yang tidak berbahasa Inggris menunggu bertahun-tahun. Kini jauh lebih banyak orang dapat bercakap dengan Visionauta dalam bahasa mereka sendiri."
— Jonathan Santos

"Saya berterima kasih kepada Profesor Ismar Frango dan Profesor Nizam Omar dari Universidade Presbiteriana Mackenzie, yang mendorong saya mengubah sebuah proyek akademik menjadi alat nyata bagi komunitas."
— Jonathan Santos

Bezplatnou aplikaci vytvořil nevidomý softwarový inženýr, který pracoval ve společnostech Google a Samsung. Nabízí asistenta, který vidí: hovoří hlasem bez přerušování, popisuje okolí, říká, kde se uživatel nachází, vyhledává informace na internetu, čte a přehrává noty, natáčí videa se zvukem a pomáhá nevidomým pořizovat dobře zarámované fotografie. Dostupná pro iPhone a Android.

Visionauta, přístupnostní aplikace, která využívá umělou inteligenci k větší samostatnosti nevidomých a slabozrakých lidí, oznamuje svou novou verzi — a nyní mluví 39 jazyky: portugalština, angličtina, španělština, francouzština, korejština, němčina, japonština, italština, arabština, ruština, zjednodušená čínština, hindština, bengálština, vietnamština, turečtina, indonéština, a k tomu 23 nových jazyků: čeština, řečtina, estonština, perština, finština, hebrejština, maďarština, islandština, litevština, maráthština, nizozemština, polština, rumunština, slovenština, slovinština, švédština, svahilština, tamilština, telugština, thajština, ukrajinština, urdština, kantonština. Překlad se týká celé aplikace, hlasových příkazů, čtení textů i odpovědí umělé inteligence, která s uživatelem hovoří v jeho vlastním jazyce. S 23 novými jazyky aplikace nově oslovuje mluvčí v Evropě, na Blízkém východě, v Africe i v Asii.

Aplikace je zdarma a je dostupná pro iPhone v App Store a pro Android v Google Play.

ROZHOVOR V REÁLNÉM ČASE: ASISTENT, KTERÝ VIDÍ A ZÁROVEŇ MLUVÍ

Hlavní funkcí Visionauta je Rozhovor v reálném čase. V něm člověk mluví přirozeně, bez mačkání tlačítek a bez čekání, až na něj přijde řada, s umělou inteligencí, která vidí přes kameru telefonu a okamžitě odpovídá hlasem — jako by měl vedle sebe přítele, který vidí a popisuje svět. V nejnovější verzi je hlas rozhovoru čistší, s menším šumem a lepší dikcí.

Během tohoto rozhovoru dokáže Visionauta:

• Popisovat prostředí a scény — co je v místnosti, kdo je poblíž, jak vypadá stůl, jaké oblečení leží na posteli, zda je rozsvíceno.
• Říct, kde se člověk nachází a co je kolem — aktuální adresu, ulice, orientační body, lékárny, pekárny a nejbližší autobusovou zastávku, a to pomocí mapových informací v reálném čase.
• Vyhledávat informace na internetu — zprávy, jízdní řády, ceny, aktuální údaje, aniž by bylo nutné opustit rozhovor.
• Číst a přehrávat noty — stačí namířit kameru na vytištěné noty. Visionauta rozpozná noty, přečte hudbu nahlas a přehraje ji přímo v zařízení, přičemž vygeneruje soubory MusicXML a MIDI. Jde o dosud nevídanou funkci pro nevidomé hudebníky, kteří byli historicky odkázáni na pomoc druhých nebo na vzácná a drahá vydání v Braillově písmu.
• Pomáhat zrakově postiženým lidem s fotografováním — asistent pro fotografování navádí při zarámování záběru, ohlásí, kdy je dobré, odpočítá čas a spustí fotoaparát, aby se rodinné fotografie, snímky dokumentů i příspěvky na sociální sítě povedly.
• Natáčet videa se zvukem — člověk o to požádá hlasem, asistent poradí se zarámováním a začne nahrávat; nahrávku lze pozastavit, obnovit, dokončit nebo zrušit pomocí přístupných ovládacích prvků a videa se ukládají do sekce Aktivity, připravená ke zhlédnutí a sdílení.
• Přivolat vůz hlasem — stačí říct cíl cesty a aplikace otevře Uber, 99, Bolt nebo Lyft s již vyplněnou jízdou, takže zbývá jen potvrdit.
• Odpovědět na jakoukoli otázku o tom, co je před kamerou — o jaký výrobek jde, jaké je datum spotřeby, jakou barvu má toto oblečení, co říká tato cedule.

VISIONAUTA MAGIC: UMĚLÁ INTELIGENCE, KTERÁ POPISUJE OBRÁZKY A PROVÁDÍ ÚKOLY V TELEFONU

Visionauta Magic je exkluzivní pro Android a dostupný předplatitelům Visionauta Plus. Spolupracuje se čtečkou obrazovky zařízení, například TalkBack, a řeší dva dlouholeté problémy komunity:

Za prvé popisuje obrázky bez popisku, které se objevují v jakékoli aplikaci. Když se fokus čtečky obrazovky zastaví na obrázku, ikoně nebo kartě bez popisu, Visionauta analyzuje pouze tento prvek a nahlas oznámí, co obsahuje.

Za druhé provádí úkoly v telefonu. Člověk řekne například „otevři WhatsApp a napiš zprávu Aně“ a Visionauta sestaví plán, přečte jej nahlas a jedná až po schválení uživatelem — každý krok komentuje a lze jej kdykoli přerušit nouzovým tlačítkem nebo dvojitým klepnutím dvěma prsty. Bez potvrzení se nic neděje.

FUNKCE PRO KAŽDÝ DEN

Kromě rozhovoru si Visionauta zachovává sadu nástrojů, díky níž se stal oblíbeným v komunitě zrakově postižených lidí, přičemž značná část z nich funguje bez internetu:

• Čtení textů offline — namiřte kameru na dokumenty, obaly, dopisy nebo cedule a poslechněte si obsah nahlas.
• Rozpoznávání bankovek — brazilský real, americký dolar, euro, mexické peso, japonský jen, kanadský a australský dolar, bez připojení.
• Hledání předmětů — řekněte „pomoz mi najít můj telefon“ a aplikace prohledá okolí a po nalezení upozorní vibrací a hlasem.
• Elektronická lupa pro slabozraké — se zoomem a režimy vysokého kontrastu, invertovanými barvami, bílou na černé, černou na bílé a žlutou na modré.
• Svítilna s připomenutím vibrací.
• Vlastní přirozené hlasy — které lze použít v celém systému jako hlas TalkBack v Androidu a VoiceOver v iPhonu a po stažení fungují offline.

Verze pro iPhone je plně integrována s VoiceOver a funkcemi přístupnosti iOS.

VYJÁDŘENÍ

„Rozhovor v reálném čase změnil to, čím Visionauta je. Už to není aplikace, v níž vyfotíte snímek a čekáte na odpověď: je to nepřetržitý rozhovor s někým, kdo za vás vidí a je vždy po ruce, ať jde o popis ulice, hledání nejbližší lékárny, natočení videa nebo přečtení partitury, kterou budete hrát.“
— Jonathan Santos

„Rozšířit aplikaci o 23 nových jazyků, od češtiny po thajštinu, od hebrejštiny po svahilštinu, bylo rozhodnutím o spravedlnosti, ne o trhu. Asistenční technologie vždy přicházely nejdřív v angličtině a ti, kdo anglicky nemluví, čekali roky. Nyní s Visionautou může ve svém jazyce mluvit mnohem více lidí.“
— Jonathan Santos

„Děkuji profesorům Ismaru Frangovi a Nizamu Omarovi z Univerzidade Presbiteriana Mackenzie, kteří mě povzbudili, abych z akademického projektu vytvořil skutečný nástroj pro komunitu.“
— Jonathan Santos

Η δωρεάν εφαρμογή, που δημιούργησε τυφλός μηχανικός λογισμικού με θητεία στη Google και τη Samsung, διαθέτει έναν βοηθό που βλέπει: συνομιλεί με φωνή χωρίς διακοπές, περιγράφει χώρους, λέει στον χρήστη πού βρίσκεται, αναζητά πληροφορίες στο διαδίκτυο, διαβάζει και παίζει μουσικές παρτιτούρες, εγγράφει βίντεο με ήχο και βοηθά τους τυφλούς να βγάζουν φωτογραφίες με σωστό κάδρο. Διαθέσιμη για iPhone και Android.

Το Visionauta, η εφαρμογή προσβασιμότητας που χρησιμοποιεί τεχνητή νοημοσύνη για να δώσει μεγαλύτερη αυτονομία σε τυφλούς και αμβλύωπες, ανακοινώνει τη νέα του έκδοση — και πλέον μιλά 39 γλώσσες: πορτογαλικά, αγγλικά, ισπανικά, γαλλικά, κορεατικά, γερμανικά, ιαπωνικά, ιταλικά, αραβικά, ρωσικά, απλοποιημένα κινεζικά, χίντι, μπενγκάλι, βιετναμέζικα, τουρκικά, ινδονησιακά, και επιπλέον 23 νέες γλώσσες: τσεχικά, ελληνικά, εσθονικά, περσικά, φινλανδικά, εβραϊκά, ουγγρικά, ισλανδικά, λιθουανικά, μαραθικά, ολλανδικά, πολωνικά, ρουμανικά, σλοβακικά, σλοβενικά, σουηδικά, σουαχίλι, ταμίλ, τελούγκου, ταϊλανδικά, ουκρανικά, ουρντού, καντονέζικα. Η μετάφραση καλύπτει ολόκληρη την εφαρμογή, τις φωνητικές εντολές, την ανάγνωση κειμένων και τις απαντήσεις της τεχνητής νοημοσύνης, η οποία μιλά στον χρήστη στη δική του γλώσσα. Με τις 23 νέες γλώσσες, η εφαρμογή φτάνει πλέον σε ομιλητές στην Ευρώπη, τη Μέση Ανατολή, την Αφρική και την Ασία.

Η εφαρμογή είναι δωρεάν και διατίθεται για iPhone στο App Store και για Android στο Google Play.

ΣΥΝΟΜΙΛΙΑ ΣΕ ΠΡΑΓΜΑΤΙΚΟ ΧΡΟΝΟ: ΕΝΑΣ ΒΟΗΘΟΣ ΠΟΥ ΒΛΕΠΕΙ ΚΑΙ ΜΙΛΑ ΜΑΖΙ ΣΑΣ

Το βασικό χαρακτηριστικό του Visionauta είναι η Συνομιλία σε Πραγματικό Χρόνο. Σε αυτήν, ο χρήστης μιλά φυσικά, χωρίς να πατά κουμπιά και χωρίς να περιμένει τη σειρά του, με μια τεχνητή νοημοσύνη που βλέπει μέσα από την κάμερα του κινητού και απαντά αμέσως με φωνή — σαν να έχει δίπλα του έναν φίλο που βλέπει και περιγράφει τον κόσμο. Στην πιο πρόσφατη έκδοση, η φωνή της συνομιλίας έγινε πιο καθαρή, με λιγότερους θορύβους και καλύτερη άρθρωση.

Κατά τη διάρκεια αυτής της συνομιλίας, το Visionauta μπορεί:

• Να περιγράφει χώρους και σκηνές — τι υπάρχει στο δωμάτιο, ποιος βρίσκεται κοντά, πώς είναι το τραπέζι, τι ρούχα βρίσκονται πάνω στο κρεβάτι, αν το φως είναι αναμμένο.
• Να λέει πού βρίσκεται ο χρήστης και τι υπάρχει γύρω του — τρέχουσα διεύθυνση, δρόμους, σημεία αναφοράς, φαρμακεία, αρτοποιεία και την πλησιέστερη στάση λεωφορείου, χρησιμοποιώντας πληροφορίες χάρτη σε πραγματικό χρόνο.
• Να αναζητά πληροφορίες στο διαδίκτυο — ειδήσεις, ωράρια, τιμές, ενημερωμένα στοιχεία, χωρίς να βγει από τη συνομιλία.
• Να διαβάζει και να παίζει μουσικές παρτιτούρες — αρκεί να στρέψετε την κάμερα σε μια τυπωμένη παρτιτούρα. Το Visionauta αναγνωρίζει τις νότες, διαβάζει τη μουσική φωναχτά και την αναπαράγει στην ίδια τη συσκευή, δημιουργώντας αρχεία MusicXML και MIDI. Ένα πρωτόγνωρο χαρακτηριστικό για τυφλούς μουσικούς, που ιστορικά εξαρτώνται από τρίτους ή από σπάνιες και ακριβές εκδόσεις σε Μπράιγ.
• Να βοηθά άτομα με προβλήματα όρασης να βγάζουν φωτογραφίες — ο βοηθός φωτογραφίας καθοδηγεί το κάδρο, ειδοποιεί όταν είναι σωστό, κάνει αντίστροφη μέτρηση και πατά το κλείστρο, ώστε οι οικογενειακές φωτογραφίες, οι φωτογραφίες εγγράφων ή των κοινωνικών δικτύων να βγαίνουν καλές.
• Να εγγράφει βίντεο με ήχο — ο χρήστης το ζητά με φωνή, ο βοηθός καθοδηγεί το κάδρο και ξεκινά την εγγραφή· η εγγραφή μπορεί να παυθεί, να συνεχιστεί, να ολοκληρωθεί ή να ακυρωθεί με προσβάσιμα χειριστήρια, και τα βίντεο αποθηκεύονται στις Δραστηριότητες, έτοιμα για προβολή και κοινοποίηση.
• Να καλεί αυτοκίνητο με φωνή — αρκεί να πείτε τον προορισμό και η εφαρμογή ανοίγει το Uber, το 99, το Bolt ή το Lyft με τη διαδρομή ήδη συμπληρωμένη, και απομένει μόνο η επιβεβαίωση.
• Να απαντά σε οποιαδήποτε ερώτηση για ό,τι βρίσκεται μπροστά στην κάμερα — τι προϊόν είναι αυτό, ποια είναι η ημερομηνία λήξης, τι χρώμα έχει αυτό το ρούχο, τι γράφει αυτή η πινακίδα.

VISIONAUTA MAGIC: Η ΤΕΧΝΗΤΗ ΝΟΗΜΟΣΥΝΗ ΠΟΥ ΠΕΡΙΓΡΑΦΕΙ ΕΙΚΟΝΕΣ ΚΑΙ ΕΚΤΕΛΕΙ ΕΡΓΑΣΙΕΣ ΣΤΟ ΚΙΝΗΤΟ

Αποκλειστικά για Android και διαθέσιμο στους συνδρομητές του Visionauta Plus, το Visionauta Magic συνεργάζεται με το πρόγραμμα ανάγνωσης οθόνης της συσκευής, όπως το TalkBack, και λύνει δύο διαχρονικά προβλήματα της κοινότητας:

Πρώτον, περιγράφει τις εικόνες χωρίς ετικέτα που εμφανίζονται σε οποιαδήποτε εφαρμογή. Όταν η εστίαση του προγράμματος ανάγνωσης οθόνης σταματά σε μια εικόνα, ένα εικονίδιο ή μια κάρτα χωρίς περιγραφή, το Visionauta αναλύει μόνο αυτό το στοιχείο και ανακοινώνει φωναχτά τι περιέχει.

Δεύτερον, εκτελεί εργασίες στο κινητό. Ο χρήστης ζητά κάτι σαν «άνοιξε το WhatsApp και στείλε ένα μήνυμα στην Άνα», και το Visionauta καταρτίζει ένα σχέδιο, το διαβάζει φωναχτά και ενεργεί μόνο μετά την έγκριση του χρήστη — αφηγούμενο κάθε βήμα και με δυνατότητα διακοπής ανά πάσα στιγμή με κουμπί έκτακτης ανάγκης ή με διπλό άγγιγμα με δύο δάχτυλα. Τίποτα δεν γίνεται χωρίς επιβεβαίωση.

ΤΑ ΚΑΘΗΜΕΡΙΝΑ ΧΑΡΑΚΤΗΡΙΣΤΙΚΑ

Πέρα από τη συνομιλία, το Visionauta διατηρεί το σύνολο εργαλείων που το έκανε δημοφιλές στην κοινότητα των ατόμων με προβλήματα όρασης, με μεγάλο μέρος τους να λειτουργεί χωρίς διαδίκτυο:

• Ανάγνωση κειμένων εκτός σύνδεσης — στρέψτε την κάμερα σε έγγραφα, συσκευασίες, γράμματα ή πινακίδες και ακούστε το περιεχόμενο φωναχτά.
• Αναγνώριση τραπεζογραμματίων — Ρεάλ, Δολάριο, Ευρώ, Μεξικανικό Πέσο, Γιεν, Καναδικό και Αυστραλιανό Δολάριο, χωρίς σύνδεση.
• Εντοπισμός αντικειμένων — πείτε «βοήθησέ με να βρω το κινητό μου» και η εφαρμογή σαρώνει τον χώρο, ειδοποιώντας με δόνηση και φωνή όταν το βρει.
• Ηλεκτρονικό μεγεθυντικό φακό για χαμηλή όραση — με ζουμ και λειτουργίες υψηλής αντίθεσης, αντεστραμμένα χρώματα, λευκό σε μαύρο, μαύρο σε λευκό και κίτρινο σε μπλε.
• Φακός με υπενθύμιση μέσω δόνησης.
• Δικές του φυσικές φωνές — που μπορούν να χρησιμοποιηθούν σε όλο το σύστημα, ως φωνή του TalkBack στο Android και του VoiceOver στο iPhone, και λειτουργούν χωρίς σύνδεση μετά τη λήψη τους.

Η έκδοση για iPhone είναι πλήρως ενσωματωμένη με το VoiceOver και τις λειτουργίες προσβασιμότητας του iOS.

ΔΗΛΩΣΕΙΣ

«Η Συνομιλία σε Πραγματικό Χρόνο άλλαξε το τι είναι το Visionauta. Δεν είναι πια μια εφαρμογή όπου βγάζεις μια φωτογραφία και περιμένεις απάντηση: είναι μια συνεχής συζήτηση με κάποιον που βλέπει για σένα και είναι πάντα εκεί, είτε για να περιγράψει τον δρόμο, να βρει το πλησιέστερο φαρμακείο, να τραβήξει ένα βίντεο ή να διαβάσει την παρτιτούρα που πρόκειται να παίξεις.»
— Jonathan Santos

«Η επέκταση της εφαρμογής σε 23 νέες γλώσσες, από τα τσεχικά έως τα ταϊλανδικά, από τα εβραϊκά έως τα σουαχίλι, ήταν απόφαση δικαιοσύνης, όχι αγοράς. Η υποστηρικτική τεχνολογία έφτανε πάντα πρώτα στα αγγλικά και όσοι δεν μιλούν αγγλικά περίμεναν χρόνια. Τώρα πολύ περισσότεροι άνθρωποι μπορούν να συνομιλούν με το Visionauta στη δική τους γλώσσα.»
— Jonathan Santos

«Ευχαριστώ τους καθηγητές Ismar Frango και Nizam Omar του Πρεσβυτεριανού Πανεπιστημίου Mackenzie, που με ενθάρρυναν να μετατρέψω ένα ακαδημαϊκό πρότζεκτ σε πραγματικό εργαλείο για την κοινότητα.»
— Jonathan Santos

Pime tarkvarainsener, kes on töötanud Google'is ja Samsungis, lõi tasuta rakenduse, mille abiline näeb: ta vestleb häälega katkestusteta, kirjeldab ümbrust, ütleb kasutajale, kus ta asub, otsib internetist teavet, loeb ja mängib noote, salvestab heliga videoid ning aitab pimedatel teha hästi kadreeritud fotosid. Saadaval iPhone'ile ja Androidile.

Visionauta, ligipääsetavusrakendus, mis kasutab tehisintellekti, et anda pimedatele ja vaegnägijatele rohkem iseseisvust, teatab oma uuest versioonist — ja nüüd räägib see 39 keeles: portugali, inglise, hispaania, prantsuse, korea, saksa, jaapani, itaalia, araabia, vene, lihtsustatud hiina, hindi, bengali, vietnami, türgi, indoneesia, pluss 23 uut keelt: tšehhi, kreeka, eesti, pärsia, soome, heebrea, ungari, islandi, leedu, marathi, hollandi, poola, rumeenia, slovaki, sloveeni, rootsi, suahiili, tamili, telugu, tai, ukraina, urdu, kantoni. Tõlge hõlmab kogu rakendust, häälkäsklusi, tekstide lugemist ning ka tehisintellekti vastuseid, mis räägib kasutajaga tema enda keeles. 23 uue keelega jõuab rakendus nüüd kõnelejateni Euroopas, Lähis-Idas, Aafrikas ja Aasias.

Rakendus on tasuta ning saadaval iPhone'ile App Store'is ja Androidile Google Plays.

REAALAJA VESTLUS: ABILINE, KES NÄEB JA RÄÄGIB KOOS SINUGA

Visionauta peamine funktsioon on reaalaja vestlus. Selles räägib inimene loomulikult, ilma nuppe vajutamata ja oma järge ootamata, tehisintellektiga, mis näeb telefoni kaamera kaudu ja vastab kohe häälega — nagu oleks tema kõrval sõber, kes näeb ja kirjeldab maailma. Uusimas versioonis on vestluse hääl selgem, vähema müra ja parema diktsiooniga.

Selle vestluse ajal oskab Visionauta:

• Kirjeldada ümbrust ja stseene — mis on toas, kes on lähedal, milline näeb välja laud, mis riided on voodil, kas tuli põleb.
• Öelda, kus inimene asub ja mis on tema ümber — praegune aadress, tänavad, orientiirid, apteegid, pagariärid ja lähim bussipeatus, kasutades reaalaja kaardiinfot.
• Otsida internetist teavet — uudiseid, sõiduplaane, hindu, ajakohaseid andmeid, vestlusest lahkumata.
• Lugeda ja mängida noote — piisab, kui suunata kaamera trükitud noodilehele. Visionauta tuvastab noodid, loeb muusika valjusti ette ja esitab selle seadmes, luues MusicXML- ja MIDI-failid. See on enneolematu võimalus pimedatele muusikutele, kes on ajalooliselt sõltunud teistest inimestest või haruldastest ja kallitest punktkirjaväljaannetest.
• Aidata nägemispuudega inimesel fotosid teha — foto abiline juhendab kadreerimist, teatab, kui kaader on hea, loeb tagasi ja vajutab päästikule, et pere-, dokumendi- või sotsiaalmeediafotod õnnestuksid.
• Salvestada heliga videoid — inimene palub seda häälega, abiline juhendab kadreerimist ja alustab salvestamist; salvestust saab ligipääsetavate juhtnuppudega peatada, jätkata, lõpetada või tühistada ning videod salvestatakse jaotisse Tegevused, kus neid saab vaadata ja jagada.
• Kutsuda häälega auto — piisab sihtkoha ütlemisest ja rakendus avab Uberi, 99, Bolti või Lyfti juba täidetud sõiduga, jääb vaid kinnitada.
• Vastata mis tahes küsimusele selle kohta, mis on kaamera ees — mis toode see on, mis on aegumiskuupäev, mis värvi on see riietusese, mida see silt ütleb.

VISIONAUTA MAGIC: TEHISINTELLEKT, MIS KIRJELDAB PILTE JA TÄIDAB TELEFONIS ÜLESANDEID

Visionauta Magic on ainult Androidile ja saadaval Visionauta Plusi tellijatele. See töötab koos seadme ekraanilugejaga, näiteks TalkBackiga, ning lahendab kaks kogukonna ammust probleemi:

Esiteks kirjeldab ta märgendita pilte, mis ilmuvad mis tahes rakenduses. Kui ekraanilugeja fookus peatub kirjeldamata pildil, ikoonil või kaardil, analüüsib Visionauta ainult seda elementi ja teatab valjusti, mis seal on.

Teiseks täidab ta telefonis ülesandeid. Inimene palub midagi sellist nagu „ava WhatsApp ja saada Anale sõnum“, ning Visionauta koostab plaani, loeb selle valjusti ette ja tegutseb alles pärast kasutaja heakskiitu — kommenteerides iga sammu ja olles igal hetkel katkestatav hädaabinupu või kahe sõrmega topeltpuudutusega. Midagi ei juhtu ilma kinnituseta.

IGAPÄEVASED FUNKTSIOONID

Lisaks vestlusele säilitab Visionauta tööriistakomplekti, mis tegi selle populaarseks nägemispuudega inimeste kogukonnas, ning suur osa neist töötab ilma internetita:

• Tekstide lugemine võrguühenduseta — suunake kaamera dokumentidele, pakenditele, kirjadele või siltidele ja kuulake sisu valjusti.
• Rahatähtede tuvastamine — Brasiilia reaal, dollar, euro, Mehhiko peeso, jeen, Kanada ja Austraalia dollar, ilma ühenduseta.
• Esemete leidja — öelge „aita mul oma telefon leida“ ja rakendus skaneerib ümbrust, andes leidmisel märku vibratsiooni ja häälega.
• Elektrooniline luup vaegnägijatele — suumi ning kõrge kontrastsusega režiimidega: pööratud värvid, valge mustal, must valgel ja kollane sinisel.
• Taskulamp vibratsioonimeeldetuletusega.
• Omad loomulikud hääled — mida saab kasutada kogu süsteemis, Androidi TalkBacki ja iPhone'i VoiceOveri häälena, ning mis pärast allalaadimist töötavad ilma internetita.

iPhone'i versioon on täielikult integreeritud VoiceOveri ja iOS-i ligipääsetavusfunktsioonidega.

AVALDUSED

„Reaalaja vestlus muutis Visionauta olemust. See ei ole enam rakendus, kus teed foto ja ootad vastust: see on pidev vestlus kellegagi, kes näeb sinu eest ja on alati olemas, olgu siis tänava kirjeldamiseks, lähima apteegi leidmiseks, video salvestamiseks või noodi lugemiseks, mida hakkad mängima.“
— Jonathan Santos

„Rakenduse viimine 23 uude keelde, tšehhi keelest tai keeleni, heebrea keelest suahiili keeleni, oli õigluse, mitte turu otsus. Abitehnoloogia jõudis alati esmalt inglise keeles ja need, kes inglise keelt ei räägi, ootasid aastaid. Nüüd saab palju rohkem inimesi Visionautaga oma keeles vestelda.“
— Jonathan Santos

„Tänan professoreid Ismar Frangot ja Nizam Omarit Universidade Presbiteriana Mackenzie'st, kes julgustasid mind muutma akadeemilise projekti kogukonnale tõeliseks töövahendiks.“
— Jonathan Santos

این اپلیکیشن رایگان، ساخته یک مهندس نرم‌افزار نابینا که در Google و Samsung کار کرده است، دستیاری دارد که می‌بیند: بدون وقفه با صدا گفت‌وگو می‌کند، محیط را توصیف می‌کند، به کاربر می‌گوید کجاست، در اینترنت اطلاعات جست‌وجو می‌کند، نت‌های موسیقی را می‌خواند و می‌نوازد، ویدیو همراه با صدا ضبط می‌کند و به نابینایان کمک می‌کند عکس‌هایی با قاب‌بندی درست بگیرند. برای آیفون و اندروید در دسترس است.

Visionauta، اپلیکیشن دسترس‌پذیری که از هوش مصنوعی برای افزایش استقلال افراد نابینا و کم‌بینا استفاده می‌کند، نسخه جدید خود را معرفی می‌کند — و اکنون به ۳۹ زبان صحبت می‌کند: پرتغالی، انگلیسی، اسپانیایی، فرانسوی، کره‌ای، آلمانی، ژاپنی، ایتالیایی، عربی، روسی، چینی ساده‌شده، هندی، بنگالی، ویتنامی، ترکی، اندونزیایی و علاوه بر آن ۲۳ زبان جدید: چکی، یونانی، استونیایی، فارسی، فنلاندی، عبری، مجاری، ایسلندی، لیتوانیایی، مراتی، هلندی، لهستانی، رومانیایی، اسلواکی، اسلوونیایی، سوئدی، سواحیلی، تامیلی، تلوگو، تایلندی، اوکراینی، اردو و کانتونی. ترجمه کل اپلیکیشن، فرمان‌های صوتی، خواندن متن‌ها و همچنین پاسخ‌های هوش مصنوعی را دربرمی‌گیرد که با کاربر به زبان خودش گفت‌وگو می‌کند. با این ۲۳ زبان جدید، اپلیکیشن اکنون به سخنوران در اروپا، خاورمیانه، آفریقا و آسیا می‌رسد.

این اپلیکیشن رایگان است و برای آیفون در App Store و برای اندروید در Google Play در دسترس است.

گفت‌وگوی بی‌درنگ: دستیاری که می‌بیند و همراه شما صحبت می‌کند

ویژگی اصلی Visionauta گفت‌وگوی بی‌درنگ است. در آن، فرد به‌طور طبیعی صحبت می‌کند، بدون فشردن دکمه و بدون انتظار برای نوبت، با هوشی مصنوعی که از طریق دوربین گوشی می‌بیند و بلافاصله با صدا پاسخ می‌دهد — مانند داشتن دوستی در کنار خود که می‌بیند و جهان را توصیف می‌کند. در جدیدترین نسخه، صدای گفت‌وگو شفاف‌تر شده است، با نویز کمتر و تلفظ بهتر.

در طول این گفت‌وگو، Visionauta می‌تواند:

• محیط‌ها و صحنه‌ها را توصیف کند — چه چیزی در اتاق است، چه کسی نزدیک است، میز چه شکلی است، چه لباسی روی تخت است، چراغ روشن است یا نه.
• بگوید فرد کجاست و اطرافش چه چیزی وجود دارد — نشانی کنونی، خیابان‌ها، نقاط شاخص، داروخانه‌ها، نانوایی‌ها و نزدیک‌ترین ایستگاه اتوبوس، با استفاده از اطلاعات نقشه به‌صورت بی‌درنگ.
• در اینترنت اطلاعات جست‌وجو کند — اخبار، ساعت‌ها، قیمت‌ها، داده‌های به‌روز، بدون خروج از گفت‌وگو.
• نت‌های موسیقی را بخواند و بنوازد — کافی است دوربین را به سمت نت چاپ‌شده بگیرید. Visionauta نت‌ها را شناسایی می‌کند، موسیقی را با صدای بلند می‌خواند و روی خود دستگاه پخش می‌کند و فایل‌های MusicXML و MIDI تولید می‌کند. قابلیتی بی‌سابقه برای نوازندگان نابینا که از دیرباز به دیگران یا به نسخه‌های کمیاب و گران بریل وابسته بوده‌اند.
• به افراد دارای معلولیت بینایی در عکس گرفتن کمک کند — دستیار عکاسی قاب‌بندی را راهنمایی می‌کند، وقتی خوب است اعلام می‌کند، شمارش معکوس می‌کند و دوربین را فعال می‌کند تا عکس‌های خانوادگی، مدارک یا شبکه‌های اجتماعی خوب از آب درآیند.
• ویدیو همراه با صدا ضبط کند — فرد با صدا درخواست می‌کند، دستیار قاب‌بندی را راهنمایی می‌کند و ضبط را شروع می‌کند؛ ضبط را می‌توان با کنترل‌های دسترس‌پذیر متوقف، از سر گرفته، پایان یا لغو کرد و ویدیوها در بخش فعالیت‌ها ذخیره می‌شوند، آماده تماشا و اشتراک‌گذاری.
• با صدا خودرو بخواهد — کافی است مقصد را بگویید و اپلیکیشن Uber، 99، Bolt یا Lyft را با سفر از پیش پرشده باز می‌کند و فقط تأیید باقی می‌ماند.
• به هر پرسشی درباره آنچه مقابل دوربین است پاسخ دهد — این محصول چیست، تاریخ انقضا چه زمانی است، رنگ این لباس چیست، روی این تابلو چه نوشته شده است.

Visionauta Magic: هوش مصنوعی‌ای که تصاویر را توصیف و کارها را در گوشی اجرا می‌کند

Visionauta Magic، ویژه اندروید و در دسترس مشترکان Visionauta Plus، در کنار صفحه‌خوان دستگاه، مانند TalkBack، کار می‌کند و دو مشکل قدیمی جامعه را حل می‌کند:

نخست، تصاویر بدون برچسبی را که در هر اپلیکیشنی ظاهر می‌شوند توصیف می‌کند. وقتی تمرکز صفحه‌خوان روی تصویر، نماد یا کارتی بدون توضیح می‌ایستد، Visionauta فقط همان عنصر را تحلیل می‌کند و آنچه را در آن هست با صدای بلند اعلام می‌کند.

دوم، کارها را در گوشی اجرا می‌کند. فرد چیزی مانند «WhatsApp را باز کن و برای آنا پیام بفرست» می‌گوید و Visionauta طرحی می‌چیند، آن را با صدای بلند می‌خواند و فقط پس از تأیید کاربر عمل می‌کند — هر گام را روایت می‌کند و در هر لحظه با دکمه اضطراری یا با دو ضربه با دو انگشت قابل توقف است. بدون تأیید هیچ اتفاقی نمی‌افتد.

ویژگی‌های روزمره

افزون بر گفت‌وگو، Visionauta مجموعه ابزارهایی را که آن را در جامعه افراد دارای معلولیت بینایی محبوب کرد حفظ کرده است و بخش بزرگی از آن‌ها بدون اینترنت کار می‌کنند:

• خواندن متن بدون اینترنت — دوربین را به سمت اسناد، بسته‌بندی‌ها، نامه‌ها یا تابلوها بگیرید و محتوا را با صدای بلند بشنوید.
• تشخیص اسکناس — ریال برزیل، دلار، یورو، پزوی مکزیک، ین، دلار کانادا و استرالیا، بدون اتصال.
• یابنده اشیا — بگویید «کمکم کن گوشی‌ام را پیدا کنم» و اپلیکیشن محیط را جست‌وجو می‌کند و هنگام یافتن با لرزش و صدا خبر می‌دهد.
• ذره‌بین الکترونیکی برای کم‌بینایی — با بزرگ‌نمایی و حالت‌های کنتراست بالا، رنگ‌های وارونه، سفید روی سیاه، سیاه روی سفید و زرد روی آبی.
• چراغ‌قوه با یادآوری لرزشی.
• صداهای طبیعی اختصاصی — که می‌توان در کل سیستم، به‌عنوان صدای TalkBack در اندروید و VoiceOver در آیفون، به کار برد و پس از دانلود بدون اینترنت کار می‌کنند.

نسخه آیفون کاملاً با VoiceOver و قابلیت‌های دسترس‌پذیری iOS یکپارچه است.

اظهارات

«گفت‌وگوی بی‌درنگ ماهیت Visionauta را تغییر داد. دیگر اپلیکیشنی نیست که در آن عکسی بگیرید و منتظر پاسخ بمانید: گفت‌وگویی پیوسته است با کسی که به جای شما می‌بیند و همیشه آنجاست، چه برای توصیف خیابان، چه برای پیدا کردن نزدیک‌ترین داروخانه، ضبط یک ویدیو یا خواندن نتی که قرار است بنوازید.»
— Jonathan Santos

«رساندن اپلیکیشن به ۲۳ زبان جدید، از چکی تا تایلندی، از عبری تا سواحیلی، تصمیمی از سر عدالت بود، نه بازار. فناوری کمکی همیشه ابتدا به انگلیسی می‌رسید و کسانی که انگلیسی نمی‌دانستند سال‌ها منتظر می‌ماندند. اکنون افراد بسیار بیشتری می‌توانند با Visionauta به زبان خودشان گفت‌وگو کنند.»
— Jonathan Santos

«از استادان Ismar Frango و Nizam Omar از Universidade Presbiteriana Mackenzie سپاسگزارم که مرا تشویق کردند پروژه‌ای دانشگاهی را به ابزاری واقعی برای جامعه تبدیل کنم.»
— Jonathan Santos

Sokean ohjelmistoinsinöörin, joka on työskennellyt Googlella ja Samsungilla, kehittämässä ilmaisessa sovelluksessa on avustaja, joka näkee: se keskustelee puheella keskeytyksettä, kuvailee ympäristöä, kertoo käyttäjälle, missä hän on, hakee tietoa internetistä, lukee ja soittaa nuotteja, tallentaa videoita äänen kera ja auttaa sokeita ottamaan hyvin rajattuja valokuvia. Saatavilla iPhonelle ja Androidille.

Visionauta, tekoälyä hyödyntävä saavutettavuussovellus, joka lisää sokeiden ja heikkonäköisten itsenäisyyttä, julkistaa uuden versionsa — ja puhuu nyt 39 kieltä: portugali, englanti, espanja, ranska, korea, saksa, japani, italia, arabia, venäjä, yksinkertaistettu kiina, hindi, bengali, vietnam, turkki ja indonesia sekä 23 uutta kieltä: tšekki, kreikka, viro, persia, suomi, heprea, unkari, islanti, liettua, marathi, hollanti, puola, romania, slovakki, sloveeni, ruotsi, swahili, tamili, telugu, thai, ukraina, urdu ja kantoninkiina. Käännös kattaa koko sovelluksen, puhekomennot, tekstin lukemisen sekä myös tekoälyn vastaukset, sillä tekoäly puhuu käyttäjille heidän omalla kielellään. 23 uuden kielen myötä sovellus tavoittaa puhujia Euroopassa, Lähi-idässä, Afrikassa ja Aasiassa.

Kaikkia sovelluksen toimintoja voi käyttää maksutta päiväkohtaisten kiintiöiden puitteissa. Valinnainen Visionauta Plus -tilaus nostaa näitä kiintiöitä. Sovellus on saatavilla iPhonelle App Storesta ja Androidille Google Playsta.

REAALIAIKAINEN KESKUSTELU: AVUSTAJA, JOKA NÄKEE JA PUHUU MUKANA

Visionautan keskeinen ominaisuus on reaaliaikainen keskustelu. Siinä ihminen puhuu luonnollisesti, ilman painikkeiden painamista ja vuoroa odottamatta, tekoälylle, joka näkee puhelimen kameran kautta ja vastaa ääneen heti — kuin vierellä olisi näkevä ystävä, joka kuvailee maailmaa. Uusimmassa versiossa keskustelun ääni on selkeämpi, siinä on vähemmän häiriöääniä ja parempi ääntäminen.

Tämän keskustelun aikana Visionauta voi:

• Kuvailla ympäristöjä ja tilanteita — mitä huoneessa on, ketä on lähellä, miltä pöytä näyttää, mitä vaatteita sängyllä on, onko valo päällä.
• Kertoa, missä ihminen on ja mitä hänen ympärillään on — nykyinen osoite, kadut, maamerkit, apteekit, leipomot ja lähin bussipysäkki reaaliaikaisen karttatiedon avulla.
• Hakea tietoa internetistä — uutisia, aukioloaikoja, hintoja, ajantasaista tietoa poistumatta keskustelusta.
• Lukea ja soittaa nuotteja — riittää, että osoittaa kameralla painettua nuottia. Visionauta tunnistaa nuotit, lukee kappaleen ääneen ja soittaa sen laitteella itsellään tuottaen MusicXML- ja MIDI-tiedostot. Ensimmäinen laatuaan oleva ominaisuus sokeille muusikoille, jotka ovat perinteisesti olleet riippuvaisia muista ihmisistä tai harvinaisista ja kalliista pistekirjoitusjulkaisuista.
• Auttaa näkövammaisia ottamaan valokuvia — valokuva-avustaja ohjaa rajausta, kertoo, kun kuva on hyvä, laskee alaspäin ja laukaisee kameran, jotta perhekuvat, asiakirjat tai sosiaalisen median kuvat onnistuvat.
• Tallentaa videoita äänen kera — ihminen pyytää puhumalla, avustaja ohjaa rajausta ja tallentaa; tallennuksen voi keskeyttää, jatkaa, lopettaa tai peruuttaa saavutettavilla ohjaimilla, ja videot tallentuvat Toiminnot-näkymään valmiina katsottaviksi ja jaettaviksi.
• Tilata kyydin puheella — riittää, että sanoo määränpään, ja sovellus avaa Uberin, 99:n, Boltin tai Lyftin matka valmiiksi täytettynä, jolloin jäljelle jää vain vahvistus.
• Vastata mihin tahansa kameran edessä olevaa koskevaan kysymykseen — mikä tuote tämä on, mikä on viimeinen käyttöpäivä, minkä värinen tämä vaate on, mitä tässä kyltissä lukee.

VISIONAUTA MAGIC: TEKOÄLY, JOKA KUVAILEE KUVIA JA SUORITTAA TEHTÄVIÄ PUHELIMESSA

Vain Androidille ja Visionauta Plus -tilaajien käytettävissä oleva Visionauta Magic toimii yhdessä laitteen näytönlukijan, kuten TalkBackin, kanssa ja ratkaisee kaksi yhteisön pitkäaikaista ongelmaa:

Ensinnäkin se kuvailee kuvat, joista puuttuu kuvaus ja jotka näkyvät missä tahansa sovelluksessa. Kun näytönlukijan kohdistus osuu kuvaan, kuvakkeeseen tai kortiin, jolla ei ole kuvausta, Visionauta analysoi vain sen elementin ja kertoo ääneen, mitä siinä on.

Toiseksi se suorittaa tehtäviä puhelimessa. Ihminen pyytää esimerkiksi "avaa WhatsApp ja lähetä viesti Analle", ja Visionauta laatii suunnitelman, lukee sen ääneen ja toimii vasta, kun käyttäjä on hyväksynyt sen — kertoen jokaisen vaiheen ja keskeytettävissä milloin tahansa hätäpainikkeella tai kahden sormen kaksoisnapautuksella. Mitään ei tapahdu ilman vahvistusta.

ARKIPÄIVÄN TOIMINNOT

Keskustelun lisäksi Visionauta säilyttää työkalut, jotka tekivät siitä suositun sokeiden ja heikkonäköisten yhteisössä ja joista useimmat toimivat ilman internet-yhteyttä:

• Tekstin lukeminen ilman verkkoyhteyttä — osoita kameralla asiakirjoja, pakkauksia, kirjeitä tai kylttejä ja kuuntele sisältö ääneen luettuna.
• Seteleiden tunnistus — Real, dollari, euro, Meksikon peso, jeni sekä Kanadan ja Australian dollari, ilman yhteyttä.
• Esineiden etsijä — sano "auta minua löytämään puhelimeni", ja sovellus skannaa ympäristön ja ilmoittaa värinällä ja äänellä, kun se löytää sen.
• Sähköinen suurennuslasi heikkonäköisille — zoomilla ja suurikontrastisilla tiloilla, käänteisillä väreillä, valkoisella mustalla, mustalla valkoisella ja keltaisella sinisellä.
• Taskulamppu värinämuistutuksella.
• Sisäänrakennetut luonnolliset äänet — joita voi käyttää koko järjestelmässä TalkBack-äänenä Androidilla ja VoiceOver-äänenä iPhonella ja jotka toimivat ilman verkkoyhteyttä latauksen jälkeen.

iPhone-versio on täysin integroitu VoiceOveriin ja iOS:n saavutettavuustoimintoihin.

LAINAUKSET

"Reaaliaikainen keskustelu muutti sen, mitä Visionauta on. Se ei ole enää sovellus, jolla otetaan kuva ja odotetaan vastausta: se on jatkuva keskustelu jonkun kanssa, joka näkee puolestasi ja on aina läsnä, olipa kyse kadun kuvailusta, lähimmän apteekin löytämisestä, videon tallentamisesta tai juuri soittamasi nuotin lukemisesta."
— Jonathan Santos

"Sovelluksen tuominen 23 uudelle kielelle, tšekistä thaihin, hepreasta swahiliin, oli oikeudenmukaisuuskysymys, ei markkinapäätös. Avustava teknologia on aina tullut ensin englanniksi, ja ne, jotka eivät puhu englantia, ovat odottaneet vuosia. Paljon useampi ihminen voi nyt puhua Visionautalle omalla kielellään."
— Jonathan Santos

"Olen kiitollinen professoreille Ismar Frangolle ja Nizam Omarille Universidade Presbiteriana Mackenzieltä, jotka rohkaisivat minua muuttamaan akateemisen hankkeen todelliseksi työkaluksi yhteisölle."
— Jonathan Santos

האפליקציה החינמית שנוצרה בידי מהנדס תוכנה עיוור שעבד בגוגל ובסמסונג כוללת עוזר שרואה: הוא משוחח בקול ללא הפרעות, מתאר סביבות, אומר למשתמש היכן הוא נמצא, מחפש באינטרנט, קורא ומנגן תווים, מקליט סרטונים עם צליל ועוזר לעיוורים לצלם תמונות ממוסגרות היטב. זמינה לאייפון ולאנדרואיד.

Visionauta, אפליקציית נגישות המשתמשת בבינה מלאכותית כדי להעניק יותר עצמאות לאנשים עיוורים ולבעלי ראייה לקויה, מכריזה על גרסתה החדשה — וכעת היא דוברת 39 שפות: פורטוגזית, אנגלית, ספרדית, צרפתית, קוריאנית, גרמנית, יפנית, איטלקית, ערבית, רוסית, סינית מפושטת, הינדי, בנגלית, וייטנאמית, טורקית ואינדונזית, ובנוסף 23 שפות חדשות: צ'כית, יוונית, אסטונית, פרסית, פינית, עברית, הונגרית, איסלנדית, ליטאית, מראטהי, הולנדית, פולנית, רומנית, סלובקית, סלובנית, שוודית, סוואהילית, טמילית, טלוגו, תאילנדית, אוקראינית, אורדו וקנטונזית. התרגום חל על כל האפליקציה, על הפקודות הקוליות, על קריאת הטקסטים וגם על תשובותיה של הבינה המלאכותית, המשוחחת עם המשתמשים בשפתם. עם 23 השפות החדשות, האפליקציה מגיעה כעת לדוברים באירופה, במזרח התיכון, באפריקה ובאסיה.

אפשר להשתמש בכל יכולות האפליקציה ללא תשלום, במסגרת מכסות יומיות. מנוי Visionauta Plus האופציונלי מרחיב את המכסות הללו. האפליקציה זמינה לאייפון ב-App Store ולאנדרואיד ב-Google Play.

שיחה בזמן אמת: עוזר שרואה ומדבר יחד איתך

היכולת המרכזית של Visionauta היא שיחה בזמן אמת. בה האדם מדבר באופן טבעי, בלי ללחוץ על כפתורים ובלי לחכות לתורו, עם בינה מלאכותית שרואה דרך מצלמת הטלפון ומשיבה בקול מיד — כמו חבר רואה שיושב לצידך ומתאר את העולם. בגרסה האחרונה קול השיחה צלול יותר, עם פחות רעשים ודיקציה טובה יותר.

במהלך השיחה הזו, Visionauta יכולה:

• לתאר סביבות וסצנות — מה יש בחדר, מי נמצא בסביבה, איך השולחן ערוך, אילו בגדים מונחים על המיטה, אם האור דולק.
• לומר היכן האדם נמצא ומה יש סביבו — הכתובת הנוכחית, רחובות, נקודות ציון, בתי מרקחת, מאפיות והתחנה הקרובה ביותר לאוטובוס, בעזרת נתוני מפה בזמן אמת.
• לחפש באינטרנט — חדשות, שעות פתיחה, מחירים, מידע עדכני, בלי לצאת מהשיחה.
• לקרוא ולנגן תווים — מספיק לכוון את המצלמה אל תווים מודפסים. Visionauta מזהה את הצלילים, קוראת את היצירה בקול ומנגנת אותה במכשיר עצמו, תוך יצירת קובצי MusicXML ו-MIDI. יכולת ראשונה מסוגה למוזיקאים עיוורים, שתלויים מאז ומתמיד באחרים או במהדורות ברייל נדירות ויקרות.
• לעזור לאנשים עם לקות ראייה לצלם תמונות — עוזר הצילום מכוון את המסגור, אומר מתי התמונה טובה, סופר לאחור ומשחרר את הצמצם, כך שתמונות משפחתיות, מסמכים או תמונות לרשתות החברתיות יצאו כמו שצריך.
• להקליט סרטונים עם צליל — האדם מבקש בקול, העוזר מכוון את המסגור ומקליט; אפשר להשהות את ההקלטה, להמשיך אותה, לסיים או לבטל באמצעות פקדים נגישים, והסרטונים נשמרים ב"פעילויות", מוכנים לצפייה ולשיתוף.
• להזמין נסיעה בקול — מספיק לומר את היעד, והאפליקציה פותחת את Uber, 99, Bolt או Lyft כשהנסיעה כבר מולאה, ונותר רק לאשר.
• לענות על כל שאלה על מה שנמצא מול המצלמה — איזה מוצר זה, מה תאריך התפוגה, באיזה צבע הבגד הזה, מה כתוב בשלט הזה.

VISIONAUTA MAGIC: הבינה המלאכותית שמתארת תמונות ומבצעת משימות בטלפון

Visionauta Magic, בלעדית לאנדרואיד וזמינה למנויי Visionauta Plus, פועלת יחד עם קורא המסך של המכשיר, כמו TalkBack, ופותרת שתי בעיות ותיקות בקהילה:

ראשית, היא מתארת תמונות ללא תיוג המופיעות בכל אפליקציה. כשהפוקוס של קורא המסך נוחת על תמונה, אייקון או כרטיס ללא תיאור, Visionauta מנתחת רק את האלמנט הזה ומכריזה בקול מה יש בו.

שנית, היא מבצעת משימות בטלפון. האדם מבקש משהו כמו "פתח את WhatsApp ושלח הודעה לאנה", ו-Visionauta בונה תוכנית, מקריאה אותה בקול ופועלת רק לאחר שהמשתמש מאשר אותה — מספרת כל שלב, וניתן לעצור אותה בכל רגע באמצעות כפתור חירום או הקשה כפולה בשתי אצבעות. שום דבר לא קורה בלי אישור.

היכולות היומיומיות

מעבר לשיחה, Visionauta שומרת על מערך הכלים שהפך אותה לפופולרית בקהילת העיוורים ולקויי הראייה, שרובם פועלים ללא חיבור לאינטרנט:

• קריאת טקסט לא מקוונת — מכוונים את המצלמה אל מסמכים, אריזות, מכתבים או שלטים ושומעים את התוכן מוקרא בקול.
• זיהוי שטרות — ריאל, דולר, אירו, פזו מקסיקני, ין, דולר קנדי ודולר אוסטרלי, ללא צורך בחיבור.
• מאתר חפצים — אומרים "עזור לי למצוא את הטלפון שלי" והאפליקציה סורקת את הסביבה ומתריעה ברטט ובקול כשהיא מוצאת אותו.
• זכוכית מגדלת אלקטרונית לראייה לקויה — עם זום ומצבי ניגודיות גבוהה, צבעים הפוכים, לבן על שחור, שחור על לבן וצהוב על כחול.
• פנס עם תזכורת ברטט.
• קולות טבעיים מובנים — שאפשר להשתמש בהם בכל המערכת, כקול של TalkBack באנדרואיד וכקול של VoiceOver באייפון, ופועלים ללא חיבור לאחר ההורדה.

גרסת האייפון משולבת במלואה עם VoiceOver ועם יכולות הנגישות של iOS.

ציטוטים

"שיחה בזמן אמת שינתה את מה ש-Visionauta היא. היא כבר לא אפליקציה שמצלמים בה תמונה וממתינים לתשובה: זו שיחה מתמשכת עם מי שרואה בשבילך ונמצא תמיד שם, בין אם כדי לתאר את הרחוב, למצוא את בית המרקחת הקרוב, להקליט סרטון או לקרוא את התווים שאתה עומד לנגן."
— Jonathan Santos

"הבאת האפליקציה ל-23 שפות חדשות, מצ'כית ועד תאילנדית, מעברית ועד סוואהילית, הייתה עניין של צדק, לא החלטה שיווקית. טכנולוגיה מסייעת תמיד הגיעה קודם באנגלית, ומי שלא דובר אנגלית חיכה שנים. הרבה יותר אנשים יכולים כעת לשוחח עם Visionauta בשפתם."
— Jonathan Santos

"אני אסיר תודה לפרופסורים Ismar Frango ו-Nizam Omar מאוניברסיטת Mackenzie הפרסביטריאנית, שעודדו אותי להפוך פרויקט אקדמי לכלי אמיתי עבור הקהילה."
— Jonathan Santos

A Google-nél és a Samsungnál dolgozott vak szoftvermérnök által készített ingyenes alkalmazásban egy látó asszisztens van: megszakítások nélkül beszélget hangon, leírja a környezetet, megmondja a felhasználónak, hol van, keres az interneten, olvassa és játssza a kottákat, hanggal rögzít videókat, és segít a vakoknak jól komponált fényképeket készíteni. iPhone-ra és Androidra érhető el.

A Visionauta, a mesterséges intelligenciát használó akadálymentesítési alkalmazás, amely nagyobb önállóságot ad a vak és gyengénlátó embereknek, bejelenti új verzióját — és mostantól 39 nyelven beszél: portugál, angol, spanyol, francia, koreai, német, japán, olasz, arab, orosz, egyszerűsített kínai, hindi, bengáli, vietnami, török és indonéz, valamint 23 új nyelven: cseh, görög, észt, perzsa, finn, héber, magyar, izlandi, litván, maráthi, holland, lengyel, román, szlovák, szlovén, svéd, szuahéli, tamil, telugu, thai, ukrán, urdu és kantoni. A fordítás kiterjed az egész alkalmazásra, a hangparancsokra, a szövegfelolvasásra, valamint a mesterséges intelligencia válaszaira is, amely a felhasználókkal az ő nyelvükön beszélget. A 23 új nyelvvel az alkalmazás mostantól Európában, a Közel-Keleten, Afrikában és Ázsiában élő beszélőket is elér.

Az alkalmazás minden funkciója ingyen használható, napi keretek mellett. A választható Visionauta Plus előfizetés megemeli ezeket a kereteket. Az alkalmazás iPhone-ra az App Store-ból, Androidra a Google Play-ről érhető el.

VALÓS IDEJŰ BESZÉLGETÉS: EGY ASSZISZTENS, AMELY LÁT ÉS VELED BESZÉL

A Visionauta fő funkciója a Valós idejű beszélgetés. Ebben a felhasználó természetesen beszél, gombok megnyomása nélkül és a sorára várakozás nélkül, egy olyan mesterséges intelligenciával, amely a telefon kameráján keresztül lát, és azonnal hangosan válaszol — mintha egy látó barát ülne mellette, és leírná a világot. A legújabb verzióban a beszélgetés hangja tisztább, kevesebb zajjal és jobb kiejtéssel.

A beszélgetés során a Visionauta képes:

• Környezetek és jelenetek leírására — mi van a szobában, ki van a közelben, hogyan van megterítve az asztal, milyen ruhák vannak az ágyon, ég-e a villany.
• Megmondani, hol van a felhasználó és mi van körülötte — aktuális cím, utcák, tereptárgyak, gyógyszertárak, pékségek és a legközelebbi buszmegálló, valós idejű térképadatok alapján.
• Keresni az interneten — hírek, nyitvatartás, árak, naprakész információk, a beszélgetés elhagyása nélkül.
• Kottákat olvasni és lejátszani — elég a kamerát egy nyomtatott kottára irányítani. A Visionauta felismeri a hangokat, hangosan felolvassa a művet, és magán az eszközön lejátssza, MusicXML- és MIDI-fájlokat létrehozva. Úttörő funkció a vak zenészek számára, akik történelmileg másoktól vagy ritka és drága braille-kiadásoktól függtek.
• Segíteni a látássérült embereknek fényképet készíteni — a fotóasszisztens irányítja a képkivágást, jelzi, ha jó, visszaszámol, és elsüti a zárat, hogy a családi képek, dokumentumok vagy közösségi médiás fotók jól sikerüljenek.
• Hanggal videót rögzíteni — a felhasználó hangon kéri, az asszisztens irányítja a képkivágást és rögzít; a felvétel szüneteltethető, folytatható, befejezhető vagy megszakítható akadálymentes vezérlőkkel, a videók pedig a Tevékenységek között mentődnek, megtekintésre és megosztásra készen.
• Hangon fuvart hívni — elég kimondani az úticélt, és az alkalmazás megnyitja az Ubert, a 99-et, a Boltot vagy a Lyftet a már kitöltött úttal, csak a megerősítés marad hátra.
• Bármilyen kérdésre válaszolni arról, ami a kamera előtt van — milyen termék ez, mi a lejárati dátum, milyen színű ez a ruhadarab, mi áll ezen a táblán.

VISIONAUTA MAGIC: A MESTERSÉGES INTELLIGENCIA, AMELY KÉPEKET ÍR LE ÉS FELADATOKAT HAJT VÉGRE A TELEFONON

Kizárólag Androidra, és a Visionauta Plus előfizetők számára elérhető Visionauta Magic az eszköz képernyőolvasójával, például a TalkBackkel együtt működik, és két régóta fennálló problémát old meg a közösségben:

Először is leírja a címke nélküli képeket, amelyek bármely alkalmazásban megjelennek. Amikor a képernyőolvasó fókusza egy leírás nélküli képre, ikonra vagy kártyára kerül, a Visionauta csak azt az elemet elemzi, és hangosan bemondja, mi van rajta.

Másodszor feladatokat hajt végre a telefonon. A felhasználó azt kéri például, hogy "nyisd meg a WhatsAppot, és küldj üzenetet Anának", a Visionauta pedig tervet készít, hangosan felolvassa, és csak a felhasználó jóváhagyása után cselekszik — minden lépést elmesél, és bármikor megszakítható vészgombbal vagy kétujjas dupla koppintással. Megerősítés nélkül semmi sem történik.

A MINDENNAPI FUNKCIÓK

A beszélgetésen túl a Visionauta megőrzi azokat az eszközöket, amelyek népszerűvé tették a vak és gyengénlátó közösségben, és amelyek többsége internetkapcsolat nélkül működik:

• Szövegfelolvasás offline — irányítsa a kamerát dokumentumokra, csomagolásokra, levelekre vagy táblákra, és hallgassa meg a tartalmat hangosan felolvasva.
• Bankjegyfelismerés — real, dollár, euró, mexikói peso, jen, kanadai és ausztrál dollár, kapcsolat nélkül.
• Tárgykereső — mondja azt, hogy "segíts megtalálni a telefonomat", és az alkalmazás átvizsgálja a környezetet, rezgéssel és hanggal jelezve, amikor megtalálta.
• Elektronikus nagyító gyengénlátóknak — zoommal és nagy kontrasztú módokkal, invertált színekkel, fehér feketén, fekete fehéren és sárga kéken.
• Zseblámpa rezgéses emlékeztetővel.
• Beépített természetes hangok — amelyek az egész rendszerben használhatók, TalkBack-hangként Androidon és VoiceOver-hangként iPhone-on, letöltés után offline működnek.

Az iPhone-verzió teljesen integrálódik a VoiceOver-rel és az iOS akadálymentesítési funkcióival.

IDÉZETEK

"A Valós idejű beszélgetés megváltoztatta, hogy mi a Visionauta. Már nem egy olyan alkalmazás, amelyben fényképet készítesz és választ vársz: ez egy folyamatos beszélgetés valakivel, aki helyetted lát, és mindig ott van, akár az utcát kell leírnia, a legközelebbi gyógyszertárat megtalálnia, videót rögzítenie, vagy azt a kottát felolvasnia, amelyet mindjárt eljátszol."
— Jonathan Santos

"Az alkalmazás elhozása 23 új nyelvre, a csehtől a thaiig, a hébertől a szuahéliig, igazságosság kérdése volt, nem piaci döntés. A segítő technológia mindig angolul érkezett meg először, és akik nem beszélnek angolul, éveket vártak. Sokkal több ember beszélgethet most a Visionautával a saját nyelvén."
— Jonathan Santos

"Hálás vagyok Ismar Frango és Nizam Omar professzoroknak, a Universidade Presbiteriana Mackenzie oktatóinak, akik arra bátorítottak, hogy egy akadémiai projektet valódi eszközzé alakítsak a közösség számára."
— Jonathan Santos

Ókeypis appið, sem blindur hugbúnaðarverkfræðingur sem starfaði hjá Google og Samsung bjó til, er með aðstoðarmann sem sér: hann talar við notandann án truflana, lýsir umhverfi, segir notandanum hvar hann er staddur, leitar á netinu, les og spilar nótur, tekur upp myndskeið með hljóði og hjálpar blindu fólki að taka vel römmuð ljósmyndir. Fáanlegt fyrir iPhone og Android.

Visionauta, aðgengisappið sem notar gervigreind til að veita blindu og sjónskertu fólki aukið sjálfstæði, kynnir nýja útgáfu sína — og talar nú 39 tungumál: portúgölsku, ensku, spænsku, frönsku, kóresku, þýsku, japönsku, ítölsku, arabísku, rússnesku, einfaldaða kínversku, hindí, bengölsku, víetnömsku, tyrknesku og indónesísku, auk 23 nýrra tungumála: tékknesku, grísku, eistnesku, persnesku, finnsku, hebresku, ungversku, íslensku, litháísku, maratí, hollensku, pólsku, rúmensku, slóvakísku, slóvensku, sænsku, svahílí, tamílsku, telúgú, taílensku, úkraínsku, úrdú og kantónsku. Þýðingin nær til alls appsins, raddskipana, textalesturs og einnig svara gervigreindarinnar, sem talar við notendur á þeirra eigin tungumáli. Með tungumálunum 23 nær appið nú til málhafa í Evrópu, Mið-Austurlöndum, Afríku og Asíu.

Allir eiginleikar appsins eru ókeypis í notkun innan daglegra kvóta. Valfrjáls Visionauta Plus áskrift hækkar þessa kvóta. Appið er fáanlegt fyrir iPhone í App Store og fyrir Android á Google Play.

SAMTAL Í RAUNTÍMA: AÐSTOÐARMAÐUR SEM SÉR OG TALAR MEÐ ÞÉR

Aðaleiginleiki Visionauta er samtal í rauntíma. Þar talar notandinn eðlilega, án þess að ýta á hnappa og án þess að bíða eftir að röðin komi að honum, við gervigreind sem sér í gegnum myndavél símans og svarar upphátt strax — eins og að hafa sjáandi vin sér við hlið sem lýsir heiminum. Í nýjustu útgáfunni er röddin í samtalinu skýrari, með færri truflunum og betri framburði.

Í þessu samtali getur Visionauta:

• Lýst umhverfi og aðstæðum — hvað er í herberginu, hver er nálægt, hvernig borðið er dekkað, hvaða föt liggja á rúminu, hvort kveikt sé á ljósinu.
• Sagt hvar notandinn er og hvað er í kringum hann — núverandi heimilisfang, götur, kennileiti, apótek, bakarí og næstu strætóstoppistöð, með kortagögnum í rauntíma.
• Leitað á netinu — fréttir, opnunartímar, verð og nýjustu upplýsingar, án þess að fara úr samtalinu.
• Lesið og spilað nótur — nóg er að beina myndavélinni að prentuðum nótum. Visionauta greinir nóturnar, les verkið upphátt og spilar það í tækinu sjálfu og býr til MusicXML- og MIDI-skrár. Eiginleiki sem á sér engan líka fyrir blinda tónlistarmenn, sem hafa löngum verið háðir öðru fólki eða sjaldgæfum og dýrum blindraletursútgáfum.
• Hjálpað sjónskertu fólki að taka ljósmyndir — myndaaðstoðarmaðurinn leiðbeinir um römmun, segir til þegar myndin er góð, telur niður og tekur myndina, svo að fjölskyldumyndir, skjöl eða myndir fyrir samfélagsmiðla heppnist vel.
• Tekið upp myndskeið með hljóði — notandinn biður um það með röddinni, aðstoðarmaðurinn leiðbeinir um römmun og tekur upp; hægt er að gera hlé á upptökunni, halda áfram, ljúka henni eða hætta við með aðgengilegum stjórntækjum, og myndskeiðin vistast í Virkni, tilbúin til áhorfs og deilingar.
• Pantað far með röddinni — nóg er að nefna áfangastaðinn og appið opnar Uber, 99, Bolt eða Lyft með ferðina þegar útfyllta, svo aðeins á eftir að staðfesta.
• Svarað hvaða spurningu sem er um það sem er fyrir framan myndavélina — hvaða vara þetta er, hver fyrningardagsetningin er, hvernig á litinn þessi flík er, hvað stendur á þessu skilti.

VISIONAUTA MAGIC: GERVIGREINDIN SEM LÝSIR MYNDUM OG FRAMKVÆMIR VERKEFNI Í SÍMANUM

Visionauta Magic er eingöngu fyrir Android og í boði fyrir áskrifendur Visionauta Plus. Hún vinnur með skjálesara tækisins, svo sem TalkBack, og leysir tvö langvarandi vandamál í samfélaginu:

Í fyrsta lagi lýsir hún myndum án merkinga sem birtast í hvaða appi sem er. Þegar fókus skjálesarans lendir á mynd, tákni eða korti án lýsingar greinir Visionauta aðeins þann þátt og tilkynnir upphátt hvað er á honum.

Í öðru lagi framkvæmir hún verkefni í símanum. Notandinn biður um eitthvað eins og „opnaðu WhatsApp og sendu skilaboð til Önu“, og Visionauta býr til áætlun, les hana upphátt og bregst aðeins við eftir að notandinn hefur samþykkt hana — lýsir hverju skrefi og hægt er að trufla hana hvenær sem er með neyðarhnappi eða tvöföldum snertingum með tveimur fingrum. Ekkert gerist án staðfestingar.

EIGINLEIKAR FYRIR DAGLEGA NOTKUN

Auk samtalsins heldur Visionauta þeim verkfærum sem gerðu appið vinsælt meðal blindra og sjónskertra, og flest þeirra virka án nettengingar:

• Textalestur án nettengingar — beindu myndavélinni að skjölum, umbúðum, bréfum eða skiltum og heyrðu innihaldið lesið upphátt.
• Peningaseðlagreining — reais, Bandaríkjadalur, evra, mexíkóskur pesi, jen, kanadískur og ástralskur dalur, án tengingar.
• Hlutaleit — segðu „hjálpaðu mér að finna símann minn“ og appið skannar umhverfið og lætur vita með titringi og rödd þegar það finnur hann.
• Rafræn stækkunargler fyrir sjónskerta — með aðdrætti og andstæðuháum stillingum, umsnúnum litum, hvítu á svörtu, svörtu á hvítu og gulu á bláu.
• Vasaljós með titringsáminningu.
• Innbyggðar náttúrulegar raddir — sem hægt er að nota í öllu kerfinu, sem TalkBack-rödd á Android og VoiceOver-rödd á iPhone, og virka án nettengingar eftir niðurhal.

iPhone-útgáfan er fullkomlega samþætt VoiceOver og aðgengiseiginleikum iOS.

TILVITNANIR

„Samtal í rauntíma breytti því hvað Visionauta er. Það er ekki lengur app þar sem maður tekur mynd og bíður eftir svari: það er samfellt samtal við einhvern sem sér fyrir þig og er alltaf til staðar, hvort sem það er til að lýsa götunni, finna næsta apótek, taka upp myndskeið eða lesa nóturnar sem þú ert um það bil að spila.“
— Jonathan Santos

„Að færa appið yfir á 23 ný tungumál, frá tékknesku til taílensku, frá hebresku til svahílí, var spurning um réttlæti, ekki markaðsákvörðun. Hjálpartækni hefur alltaf komið fyrst á ensku og þeir sem tala ekki ensku hafa beðið árum saman. Mun fleiri geta nú talað við Visionauta á eigin tungumáli.“
— Jonathan Santos

„Ég er þakklátur prófessorunum Ismar Frango og Nizam Omar við Universidade Presbiteriana Mackenzie, sem hvöttu mig til að breyta fræðilegu verkefni í raunverulegt verkfæri fyrir samfélagið.“
— Jonathan Santos

Nemokamoje programėlėje, kurią sukūrė aklas programinės įrangos inžinierius, dirbęs „Google“ ir „Samsung“, veikia asistentas, kuris mato: kalbasi balsu be pertraukų, aprašo aplinką, pasako, kur žmogus yra, ieško informacijos internete, skaito ir groja muzikos natas, įrašo vaizdo įrašus su garsu ir padeda akliesiems daryti gerai sukadruotas nuotraukas. Prieinama „iPhone“ ir „Android“ įrenginiams.

„Visionauta“, prieinamumo programėlė, kuri dirbtinį intelektą naudoja suteikti daugiau savarankiškumo akliesiems ir silpnaregiams, pristato naują versiją — ir dabar ji kalba 39 kalbomis: portugalų, anglų, ispanų, prancūzų, korėjiečių, vokiečių, japonų, italų, arabų, rusų, supaprastintąja kinų, hindi, bengalų, vietnamiečių, turkų ir indoneziečių, plius 23 naujomis kalbomis: čekų, graikų, estų, persų, suomių, hebrajų, vengrų, islandų, lietuvių, maratų, olandų, lenkų, rumunų, slovakų, slovėnų, švedų, svahilių, tamilų, telugų, tajų, ukrainiečių, urdų ir kantoniečių. Vertimas apima visą programėlę, balso komandas, tekstų skaitymą ir dirbtinio intelekto atsakymus, kuris su naudotoju kalbasi jo kalba. Su 23 naujomis kalbomis programėlė pasiekia kalbančiuosius Europoje, Artimuosiuose Rytuose, Afrikoje ir Azijoje.

Programėlė nemokama ir prieinama „iPhone“ įrenginiams „App Store“ parduotuvėje bei „Android“ įrenginiams „Google Play“ parduotuvėje.

REALAUS LAIKO POKALBIS: ASISTENTAS, KURIS MATO IR KALBA KARTU

Pagrindinė „Visionauta“ funkcija yra Realaus laiko pokalbis. Joje žmogus kalba natūraliai, nespausdamas mygtukų ir nelaukdamas savo eilės, su dirbtiniu intelektu, kuris mato per telefono kamerą ir atsako balsu iškart — tarsi šalia būtų draugas, kuris mato ir aprašo pasaulį. Naujausioje versijoje pokalbio balsas tapo aiškesnis, su mažiau triukšmo ir geresne dikcija.

Per šį pokalbį „Visionauta“ gali:

• Aprašyti aplinką ir scenas — kas yra kambaryje, kas stovi netoliese, kaip atrodo stalas, kokie drabužiai guli ant lovos, ar dega šviesa.
• Pasakyti, kur žmogus yra ir kas aplink — dabartinį adresą, gatves, orientyrus, vaistines, kepyklas ir artimiausią autobusų stotelę, naudojant realaus laiko žemėlapio informaciją.
• Ieškoti informacijos internete — naujienų, tvarkaraščių, kainų, naujausių duomenų, neišeinant iš pokalbio.
• Skaityti ir groti muzikos natas — pakanka nukreipti kamerą į spausdintas natas. „Visionauta“ atpažįsta natas, perskaito muziką balsu ir atkuria ją pačiame įrenginyje, sukurdama MusicXML ir MIDI failus. Tokia galimybė akliesiems muzikantams nauja — jie istoriškai priklausė nuo kitų žmonių arba nuo retų ir brangių leidimų Brailio raštu.
• Padėti žmogui su regos negalia fotografuoti — fotografavimo asistentas nurodo kadravimą, praneša, kai kadras geras, skaičiuoja atgalinį laiką ir spaudžia užraktą, kad šeimos, dokumentų ar socialinių tinklų nuotraukos pavyktų gerai.
• Įrašyti vaizdo įrašus su garsu — žmogus paprašo balsu, asistentas nurodo kadravimą ir įrašo; įrašą galima pristabdyti, tęsti, užbaigti ar atšaukti prieinamais valdikliais, o vaizdo įrašai išsaugomi skiltyje „Veikla“, paruošti žiūrėti ir dalytis.
• Iškviesti automobilį balsu — pakanka pasakyti kelionės tikslą, ir programėlė atidaro „Uber“, „99“, „Bolt“ ar „Lyft“ jau užpildžiusi kelionės duomenis, belieka patvirtinti.
• Atsakyti į bet kurį klausimą apie tai, kas yra prieš kamerą — koks tai produktas, koks galiojimo terminas, kokios spalvos šie drabužiai, kas parašyta ant šio ženklo.

„VISIONAUTA MAGIC“: DI, KURIS APRAŠO ATVAIZDUS IR ATLIEKA UŽDUOTIS TELEFONE

Tik „Android“ įrenginiams ir prieinamas „Visionauta Plus“ prenumeratoriams, „Visionauta Magic“ veikia kartu su įrenginio ekrano skaitytuvu, pavyzdžiui, „TalkBack“, ir išsprendžia dvi senas bendruomenės problemas:

Pirma, jis aprašo be etikečių likusius atvaizdus, kurių atsiranda bet kurioje programoje. Kai ekrano skaitytuvo fokusas sustoja ties paveikslėliu, piktograma ar kortele be aprašo, „Visionauta“ išanalizuoja tik tą elementą ir garsiai pasako, kas jame yra.

Antra, jis atlieka užduotis telefone. Žmogus paprašo kažko panašaus į „atidaryk „WhatsApp“ ir nusiųsk žinutę Anai“, o „Visionauta“ sudaro planą, perskaito jį garsiai ir imasi veiksmų tik naudotojui patvirtinus — pasakodamas kiekvieną žingsnį ir leisdamas bet kada sustabdyti avariniu mygtuku arba dukart bakstelėjus dviem pirštais. Nieko nevyksta be patvirtinimo.

KASDIENĖS FUNKCIJOS

Be pokalbio, „Visionauta“ išlaiko įrankių rinkinį, dėl kurio ji tapo populiari regos negalią turinčių žmonių bendruomenėje, ir didelė jų dalis veikia be interneto:

• Tekstų skaitymas neprisijungus — nukreipkite kamerą į dokumentus, pakuotes, laiškus ar ženklus ir išgirskite turinį balsu.
• Banknotų atpažinimas — realas, doleris, euras, Meksikos pesas, jena, Kanados ir Australijos doleriai, be ryšio.
• Daiktų ieškiklis — pasakykite „padėk man rasti telefoną“, ir programėlė apžvelgia aplinką, vibracija ir balsu pranešdama, kai randa.
• Elektroninis didintuvas silpnaregiams — su priartinimu ir didelio kontrasto režimais, apverstomis spalvomis, baltu ant juodo, juodu ant balto ir geltonu ant mėlyno.
• Žibintuvėlis su priminimu vibracija.
• Savi natūralūs balsai — kuriuos galima naudoti visoje sistemoje, kaip „TalkBack“ balsą „Android“ ir „VoiceOver“ balsą „iPhone“, veikiančius neprisijungus atsisiuntus.

„iPhone“ versija visiškai integruota su „VoiceOver“ ir „iOS“ prieinamumo funkcijomis.

PAREIŠKIMAI

„Realaus laiko pokalbis pakeitė tai, kuo yra „Visionauta“. Tai jau nebe programėlė, kurioje nufotografuoji ir lauki atsakymo: tai nuolatinis pokalbis su tuo, kuris mato už tave ir visada šalia — ar reikia aprašyti gatvę, rasti artimiausią vaistinę, įrašyti vaizdo įrašą ar perskaityti natas, kurias grosi.“
— Jonathan Santos

„Programėlės pritaikymas 23 naujoms kalboms, nuo čekų iki tajų, nuo hebrajų iki svahilių, buvo teisingumo, o ne rinkos sprendimas. Pagalbinės technologijos visada pasirodydavo pirmiausia angliškai, o tie, kurie angliškai nekalba, laukdavo metų. Dabar kur kas daugiau žmonių gali kalbėtis su „Visionauta“ savo kalba.“
— Jonathan Santos

„Dėkoju profesoriams Ismarui Frango ir Nizamui Omarui iš Mackenzie presbiterionų universiteto, kurie paskatino mane akademinį projektą paversti tikra priemone bendruomenei.“
— Jonathan Santos

Google आणि Samsungमध्ये काम केलेल्या अंध सॉफ्टवेअर इंजिनिअरने तयार केलेल्या विनामूल्य ॲपमध्ये एक असा सहाय्यक आहे जो पाहू शकतो: व्यत्ययाशिवाय आवाजाद्वारे संभाषण करतो, परिसराचे वर्णन करतो, व्यक्ती कुठे आहे ते सांगतो, इंटरनेटवर माहिती शोधतो, संगीताचे स्वरलेखन वाचतो आणि वाजवतो, आवाजासह व्हिडिओ रेकॉर्ड करतो आणि अंध व्यक्तींना नीट फ्रेम केलेली छायाचित्रे काढण्यास मदत करतो. आयफोन आणि अँड्रॉइडसाठी उपलब्ध.

Visionauta हे अंध आणि अल्पदृष्टी असलेल्या व्यक्तींना अधिक स्वावलंबन देण्यासाठी कृत्रिम बुद्धिमत्ता वापरणारे सुलभता ॲप आपली नवी आवृत्ती जाहीर करत आहे — आणि आता ते ३९ भाषा बोलते: पोर्तुगीज, इंग्रजी, स्पॅनिश, फ्रेंच, कोरियन, जर्मन, जपानी, इटालियन, अरबी, रशियन, सरलीकृत चिनी, हिंदी, बंगाली, व्हिएतनामी, तुर्की आणि इंडोनेशियन, तसेच २३ नव्या भाषा: चेक, ग्रीक, एस्टोनियन, फारसी, फिनिश, हिब्रू, हंगेरियन, आइसलँडिक, लिथुआनियन, मराठी, डच, पोलिश, रोमानियन, स्लोव्हाक, स्लोव्हेनियन, स्वीडिश, स्वाहिली, तमिळ, तेलुगू, थाई, युक्रेनियन, उर्दू आणि कँटोनीज. हे भाषांतर संपूर्ण ॲपसाठी, आवाजी आदेशांसाठी, मजकूर वाचनासाठी आणि वापरकर्त्याशी त्याच्या भाषेत संवाद साधणाऱ्या कृत्रिम बुद्धिमत्तेच्या उत्तरांसाठीही लागू आहे. २३ नव्या भाषांमुळे हे ॲप युरोप, मध्य पूर्व, आफ्रिका आणि आशियातील भाषिकांपर्यंत पोहोचते.

हे ॲप विनामूल्य आहे आणि आयफोनसाठी ॲप स्टोअरवर, तर अँड्रॉइडसाठी Google प्लेवर उपलब्ध आहे.

रिअल-टाइम संभाषण: पाहणारा आणि सोबत बोलणारा सहाय्यक

Visionautaचे मुख्य वैशिष्ट्य म्हणजे रिअल-टाइम संभाषण. यात व्यक्ती बटणे न दाबता आणि आपल्या पाळीची वाट न पाहता नैसर्गिकपणे बोलते, आणि फोनच्या कॅमेऱ्यातून पाहणारी कृत्रिम बुद्धिमत्ता लगेच आवाजात उत्तर देते — जणू जग पाहणारा आणि त्याचे वर्णन करणारा मित्र शेजारीच आहे. नव्या आवृत्तीत संभाषणाचा आवाज अधिक स्पष्ट झाला आहे, कमी आवाजाच्या अडथळ्यांसह आणि अधिक चांगल्या उच्चारांसह.

या संभाषणादरम्यान Visionauta हे करू शकते:

• परिसराचे आणि दृश्यांचे वर्णन करणे — खोलीत काय आहे, जवळ कोण आहे, टेबल कसे आहे, पलंगावर कोणते कपडे आहेत, दिवा लागलेला आहे का.
• व्यक्ती कुठे आहे आणि आजूबाजूला काय आहे ते सांगणे — सध्याचा पत्ता, रस्ते, खुणा, औषधालये, बेकऱ्या आणि सर्वात जवळचा बस थांबा, रिअल-टाइम नकाशा माहितीच्या आधारे.
• इंटरनेटवर माहिती शोधणे — बातम्या, वेळापत्रके, किमती, अद्ययावत माहिती, संभाषण न सोडता.
• संगीताचे स्वरलेखन वाचणे आणि वाजवणे — छापील स्वरलेखनाकडे कॅमेरा धरणे पुरेसे आहे. Visionauta स्वर ओळखते, संगीत मोठ्याने वाचून दाखवते आणि उपकरणावरच वाजवते, तसेच MusicXML आणि MIDI फाइल्स तयार करते. अंध संगीतकारांसाठी हे अभूतपूर्व वैशिष्ट्य आहे, जे ऐतिहासिकदृष्ट्या इतरांवर किंवा दुर्मिळ आणि महागड्या ब्रेल आवृत्त्यांवर अवलंबून राहिले आहेत.
• दृष्टिदोष असलेल्या व्यक्तीला छायाचित्रे काढण्यास मदत करणे — फोटो सहाय्यक फ्रेमिंगचे मार्गदर्शन करतो, ते चांगले झाल्यावर कळवतो, उलट गणना करतो आणि कॅमेरा चालवतो, जेणेकरून कौटुंबिक, कागदपत्रांची किंवा सोशल मीडियासाठीची छायाचित्रे चांगली येतात.
• आवाजासह व्हिडिओ रेकॉर्ड करणे — व्यक्ती आवाजाने सांगते, सहाय्यक फ्रेमिंगचे मार्गदर्शन करतो आणि रेकॉर्ड करतो; रेकॉर्डिंग सुलभ नियंत्रणांनी थांबवता, पुन्हा सुरू करता, पूर्ण करता किंवा रद्द करता येते, आणि व्हिडिओ क्रियाकलाप विभागात जतन होतात, पाहण्यासाठी आणि शेअर करण्यासाठी तयार.
• आवाजाने गाडी बोलावणे — फक्त गंतव्यस्थान सांगा आणि ॲप ट्रिप आधीच भरलेली असलेले Uber, 99, Bolt किंवा Lyft उघडते, फक्त पुष्टी करणे उरते.
• कॅमेऱ्यासमोर जे आहे त्याबद्दलच्या कोणत्याही प्रश्नाचे उत्तर देणे — हे कोणते उत्पादन आहे, कालबाह्यता तारीख काय आहे, या कपड्याचा रंग कोणता, या फलकावर काय लिहिले आहे.

Visionauta Magic: प्रतिमांचे वर्णन करणारी आणि फोनवर कामे पार पाडणारी एआय

केवळ अँड्रॉइडसाठी आणि Visionauta Plus सदस्यांसाठी उपलब्ध असलेले Visionauta Magic हे उपकरणाच्या स्क्रीन रीडरसोबत, जसे की TalkBack, एकत्र काम करते आणि समुदायाच्या दोन जुन्या समस्या सोडवते:

पहिली, कोणत्याही ॲपमध्ये दिसणाऱ्या लेबल नसलेल्या प्रतिमांचे ते वर्णन करते. स्क्रीन रीडरचा फोकस वर्णन नसलेल्या प्रतिमेवर, चिन्हावर किंवा कार्डवर थांबला की, Visionauta केवळ तो घटक तपासते आणि त्यात काय आहे ते मोठ्याने सांगते.

दुसरी, ते फोनवर कामे पार पाडते. व्यक्ती "WhatsApp उघड आणि अनाला संदेश पाठव" असे काहीतरी सांगते, आणि Visionauta एक आराखडा तयार करते, तो मोठ्याने वाचते आणि वापरकर्त्याच्या मंजुरीनंतरच कृती करते — प्रत्येक पायरी सांगत, आणि आपत्कालीन बटणाने किंवा दोन बोटांनी दोनदा टॅप करून कधीही थांबवता येते. पुष्टीशिवाय काहीही घडत नाही.

दैनंदिन वैशिष्ट्ये

संभाषणाव्यतिरिक्त, Visionautaने दृष्टिदोष असलेल्या व्यक्तींच्या समुदायात लोकप्रिय केलेला साधनसंच कायम ठेवला आहे, आणि त्यातील बराच भाग इंटरनेटशिवाय चालतो:

• ऑफलाइन मजकूर वाचन — कागदपत्रे, वेष्टने, पत्रे किंवा फलकांकडे कॅमेरा धरा आणि मजकूर मोठ्याने ऐका.
• चलनी नोटांची ओळख — रिअल, डॉलर, युरो, मेक्सिकन पेसो, येन, कॅनेडियन आणि ऑस्ट्रेलियन डॉलर, कनेक्शनशिवाय.
• वस्तू शोधक — "माझा फोन शोधायला मदत कर" असे म्हणा आणि ॲप परिसर तपासते, सापडल्यावर कंपन आणि आवाजाने सूचित करते.
• अल्पदृष्टीसाठी इलेक्ट्रॉनिक भिंग — झूम आणि उच्च कॉन्ट्रास्ट मोडसह, उलटे रंग, काळ्यावर पांढरा, पांढऱ्यावर काळा आणि निळ्यावर पिवळा.
• कंपनाद्वारे स्मरणासह टॉर्च.
• स्वतःचे नैसर्गिक आवाज — जे संपूर्ण सिस्टममध्ये वापरता येतात, अँड्रॉइडवर TalkBackचा आणि आयफोनवर VoiceOverचा आवाज म्हणून, डाउनलोड केल्यानंतर ऑफलाइन चालतात.

आयफोन आवृत्ती VoiceOver आणि iOS च्या सुलभता वैशिष्ट्यांशी पूर्णपणे जोडलेली आहे.

निवेदने

"रिअल-टाइम संभाषणाने Visionauta म्हणजे काय हेच बदलून टाकले. हे आता असे ॲप नाही ज्यात तुम्ही फोटो काढता आणि उत्तराची वाट पाहता: हे तुमच्यासाठी पाहणाऱ्या आणि नेहमी सोबत असणाऱ्या कोणाशी तरी सुरू असलेले संभाषण आहे, मग ते रस्त्याचे वर्णन करण्यासाठी असो, जवळचे औषधालय शोधण्यासाठी, व्हिडिओ रेकॉर्ड करण्यासाठी किंवा तुम्ही वाजवणार असलेले स्वरलेखन वाचण्यासाठी."
— Jonathan Santos

"ॲप २३ नव्या भाषांमध्ये नेणे, चेकपासून थाईपर्यंत, हिब्रूपासून स्वाहिलीपर्यंत, हा न्यायाचा निर्णय होता, बाजाराचा नव्हे. साहाय्यक तंत्रज्ञान नेहमी आधी इंग्रजीत पोहोचले, आणि इंग्रजी न बोलणाऱ्यांना वर्षानुवर्षे वाट पाहावी लागली. आता कितीतरी अधिक लोक Visionautaशी आपल्या स्वतःच्या भाषेत संवाद साधू शकतात."
— Jonathan Santos

"मला एका शैक्षणिक प्रकल्पाला समुदायासाठी खऱ्या साधनात रूपांतरित करण्यास प्रोत्साहन देणारे Universidade Presbiteriana Mackenzie येथील प्राध्यापक Ismar Frango आणि Nizam Omar यांचे मी आभार मानतो."
— Jonathan Santos

De gratis app, gemaakt door een blinde software-engineer die bij Google en Samsung werkte, heeft een assistent die ziet: hij voert ononderbroken gesprekken via spraak, beschrijft omgevingen, vertelt waar je bent, zoekt informatie op internet, leest en speelt bladmuziek af, neemt video's met geluid op en helpt blinden goed ingekaderde foto's te maken. Beschikbaar voor iPhone en Android.

Visionauta, een toegankelijkheidsapp die kunstmatige intelligentie gebruikt om blinde en slechtziende mensen meer zelfstandigheid te geven, kondigt zijn nieuwe versie aan — en spreekt nu 39 talen: Portugees, Engels, Spaans, Frans, Koreaans, Duits, Japans, Italiaans, Arabisch, Russisch, vereenvoudigd Chinees, Hindi, Bengaals, Vietnamees, Turks en Indonesisch, plus 23 nieuwe talen: Tsjechisch, Grieks, Estisch, Perzisch, Fins, Hebreeuws, Hongaars, IJslands, Litouws, Marathi, Nederlands, Pools, Roemeens, Slowaaks, Sloveens, Zweeds, Swahili, Tamil, Telugu, Thais, Oekraïens, Urdu en Kantonees. De vertaling geldt voor de hele app, voor de spraakopdrachten, voor het voorlezen van teksten en ook voor de antwoorden van de kunstmatige intelligentie, die met de gebruiker in zijn eigen taal praat. Met de 23 nieuwe talen bereikt de app sprekers in Europa, het Midden-Oosten, Afrika en Azië.

De app is gratis en beschikbaar voor iPhone in de App Store en voor Android in Google Play.

REALTIMEGESPREK: EEN ASSISTENT DIE MEEKIJKT EN MEEPRAAT

De belangrijkste functie van Visionauta is het Realtimegesprek. Daarin praat de gebruiker op natuurlijke wijze, zonder op knoppen te drukken en zonder op zijn beurt te wachten, met een kunstmatige intelligentie die door de camera van de telefoon kijkt en meteen antwoord geeft met spraak — alsof je een vriend naast je hebt die ziet en de wereld beschrijft. In de nieuwste versie is de stem van het gesprek duidelijker geworden, met minder ruis en een betere dictie.

Tijdens dit gesprek kan Visionauta:

• Omgevingen en scènes beschrijven — wat er in de kamer is, wie er in de buurt is, hoe de tafel eruitziet, welke kleding er op het bed ligt, of het licht aan is.
• Vertellen waar de gebruiker is en wat er in de buurt is — het huidige adres, straten, oriëntatiepunten, apotheken, bakkerijen en de dichtstbijzijnde bushalte, met behulp van realtime kaartinformatie.
• Informatie op internet zoeken — nieuws, tijden, prijzen, actuele gegevens, zonder het gesprek te verlaten.
• Bladmuziek lezen en spelen — richt de camera gewoon op gedrukte bladmuziek. Visionauta herkent de noten, leest de muziek hardop voor en speelt die af op het apparaat zelf, waarbij MusicXML- en MIDI-bestanden worden gegenereerd. Een primeur voor blinde musici, die van oudsher afhankelijk zijn van anderen of van zeldzame en dure brailleuitgaven.
• Mensen met een visuele beperking helpen foto's te maken — de fotoassistent begeleidt de kadrering, meldt wanneer die goed is, telt af en drukt de sluiter in, zodat familiefoto's, documenten of foto's voor sociale media goed worden.
• Video's met geluid opnemen — de gebruiker vraagt erom met spraak, de assistent begeleidt de kadrering en neemt op; de opname kan met toegankelijke knoppen worden gepauzeerd, hervat, afgerond of geannuleerd, en de video's worden opgeslagen onder Activiteiten, klaar om te bekijken en te delen.
• Per spraak een auto bestellen — zeg gewoon de bestemming en de app opent Uber, 99, Bolt of Lyft met de rit al ingevuld, zodat alleen bevestigen nog hoeft.
• Elke vraag beantwoorden over wat er voor de camera is — welk product dit is, wat de houdbaarheidsdatum is, welke kleur dit kledingstuk heeft, wat er op dit bord staat.

VISIONAUTA MAGIC: DE AI DIE AFBEELDINGEN BESCHRIJFT EN TAKEN OP DE TELEFOON UITVOERT

Exclusief voor Android en beschikbaar voor abonnees van Visionauta Plus werkt Visionauta Magic samen met de schermlezer van het apparaat, zoals TalkBack, en lost twee oude problemen van de gemeenschap op:

Ten eerste beschrijft het afbeeldingen zonder label die in elke app voorkomen. Wanneer de focus van de schermlezer stopt bij een afbeelding, pictogram of kaart zonder beschrijving, analyseert Visionauta alleen dat element en kondigt hardop aan wat erop staat.

Ten tweede voert het taken op de telefoon uit. De gebruiker vraagt bijvoorbeeld "open WhatsApp en stuur een bericht naar Ana", en Visionauta maakt een plan, leest het plan hardop voor en handelt pas na goedkeuring van de gebruiker — waarbij elke stap wordt toegelicht en het op elk moment kan worden onderbroken met een noodknop of met een dubbele tik met twee vingers. Er gebeurt niets zonder bevestiging.

DE DAGELIJKSE FUNCTIES

Naast het gesprek behoudt Visionauta de set hulpmiddelen waarmee het populair werd in de gemeenschap van mensen met een visuele beperking, waarvan een groot deel zonder internet werkt:

• Teksten offline voorlezen — richt de camera op documenten, verpakkingen, brieven of borden en hoor de inhoud hardop.
• Herkenning van bankbiljetten — Real, Dollar, Euro, Mexicaanse peso, Yen, Canadese en Australische dollar, zonder verbinding.
• Voorwerpenzoeker — zeg "help me mijn telefoon te vinden" en de app scant de omgeving en waarschuwt met trilling en stem wanneer hij hem vindt.
• Elektronische loep voor slechtzienden — met zoom en modi met hoog contrast, omgekeerde kleuren, wit op zwart, zwart op wit en geel op blauw.
• Zaklamp met herinnering via trilling.
• Eigen natuurlijke stemmen — die in het hele systeem kunnen worden gebruikt, als stem van TalkBack op Android en van VoiceOver op iPhone, en na het downloaden offline werken.

De iPhone-versie is volledig geïntegreerd met VoiceOver en de toegankelijkheidsfuncties van iOS.

VERKLARINGEN

"Het Realtimegesprek heeft veranderd wat Visionauta is. Het is geen app meer waarin je een foto maakt en op een antwoord wacht: het is een doorlopend gesprek met iemand die voor je kijkt en er altijd is, of het nu is om de straat te beschrijven, de dichtstbijzijnde apotheek te vinden, een video op te nemen of de bladmuziek te lezen die je gaat spelen."
— Jonathan Santos

"De app naar 23 nieuwe talen brengen, van Tsjechisch tot Thais, van Hebreeuws tot Swahili, was een besluit uit rechtvaardigheid, niet uit marktdenken. Hulptechnologie kwam altijd eerst in het Engels, en wie geen Engels spreekt wachtte jarenlang. Nu kunnen veel meer mensen in hun eigen taal met Visionauta praten."
— Jonathan Santos

"Ik dank de hoogleraren Ismar Frango en Nizam Omar van de Universidade Presbiteriana Mackenzie, die me hebben aangemoedigd een academisch project om te zetten in een echt hulpmiddel voor de gemeenschap."
— Jonathan Santos

Bezpłatna aplikacja stworzona przez niewidomego inżyniera oprogramowania, który pracował w Google i Samsungu, ma asystenta, który widzi: prowadzi rozmowę głosową bez przerw, opisuje otoczenie, podaje, gdzie się znajdujesz, wyszukuje informacje w internecie, czyta i odtwarza nuty, nagrywa filmy z dźwiękiem i pomaga niewidomym robić dobrze skadrowane zdjęcia. Dostępna na iPhone'a i Androida.

Visionauta, aplikacja ułatwień dostępu, która wykorzystuje sztuczną inteligencję, aby dać większą samodzielność osobom niewidomym i słabowidzącym, zapowiada swoją nową wersję — i od teraz mówi w 39 językach: portugalskim, angielskim, hiszpańskim, francuskim, koreańskim, niemieckim, japońskim, włoskim, arabskim, rosyjskim, chińskim uproszczonym, hindi, bengalskim, wietnamskim, tureckim i indonezyjskim, a także w 23 nowych: czeskim, greckim, estońskim, perskim, fińskim, hebrajskim, węgierskim, islandzkim, litewskim, marathi, niderlandzkim, polskim, rumuńskim, słowackim, słoweńskim, szwedzkim, suahili, tamilskim, telugu, tajskim, ukraińskim, urdu i kantońskim. Tłumaczenie obejmuje całą aplikację, polecenia głosowe, czytanie tekstów, a także odpowiedzi sztucznej inteligencji, która rozmawia z użytkownikiem w jego języku. Dzięki 23 nowym językom aplikacja trafia do osób mówiących w Europie, na Bliskim Wschodzie, w Afryce i w Azji.

Aplikacja jest bezpłatna i dostępna na iPhone'a w App Store oraz na Androida w Google Play.

ROZMOWA W CZASIE RZECZYWISTYM: ASYSTENT, KTÓRY WIDZI I MÓWI

Główną funkcją Visionauta jest Rozmowa w czasie rzeczywistym. W jej trakcie użytkownik mówi naturalnie, bez naciskania przycisków i bez czekania na swoją kolej, do sztucznej inteligencji, która patrzy przez aparat telefonu i od razu odpowiada głosem — jakby obok był przyjaciel, który widzi i opisuje świat. W najnowszej wersji głos rozmowy stał się wyraźniejszy, z mniejszą ilością szumów i lepszą dykcją.

Podczas tej rozmowy Visionauta potrafi:

• Opisywać otoczenie i sceny — co jest w pokoju, kto jest w pobliżu, jak wygląda stół, jakie ubranie leży na łóżku, czy światło jest zapalone.
• Mówić, gdzie użytkownik się znajduje i co jest wokół — aktualny adres, ulice, punkty orientacyjne, apteki, piekarnie i najbliższy przystanek autobusowy, korzystając z informacji mapowych w czasie rzeczywistym.
• Wyszukiwać informacje w internecie — wiadomości, godziny, ceny, aktualne dane, bez opuszczania rozmowy.
• Czytać i odtwarzać nuty — wystarczy skierować aparat na drukowane nuty. Visionauta rozpoznaje nuty, czyta muzykę na głos i odtwarza ją na samym urządzeniu, generując pliki MusicXML i MIDI. Funkcja bezprecedensowa dla niewidomych muzyków, którzy historycznie zależą od innych osób lub od rzadkich i drogich wydań w brajlu.
• Pomagać osobie z niepełnosprawnością wzroku robić zdjęcia — asystent zdjęć podpowiada kadrowanie, informuje, kiedy jest dobrze, odlicza i uruchamia aparat, aby zdjęcia rodzinne, dokumentów czy do mediów społecznościowych wychodziły dobrze.
• Nagrywać filmy z dźwiękiem — użytkownik prosi głosem, asystent podpowiada kadrowanie i nagrywa; nagranie można wstrzymać, wznowić, zakończyć lub anulować za pomocą dostępnych elementów sterowania, a filmy są zapisywane w sekcji Aktywności, gotowe do obejrzenia i udostępnienia.
• Zamawiać przejazd głosem — wystarczy powiedzieć cel podróży, a aplikacja otworzy Ubera, 99, Bolt lub Lyft z już wypełnionym kursem, pozostaje tylko potwierdzić.
• Odpowiadać na każde pytanie o to, co jest przed aparatem — co to za produkt, jaka jest data ważności, jakiego koloru jest to ubranie, co jest napisane na tej tabliczce.

VISIONAUTA MAGIC: SZTUCZNA INTELIGENCJA, KTÓRA OPISUJE OBRAZY I WYKONUJE ZADANIA NA TELEFONIE

Dostępny wyłącznie na Androida dla subskrybentów Visionauta Plus, Visionauta Magic współpracuje z czytnikiem ekranu urządzenia, takim jak TalkBack, i rozwiązuje dwa dawne problemy społeczności:

Po pierwsze, opisuje obrazy bez etykiet, które pojawiają się w każdej aplikacji. Gdy fokus czytnika ekranu zatrzymuje się na obrazie, ikonie lub karcie bez opisu, Visionauta analizuje tylko ten element i głośno ogłasza, co się na nim znajduje.

Po drugie, wykonuje zadania na telefonie. Użytkownik prosi o coś w rodzaju „otwórz WhatsApp i wyślij wiadomość do Ani”, a Visionauta tworzy plan, czyta go na głos i działa dopiero po zatwierdzeniu przez użytkownika — opisując każdy krok i dając możliwość przerwania w dowolnej chwili przyciskiem awaryjnym lub dwukrotnym stuknięciem dwoma palcami. Nic się nie dzieje bez potwierdzenia.

FUNKCJE NA CO DZIEŃ

Poza rozmową Visionauta zachowuje zestaw narzędzi, który uczynił ją popularną w społeczności osób z niepełnosprawnością wzroku, a znaczna ich część działa bez internetu:

• Czytanie tekstów offline — skieruj aparat na dokumenty, opakowania, listy lub tablice i posłuchaj treści na głos.
• Rozpoznawanie banknotów — real, dolar, euro, peso meksykańskie, jen, dolar kanadyjski i australijski, bez połączenia.
• Lokalizator przedmiotów — powiedz „pomóż mi znaleźć telefon”, a aplikacja skanuje otoczenie, sygnalizując wibracją i głosem, gdy go znajdzie.
• Elektroniczna lupa dla słabowidzących — z powiększeniem i trybami wysokiego kontrastu, odwróconymi kolorami, białym na czarnym, czarnym na białym i żółtym na niebieskim.
• Latarka z przypomnieniem wibracją.
• Własne naturalne głosy — które można używać w całym systemie, jako głos TalkBack na Androidzie i VoiceOver na iPhonie, działające offline po pobraniu.

Wersja na iPhone'a jest w pełni zintegrowana z VoiceOver i funkcjami ułatwień dostępu iOS.

OŚWIADCZENIA

„Rozmowa w czasie rzeczywistym zmieniła to, czym jest Visionauta. To już nie aplikacja, w której robisz zdjęcie i czekasz na odpowiedź: to ciągła rozmowa z kimś, kto widzi za ciebie i zawsze jest obok, czy to by opisać ulicę, znaleźć najbliższą aptekę, nagrać film czy przeczytać nuty, które zagrasz.”
— Jonathan Santos

„Wprowadzenie aplikacji w 23 nowych językach, od czeskiego po tajski, od hebrajskiego po suahili, było decyzją podyktowaną sprawiedliwością, a nie rynkiem. Technologie asystujące zawsze trafiały najpierw w języku angielskim, a ci, którzy nie mówią po angielsku, czekali latami. Teraz znacznie więcej osób może rozmawiać z Visionauta we własnym języku.”
— Jonathan Santos

„Dziękuję profesorom Ismarowi Frango i Nizamowi Omarowi z Universidade Presbiteriana Mackenzie, którzy zachęcili mnie do przekształcenia projektu akademickiego w prawdziwe narzędzie dla społeczności.”
— Jonathan Santos

Aplicația gratuită creată de un inginer software nevăzător, care a lucrat la Google și Samsung, are un asistent care vede: poartă conversații vocale fără întreruperi, descrie mediul înconjurător, spune unde se află utilizatorul, caută informații pe internet, citește și redă partituri muzicale, înregistrează videoclipuri cu sunet și îi ajută pe nevăzători să facă fotografii bine încadrate. Disponibilă pentru iPhone și Android.

Visionauta, aplicația de accesibilitate care folosește inteligența artificială pentru a oferi mai multă autonomie persoanelor nevăzătoare și cu vedere slabă, își anunță noua versiune — și vorbește acum 39 de limbi: portugheză, engleză, spaniolă, franceză, coreeană, germană, japoneză, italiană, arabă, rusă, chineză simplificată, hindi, bengaleză, vietnameză, turcă și indoneziană, plus 23 de limbi noi: cehă, greacă, estonă, persană, finlandeză, ebraică, maghiară, islandeză, lituaniană, marathi, olandeză, poloneză, română, slovacă, slovenă, suedeză, swahili, tamilă, telugu, thailandeză, ucraineană, urdu și cantoneză. Traducerea acoperă întreaga aplicație, comenzile vocale, citirea textelor și răspunsurile inteligenței artificiale, care discută cu utilizatorul în limba lui. Cu cele 23 de limbi noi, aplicația ajunge la vorbitori din Europa, Orientul Mijlociu, Africa și Asia.

Aplicația este gratuită și disponibilă pentru iPhone, în App Store, și pentru Android, în Google Play.

CONVERSAȚIA ÎN TIMP REAL: UN ASISTENT CARE VEDE ȘI VORBEȘTE ÎN ACELAȘI TIMP

Funcția principală a Visionauta este Conversația în Timp Real. În cadrul ei, utilizatorul vorbește firesc, fără să apese butoane și fără să aștepte rândul, cu o inteligență artificială care vede prin camera telefonului și răspunde pe loc prin voce — ca și cum ai avea alături un prieten care vede și îți descrie lumea. În cea mai recentă versiune, vocea conversației este mai clară, cu mai puține zgomote și o dicție mai bună.

În timpul acestei conversații, Visionauta poate:

• Să descrie spații și scene — ce este în cameră, cine se află în apropiere, cum arată masa, ce haine sunt pe pat, dacă lumina este aprinsă.
• Să spună unde se află utilizatorul și ce există în jur — adresa curentă, străzi, puncte de reper, farmacii, brutării și cea mai apropiată stație de autobuz, pe baza informațiilor de hartă în timp real.
• Să caute informații pe internet — știri, orare, prețuri, date actualizate, fără a părăsi conversația.
• Să citească și să redea partituri muzicale — este suficient să îndrepți camera spre o partitură tipărită. Visionauta identifică notele, citește muzica cu voce tare și o redă chiar pe dispozitiv, generând fișiere MusicXML și MIDI. O premieră pentru muzicienii nevăzători, care depind în mod tradițional de alte persoane sau de ediții în Braille rare și costisitoare.
• Să ajute persoanele cu deficiențe de vedere să facă fotografii — asistentul foto ghidează încadrarea, anunță când imaginea este bună, numără invers și declanșează camera, astfel încât fotografiile de familie, de documente sau pentru rețelele sociale să iasă bine.
• Să înregistreze videoclipuri cu sunet — utilizatorul cere prin voce, asistentul ghidează încadrarea și înregistrează; înregistrarea poate fi pusă pe pauză, reluată, încheiată sau anulată cu ajutorul unor comenzi accesibile, iar videoclipurile sunt salvate în Activități, gata de vizionat și de distribuit.
• Să comande o mașină prin voce — este suficient să spui destinația, iar aplicația deschide Uber, 99, Bolt sau Lyft cu cursa deja completată, rămânând doar să confirmi.
• Să răspundă la orice întrebare despre ceea ce se află în fața camerei — ce produs este acesta, care este data de expirare, ce culoare are această haină, ce scrie pe această placă.

VISIONAUTA MAGIC: IA CARE DESCRIE IMAGINI ȘI EXECUTĂ SARCINI PE TELEFON

Exclusiv pentru Android și disponibil abonaților Visionauta Plus, Visionauta Magic lucrează împreună cu cititorul de ecran al dispozitivului, precum TalkBack, și rezolvă două probleme vechi ale comunității:

În primul rând, descrie imaginile fără etichetă care apar în orice aplicație. Când focalizarea cititorului de ecran se oprește pe o imagine, o pictogramă sau un card fără descriere, Visionauta analizează doar acel element și anunță cu voce tare ce conține.

În al doilea rând, execută sarcini pe telefon. Utilizatorul cere ceva de genul „deschide WhatsApp și trimite un mesaj Anei”, iar Visionauta întocmește un plan, îl citește cu voce tare și acționează abia după aprobarea utilizatorului — povestind fiecare pas și putând fi oprit oricând printr-un buton de urgență sau printr-o atingere dublă cu două degete. Nimic nu se întâmplă fără confirmare.

FUNCȚIILE DE ZI CU ZI

Pe lângă conversație, Visionauta păstrează setul de instrumente care l-a făcut popular în comunitatea persoanelor cu deficiențe de vedere, multe dintre ele funcționând fără internet:

• Citire de texte offline — îndreaptă camera spre documente, ambalaje, scrisori sau plăci și ascultă conținutul cu voce tare.
• Recunoașterea bancnotelor — real brazilian, dolar, euro, peso mexican, yen, dolar canadian și australian, fără conexiune.
• Localizator de obiecte — spune „ajută-mă să-mi găsesc telefonul”, iar aplicația scanează încăperea, avertizând prin vibrație și voce când îl găsește.
• Lupă electronică pentru vedere slabă — cu zoom și moduri de contrast ridicat, culori inversate, alb pe negru, negru pe alb și galben pe albastru.
• Lanternă cu memento prin vibrație.
• Voci naturale proprii — care pot fi folosite în întregul sistem, ca voce pentru TalkBack pe Android și pentru VoiceOver pe iPhone, funcționând offline după descărcare.

Versiunea pentru iPhone este complet integrată cu VoiceOver și cu funcțiile de accesibilitate din iOS.

DECLARAȚII

„Conversația în Timp Real a schimbat ceea ce este Visionauta. Nu mai este o aplicație în care faci o fotografie și aștepți un răspuns: este o conversație continuă cu cineva care vede pentru tine și este mereu acolo, fie că e vorba să descrie strada, să găsească cea mai apropiată farmacie, să înregistreze un videoclip sau să citească partitura pe care urmează să o cânți.”
— Jonathan Santos

„Aducerea aplicației în 23 de limbi noi, de la ceha la thailandeză, de la ebraică la swahili, a fost o decizie de dreptate, nu de piață. Tehnologia asistivă a ajuns mereu mai întâi în engleză, iar cei care nu vorbesc engleza așteptau ani de zile. Acum mult mai multe persoane pot vorbi cu Visionauta în propria limbă.”
— Jonathan Santos

„Le mulțumesc profesorilor Ismar Frango și Nizam Omar, de la Universitatea Presbiteriană Mackenzie, care m-au încurajat să transform un proiect academic într-un instrument real pentru comunitate.”
— Jonathan Santos

Bezplatná aplikácia, ktorú vytvoril nevidiaci softvérový inžinier pôsobiaci v Google a Samsungu, má asistenta, ktorý vidí: vedie hlasový rozhovor bez prerušovania, opisuje okolie, hovorí, kde sa používateľ nachádza, vyhľadáva informácie na internete, číta a prehráva notové zápisy, nahráva videá so zvukom a pomáha nevidiacim robiť dobre zarámované fotografie. Dostupná pre iPhone a Android.

Visionauta, aplikácia na zjednodušenie prístupu, ktorá využíva umelú inteligenciu na zvýšenie samostatnosti nevidiacich a slabozrakých ľudí, oznamuje svoju novú verziu — a teraz hovorí 39 jazykmi: portugalčina, angličtina, španielčina, francúzština, kórejčina, nemčina, japončina, taliančina, arabčina, ruština, zjednodušená čínština, hindčina, bengálčina, vietnamčina, turečtina a indonézčina, a k tomu 23 nových jazykov: čeština, gréčtina, estónčina, perzština, fínčina, hebrejčina, maďarčina, islandčina, litovčina, maráthčina, holandčina, poľština, rumunčina, slovenčina, slovinčina, švédčina, svahilčina, tamilčina, telugčina, thajčina, ukrajinčina, urdčina a kantónčina. Preklad sa vzťahuje na celú aplikáciu, hlasové príkazy, čítanie textov aj odpovede umelej inteligencie, ktorá s používateľom komunikuje v jeho jazyku. S 23 novými jazykmi aplikácia oslovuje hovoriacich v Európe, na Blízkom východe, v Afrike a v Ázii.

Aplikácia je bezplatná a dostupná pre iPhone v App Store a pre Android v Google Play.

ROZHOVOR V REÁLNOM ČASE: ASISTENT, KTORÝ VIDÍ A HOVORÍ ZÁROVEŇ

Hlavnou funkciou Visionauty je Rozhovor v reálnom čase. V ňom človek hovorí prirodzene, bez stláčania tlačidiel a bez čakania na svoj rad, s umelou inteligenciou, ktorá vidí cez kameru telefónu a okamžite odpovedá hlasom — ako keby ste mali pri sebe priateľa, ktorý vidí a opisuje svet. V najnovšej verzii je hlas rozhovoru jasnejší, s menším šumom a lepšou dikciou.

Počas tohto rozhovoru môže Visionauta:

• Opísať priestory a scény — čo je v miestnosti, kto je nablízku, ako vyzerá stôl, aké oblečenie leží na posteli, či je zapnuté svetlo.
• Povedať, kde sa človek nachádza a čo je okolo — aktuálnu adresu, ulice, orientačné body, lekárne, pekárne a najbližšiu autobusovú zastávku, pomocou mapových informácií v reálnom čase.
• Vyhľadávať informácie na internete — správy, časy odchodov, ceny, aktuálne údaje, bez opustenia rozhovoru.
• Čítať a prehrávať notové zápisy — stačí namieriť kameru na vytlačené noty. Visionauta rozpozná tóny, nahlas prečíta hudbu a prehrá ju priamo v zariadení, pričom vytvorí súbory MusicXML a MIDI. Je to novinka pre nevidiacich hudobníkov, ktorí boli doteraz odkázaní na iných alebo na vzácne a drahé vydania v Braillovom písme.
• Pomáhať ľuďom so zrakovým postihnutím fotografovať — asistent pre fotografovanie usmerňuje zarámovanie, upozorní, keď je záber dobrý, odpočítava a spustí fotoaparát, aby rodinné fotografie, fotografie dokumentov či fotografie pre sociálne siete vyšli dobre.
• Nahrávať videá so zvukom — človek o to požiada hlasom, asistent usmerní zarámovanie a nahráva; nahrávku možno pozastaviť, obnoviť, dokončiť alebo zrušiť pomocou prístupných ovládacích prvkov a videá sa ukladajú do Aktivít, pripravené na prehrávanie a zdieľanie.
• Privolať auto hlasom — stačí povedať cieľ a aplikácia otvorí Uber, 99, Bolt alebo Lyft s už vyplnenou jazdou, zostáva len potvrdiť.
• Odpovedať na akúkoľvek otázku o tom, čo je pred kamerou — aký je to výrobok, aký je dátum spotreby, akej farby je toto oblečenie, čo je napísané na tejto tabuli.

VISIONAUTA MAGIC: UMELÁ INTELIGENCIA, KTORÁ OPISUJE OBRAZY A VYKONÁVA ÚLOHY V TELEFÓNE

Visionauta Magic, exkluzívny pre Android a dostupný predplatiteľom Visionauta Plus, spolupracuje s čítačkou obrazovky zariadenia, ako je TalkBack, a rieši dva dlhoročné problémy komunity:

Po prvé, opisuje obrázky bez popisu, ktoré sa objavujú v akejkoľvek aplikácii. Keď sa fokus čítačky obrazovky zastaví na obrázku, ikone alebo karte bez popisu, Visionauta analyzuje iba daný prvok a nahlas oznámi, čo obsahuje.

Po druhé, vykonáva úlohy v telefóne. Človek povie napríklad „otvor WhatsApp a pošli správu Anne“ a Visionauta zostaví plán, nahlas ho prečíta a koná až po schválení používateľom — rozpráva každý krok a možno ho kedykoľvek zastaviť pomocou núdzového tlačidla alebo dvojitým ťuknutím dvoma prstami. Bez potvrdenia sa nič nestane.

KAŽDODENNÉ FUNKCIE

Okrem rozhovoru si Visionauta zachováva súbor nástrojov, ktorý ho preslávil v komunite ľudí so zrakovým postihnutím, pričom značná časť z nich funguje bez internetu:

• Čítanie textov offline — namierte kameru na dokumenty, obaly, listy alebo tabule a vypočujte si obsah nahlas.
• Rozpoznávanie bankoviek — brazílsky real, dolár, euro, mexické peso, jen, kanadský a austrálsky dolár, bez pripojenia.
• Vyhľadávač predmetov — povedzte „pomôž mi nájsť môj telefón“ a aplikácia prehľadá okolie a po nájdení upozorní vibráciou a hlasom.
• Elektronická lupa pre slabozrakých — so zväčšením a režimami vysokého kontrastu, inverzných farieb, bielej na čiernej, čiernej na bielej a žltej na modrej.
• Baterka s pripomienkou vibráciou.
• Vlastné prirodzené hlasy — ktoré možno používať v celom systéme, ako hlas pre TalkBack v Androide a VoiceOver v iPhone, a po stiahnutí fungujú offline.

Verzia pre iPhone je plne integrovaná s VoiceOver a funkciami zjednodušenia ovládania v iOS.

VYHLÁSENIA

„Rozhovor v reálnom čase zmenil to, čím Visionauta je. Už to nie je aplikácia, v ktorej odfotíte snímku a čakáte na odpoveď: je to nepretržitý rozhovor s niekým, kto vidí za vás a je tu vždy, či už treba opísať ulicu, nájsť najbližšiu lekáreň, nahrať video alebo prečítať noty, ktoré budete hrať.“
— Jonathan Santos

„Priniesť aplikáciu do 23 nových jazykov, od češtiny po thajčinu, od hebrejčiny po svahilčinu, bolo rozhodnutie zo spravodlivosti, nie z trhových dôvodov. Asistenčná technológia vždy prichádzala najprv v angličtine a tí, čo nehovoria anglicky, čakali roky. Teraz môže oveľa viac ľudí rozprávať s Visionautou vo svojom vlastnom jazyku.“
— Jonathan Santos

„Ďakujem profesorom Ismarovi Frangovi a Nizamovi Omarovi z Univerzity Presbiteriana Mackenzie, ktorí ma povzbudili, aby som premenil akademický projekt na skutočný nástroj pre komunitu.“
— Jonathan Santos

Brezplačna aplikacija, ki jo je ustvaril slepi programski inženir, ki je delal pri Googlu in Samsungu, ima pomočnika, ki vidi: vodi glasovni pogovor brez prekinitev, opisuje okolico, pove, kje je uporabnik, išče informacije na spletu, bere in predvaja notne zapise, snema videe z zvokom in slepim pomaga narediti dobro uokvirjene fotografije. Na voljo za iPhone in Android.

Visionauta, aplikacija za dostopnost, ki z umetno inteligenco slepim in slabovidnim ljudem omogoča večjo samostojnost, napoveduje novo različico — in zdaj govori 39 jezikov: portugalščina, angleščina, španščina, francoščina, korejščina, nemščina, japonščina, italijanščina, arabščina, ruščina, poenostavljena kitajščina, hindijščina, bengalščina, vietnamščina, turščina in indonezijščina, poleg tega pa še 23 novih jezikov: češčina, grščina, estonščina, perzijščina, finščina, hebrejščina, madžarščina, islandščina, litovščina, maratščina, nizozemščina, poljščina, romunščina, slovaščina, slovenščina, švedščina, svahili, tamilščina, teluščina, tajščina, ukrajinščina, urdujščina in kantonščina. Prevod zajema celotno aplikacijo, glasovne ukaze, branje besedil in tudi odgovore umetne inteligence, ki z uporabnikom govori v njegovem jeziku. S 23 novimi jeziki aplikacija doseže govorce v Evropi, na Bližnjem vzhodu, v Afriki in Aziji.

Aplikacija je brezplačna in na voljo za iPhone v trgovini App Store ter za Android v trgovini Google Play.

POGOVOR V REALNEM ČASU: POMOČNIK, KI HKRATI VIDI IN GOVORI

Glavna funkcija aplikacije Visionauta je Pogovor v realnem času. V njem oseba govori naravno, brez pritiskanja gumbov in brez čakanja na vrsto, z umetno inteligenco, ki vidi skozi kamero telefona in takoj odgovori z glasom — kot da bi imeli ob sebi prijatelja, ki vidi in opisuje svet. V najnovejši različici je glas pogovora jasnejši, z manj šuma in boljšo dikcijo.

Med tem pogovorom lahko Visionauta:

• Opiše prostore in prizore — kaj je v sobi, kdo je blizu, kako izgleda miza, katera oblačila ležijo na postelji, ali je luč prižgana.
• Pove, kje se oseba nahaja in kaj je okoli nje — trenutni naslov, ulice, orientacijske točke, lekarne, pekarne in najbližje avtobusno postajališče, z uporabo zemljevidnih informacij v realnem času.
• Išče informacije na spletu — novice, urnike, cene, sveže podatke, ne da bi zapustil pogovor.
• Bere in predvaja notne zapise — dovolj je, da kamero usmerite na natisnjeno partituro. Visionauta prepozna note, glasbo prebere na glas in jo predvaja kar na napravi ter ustvari datoteki MusicXML in MIDI. Novost za slepe glasbenike, ki so bili doslej odvisni od drugih ali od redkih in dragih izdaj v Braillovi pisavi.
• Pomaga slepim in slabovidnim pri fotografiranju — pomočnik za fotografiranje usmerja kadriranje, sporoči, kdaj je dobro, odšteva in sproži kamero, tako da družinske fotografije, fotografije dokumentov ali fotografije za družbena omrežja uspejo.
• Snema videe z zvokom — oseba prosi z glasom, pomočnik usmerja kadriranje in snema; snemanje je mogoče začasno ustaviti, nadaljevati, končati ali preklicati z dostopnimi kontrolniki, videi pa se shranijo v Dejavnosti, pripravljeni za ogled in deljenje.
• Pokliče prevoz z glasom — dovolj je povedati cilj in aplikacija odpre Uber, 99, Bolt ali Lyft z že izpolnjeno vožnjo, ostane le še potrditev.
• Odgovori na kakršno koli vprašanje o tem, kar je pred kamero — kateri izdelek je to, kakšen je rok uporabnosti, kakšne barve je to oblačilo, kaj piše na tej tabli.

VISIONAUTA MAGIC: UMETNA INTELIGENCA, KI OPISUJE SLIKE IN OPRAVLJA NALOGE V TELEFONU

Visionauta Magic, ki je na voljo izključno za Android in naročnikom paketa Visionauta Plus, deluje skupaj z bralnikom zaslona naprave, kot je TalkBack, in rešuje dve dolgoletni težavi skupnosti:

Prvič, opisuje slike brez oznake, ki se pojavljajo v kateri koli aplikaciji. Ko se fokus bralnika zaslona ustavi na sliki, ikoni ali kartici brez opisa, Visionauta analizira samo ta element in na glas sporoči, kaj vsebuje.

Drugič, opravlja naloge v telefonu. Oseba reče nekaj takega kot »odpri WhatsApp in pošlji sporočilo Ani«, Visionauta pa sestavi načrt, ga prebere na glas in ukrepa šele po odobritvi uporabnika — pripoveduje vsak korak in ga je mogoče kadar koli ustaviti z zasilnim gumbom ali z dvojnim dotikom z dvema prstoma. Brez potrditve se ne zgodi nič.

FUNKCIJE ZA VSAK DAN

Poleg pogovora Visionauta ohranja nabor orodij, zaradi katerega je postala priljubljena v skupnosti slepih in slabovidnih, od katerih jih velik del deluje brez interneta:

• Branje besedil brez povezave — usmerite kamero na dokumente, embalažo, pisma ali table in prisluhnite vsebini na glas.
• Prepoznavanje bankovcev — brazilski real, dolar, evro, mehiški peso, jen, kanadski in avstralski dolar, brez povezave.
• Iskalnik predmetov — recite »pomagaj mi najti telefon« in aplikacija pregleda prostor ter z vibracijo in glasom sporoči, ko ga najde.
• Elektronska lupa za slabovidne — z povečavo in načini visokega kontrasta, obrnjenih barv, belo na črnem, črno na belem in rumeno na modrem.
• Svetilka z opomnikom z vibracijo.
• Lastni naravni glasovi — ki jih je mogoče uporabljati v celotnem sistemu, kot glas za TalkBack v Androidu in VoiceOver v iPhonu, po prenosu pa delujejo brez povezave.

Različica za iPhone je popolnoma integrirana z VoiceOver in funkcijami dostopnosti v iOS.

IZJAVE

»Pogovor v realnem času je spremenil to, kar Visionauta je. Ni več aplikacija, v kateri posnameš fotografijo in čakaš na odgovor: je neprekinjen pogovor z nekom, ki vidi namesto tebe in je vedno tam, naj opiše ulico, poišče najbližjo lekarno, posname video ali prebere partituro, ki jo boš igral.«
— Jonathan Santos

»Prenos aplikacije v 23 novih jezikov, od češčine do tajščine, od hebrejščine do svahilija, je bila odločitev iz pravičnosti, ne iz tržnih razlogov. Podporna tehnologija je vedno prišla najprej v angleščini, tisti, ki ne govorijo angleško, pa so čakali leta. Zdaj lahko veliko več ljudi govori z aplikacijo Visionauta v svojem jeziku.«
— Jonathan Santos

»Zahvaljujem se profesorjema Ismarju Frangu in Nizamu Omarju z Univerze Presbiteriana Mackenzie, ki sta me spodbudila, da akademski projekt spremenim v resnično orodje za skupnost.«
— Jonathan Santos

Den kostnadsfria appen, skapad av en blind mjukvaruingenjör som har arbetat på Google och Samsung, har en assistent som ser: den för röstsamtal utan avbrott, beskriver omgivningar, berättar var användaren befinner sig, söker information på internet, läser och spelar upp notblad, spelar in videor med ljud och hjälper blinda att ta välkomponerade foton. Tillgänglig för iPhone och Android.

Visionauta, tillgänglighetsappen som använder artificiell intelligens för att ge blinda och synsvaga mer självständighet, presenterar sin nya version — och talar nu 39 språk: portugisiska, engelska, spanska, franska, koreanska, tyska, japanska, italienska, arabiska, ryska, förenklad kinesiska, hindi, bengali, vietnamesiska, turkiska och indonesiska, plus 23 nya språk: tjeckiska, grekiska, estniska, persiska, finska, hebreiska, ungerska, isländska, litauiska, marathi, nederländska, polska, rumänska, slovakiska, slovenska, svenska, swahili, tamil, telugu, thailändska, ukrainska, urdu och kantonesiska. Översättningen gäller hela appen, röstkommandona, textuppläsningen och även svaren från den artificiella intelligensen, som samtalar med användaren på dennes språk. Med de 23 nya språken når appen talare i Europa, Mellanöstern, Afrika och Asien.

Appen är kostnadsfri och finns för iPhone i App Store och för Android i Google Play.

REALTIDSSAMTAL: EN ASSISTENT SOM SER OCH TALAR SAMTIDIGT

Visionautas huvudfunktion är Realtidssamtal. I det talar användaren naturligt, utan att trycka på knappar och utan att vänta på sin tur, med en artificiell intelligens som ser genom mobilens kamera och svarar med rösten på direkten — som att ha en seende vän vid sin sida som beskriver världen. I den senaste versionen har samtalsrösten blivit tydligare, med mindre brus och bättre diktion.

Under samtalet kan Visionauta:

• Beskriva miljöer och scener — vad som finns i rummet, vem som är i närheten, hur bordet ser ut, vilka kläder som ligger på sängen, om lampan är tänd.
• Berätta var användaren befinner sig och vad som finns runtomkring — aktuell adress, gator, landmärken, apotek, bagerier och närmaste busshållplats, med hjälp av kartinformation i realtid.
• Söka information på internet — nyheter, tider, priser, aktuella uppgifter, utan att lämna samtalet.
• Läsa och spela upp notblad — det räcker att rikta kameran mot ett tryckt notblad. Visionauta identifierar noterna, läser musiken högt och spelar upp den direkt i enheten, och skapar filerna MusicXML och MIDI. En nyhet för blinda musiker, som historiskt har varit beroende av andra eller av sällsynta och dyra utgåvor i punktskrift.
• Hjälpa personer med synnedsättning att ta foton — fotoassistenten vägleder bildutsnittet, säger till när det är bra, räknar ner och utlöser kameran, så att familjefoton, dokumentfoton och foton för sociala medier blir bra.
• Spela in videor med ljud — användaren ber om det med rösten, assistenten vägleder bildutsnittet och spelar in; inspelningen kan pausas, återupptas, avslutas eller avbrytas med tillgängliga kontroller, och videorna sparas i Aktiviteter, redo att titta på och dela.
• Ropa på en bil med rösten — det räcker att säga destinationen, så öppnar appen Uber, 99, Bolt eller Lyft med resan redan ifylld, och det återstår bara att bekräfta.
• Svara på alla frågor om det som finns framför kameran — vilken produkt detta är, vilket bäst före-datum den har, vilken färg plagget har, vad skylten säger.

VISIONAUTA MAGIC: AI SOM BESKRIVER BILDER OCH UTFÖR UPPGIFTER I MOBILEN

Visionauta Magic är exklusivt för Android och tillgängligt för prenumeranter på Visionauta Plus. Det samarbetar med enhetens skärmläsare, som TalkBack, och löser två gamla problem i gemenskapen:

För det första beskriver det omärkta bilder som dyker upp i vilken app som helst. När skärmläsarens fokus stannar på en bild, en ikon eller ett kort utan beskrivning analyserar Visionauta enbart det elementet och meddelar högt vad det innehåller.

För det andra utför det uppgifter i mobilen. Användaren ber om något i stil med ”öppna WhatsApp och skicka ett meddelande till Ana”, och Visionauta gör upp en plan, läser upp planen högt och agerar först efter användarens godkännande — det berättar varje steg och kan avbrytas när som helst med en nödknapp eller med en dubbeltryckning med två fingrar. Ingenting sker utan bekräftelse.

FUNKTIONER FÖR VARDAGEN

Utöver samtalet behåller Visionauta den verktygslåda som gjorde appen populär i gemenskapen av personer med synnedsättning, och en stor del av den fungerar utan internet:

• Textuppläsning offline — rikta kameran mot dokument, förpackningar, brev eller skyltar och lyssna på innehållet högt.
• Igenkänning av sedlar — brasiliansk real, dollar, euro, mexikansk peso, yen, kanadensisk och australisk dollar, utan uppkoppling.
• Föremålssökare — säg ”hjälp mig hitta min telefon” så skannar appen av omgivningen och varnar med vibration och röst när den hittar den.
• Elektroniskt förstoringsglas för synsvaga — med zoom och lägen för hög kontrast, inverterade färger, vitt på svart, svart på vitt och gult på blått.
• Ficklampa med påminnelse via vibration.
• Egna naturliga röster — som kan användas i hela systemet, som röst för TalkBack på Android och VoiceOver på iPhone, och fungerar offline efter nedladdning.

iPhone-versionen är fullt integrerad med VoiceOver och iOS tillgänglighetsfunktioner.

CITAT

”Realtidssamtalet har förändrat vad Visionauta är. Det är inte längre en app där man tar ett foto och väntar på ett svar: det är ett kontinuerligt samtal med någon som ser åt dig och alltid finns där, vare sig det gäller att beskriva gatan, hitta närmaste apotek, spela in en video eller läsa noterna du ska spela.”
— Jonathan Santos

”Att ta appen till 23 nya språk, från tjeckiska till thailändska, från hebreiska till swahili, var ett beslut om rättvisa, inte om marknad. Hjälpmedelsteknik har alltid kommit först på engelska, och de som inte talar engelska har väntat i åratal. Nu kan många fler människor samtala med Visionauta på sitt eget språk.”
— Jonathan Santos

”Jag tackar professorerna Ismar Frango och Nizam Omar vid Universidade Presbiteriana Mackenzie, som uppmuntrade mig att förvandla ett akademiskt projekt till ett verkligt verktyg för gemenskapen.”
— Jonathan Santos

Programu isiyo na malipo, iliyobuniwa na mhandisi wa programu asiyeona aliyewahi kufanya kazi Google na Samsung, ina msaidizi anayeona: huzungumza kwa sauti bila kukatizwa, hueleza mazingira, hutaja mahali ulipo, hutafuta taarifa mtandaoni, husoma na kupiga muziki wa noti, hurekodi video zenye sauti na huwasaidia wasioona kupiga picha zilizopangwa vizuri. Inapatikana kwa iPhone na Android.

Visionauta, programu ya ufikivu inayotumia akili bandia kuwapa watu wasioona na wenye uoni hafifu uhuru zaidi, inatangaza toleo lake jipya — na sasa inazungumza lugha 39: Kireno, Kiingereza, Kihispania, Kifaransa, Kikorea, Kijerumani, Kijapani, Kiitaliano, Kiarabu, Kirusi, Kichina Rahisi, Kihindi, Kibengali, Kivietnamu, Kituruki na Kiindonesia, pamoja na lugha 23 mpya: Kicheki, Kigiriki, Kiestonia, Kifarsi, Kifini, Kiebrania, Kihungaria, Kiaislandi, Kilithuania, Kimarathi, Kiholanzi, Kipolandi, Kiromania, Kislovakia, Kislovenia, Kiswidi, Kiswahili, Kitamil, Kitelugu, Kithai, Kiukraine, Kiurdu na Kikantoni. Tafsiri inahusu programu nzima, amri za sauti, usomaji wa maandishi na pia majibu ya akili bandia, ambayo huzungumza na mtumiaji kwa lugha yake. Kwa lugha hizi 23 mpya, programu sasa inawafikia wazungumzaji barani Ulaya, Mashariki ya Kati, Afrika na Asia.

Programu hii haina malipo na inapatikana kwa iPhone, kwenye App Store, na kwa Android, kwenye Google Play.

MAZUNGUMZO YA WAKATI HALISI: MSAIDIZI ANAYEONA NA KUZUNGUMZA PAMOJA NAWE

Kipengele kikuu cha Visionauta ni Mazungumzo ya Wakati Halisi. Ndani yake, mtu huzungumza kawaida, bila kubonyeza vitufe na bila kusubiri zamu yake, na akili bandia inayoona kupitia kamera ya simu na kujibu kwa sauti papo hapo — kama kuwa na rafiki anayeona kando yako na kukueleza ulimwengu. Katika toleo la hivi karibuni, sauti ya mazungumzo imekuwa wazi zaidi, ikiwa na kelele chache na matamshi bora.

Wakati wa mazungumzo hayo, Visionauta inaweza:

• Kueleza mazingira na matukio — kilichomo chumbani, ni nani yuko karibu, meza ikoje, nguo gani ziko kitandani, kama taa imewashwa.
• Kusema ulipo na kilichopo karibu nawe — anwani ya sasa, barabara, alama muhimu, maduka ya dawa, mikate na kituo cha basi cha karibu zaidi, kwa kutumia taarifa za ramani za wakati halisi.
• Kutafuta taarifa mtandaoni — habari, ratiba, bei, data za kisasa, bila kutoka kwenye mazungumzo.
• Kusoma na kupiga muziki wa noti — elekeza tu kamera kwenye karatasi ya muziki iliyochapishwa. Visionauta hutambua noti, husoma muziki kwa sauti na kuupiga kwenye kifaa chenyewe, ikitengeneza faili za MusicXML na MIDI. Ni kipengele kisicho na kifani kwa wanamuziki wasioona, ambao kihistoria hutegemea watu wengine au matoleo adimu na ghali ya breli.
• Kumsaidia mtu mwenye ulemavu wa kuona kupiga picha — msaidizi wa picha huongoza upangaji wa fremu, hukuarifu inapokuwa vizuri, hufanya kuhesabu kurudi nyuma na kupiga picha, ili picha za familia, nyaraka au mitandao ya kijamii zitoke vizuri.
• Kurekodi video zenye sauti — mtu huomba kwa sauti, msaidizi huongoza upangaji wa fremu na kurekodi; rekodi inaweza kusimamishwa kwa muda, kuendelezwa, kukamilishwa au kughairiwa kwa vidhibiti vinavyofikika, na video huhifadhiwa kwenye Shughuli, tayari kutazamwa na kushirikiwa.
• Kuita gari kwa sauti — sema tu unakoenda na programu hufungua Uber, 99, Bolt au Lyft huku safari ikiwa imejazwa tayari, kilichobaki ni kuthibitisha tu.
• Kujibu swali lolote kuhusu kilichopo mbele ya kamera — bidhaa hii ni ipi, tarehe ya kuisha muda ni lini, nguo hii ni ya rangi gani, ubao huu unasema nini.

VISIONAUTA MAGIC: AKILI BANDIA INAYOELEZA PICHA NA KUFANYA KAZI KWENYE SIMU

Inapatikana kwenye Android pekee na kwa wanachama wa Visionauta Plus, Visionauta Magic hufanya kazi pamoja na kisomaji skrini cha kifaa, kama TalkBack, na hutatua matatizo mawili ya muda mrefu ya jamii:

Kwanza, hueleza picha zisizo na lebo zinazoonekana katika programu yoyote. Kisomaji skrini kinaposimama kwenye picha, ikoni au kadi isiyo na maelezo, Visionauta huchambua kipengele hicho pekee na kutangaza kwa sauti kilichomo.

Pili, hufanya kazi kwenye simu. Mtu huomba kitu kama "fungua WhatsApp na umtumie Ana ujumbe", na Visionauta hutengeneza mpango, husoma mpango huo kwa sauti na hutenda tu baada ya mtumiaji kuuidhinisha — ikisimulia kila hatua na ikiweza kusimamishwa wakati wowote kwa kitufe cha dharura au kwa kugusa mara mbili kwa vidole viwili. Hakuna kinachotokea bila uthibitisho.

VIPENGELE VYA KILA SIKU

Mbali na mazungumzo, Visionauta inaendelea kuwa na zana zilizoifanya ipendwe katika jamii ya watu wenye ulemavu wa kuona, nyingi zikifanya kazi bila intaneti:

• Usomaji wa maandishi bila intaneti — elekeza kamera kwenye nyaraka, vifungashio, barua au ishara na usikie maudhui kwa sauti.
• Utambuzi wa noti za pesa — Real, Dola, Euro, Peso ya Meksiko, Yeni, Dola ya Kanada na Dola ya Australia, bila muunganisho.
• Kitafuta vitu — sema "nisaidie kupata simu yangu" na programu huchanganua mazingira, ikikuarifu kwa mtetemo na sauti inapopata.
• Kioo cha kukuza cha kielektroniki kwa uoni hafifu — chenye kukuza na hali za utofautishaji wa juu, rangi zilizogeuzwa, nyeupe kwenye nyeusi, nyeusi kwenye nyeupe na njano kwenye samawati.
• Tochi yenye kikumbusho cha mtetemo.
• Sauti asilia zake zenyewe — zinazoweza kutumika katika mfumo mzima, kama sauti ya TalkBack kwenye Android na ya VoiceOver kwenye iPhone, zikifanya kazi bila intaneti baada ya kupakuliwa.

Toleo la iPhone limeunganishwa kikamilifu na VoiceOver na vipengele vya ufikivu vya iOS.

TAMKO

"Mazungumzo ya Wakati Halisi yamebadilisha Visionauta ni nini. Si programu tena ambapo unapiga picha na kusubiri jibu: ni mazungumzo endelevu na mtu anayeona kwa niaba yako na yupo kila wakati, iwe ni kueleza barabara, kupata duka la dawa la karibu, kurekodi video au kusoma muziki wa noti utakaoupiga."
— Jonathan Santos

"Kupeleka programu kwenye lugha 23 mpya, kuanzia Kicheki hadi Kithai, kuanzia Kiebrania hadi Kiswahili, ilikuwa uamuzi wa haki, si wa soko. Teknolojia saidizi siku zote imefika kwanza kwa Kiingereza, na wasiozungumza Kiingereza walisubiri kwa miaka. Sasa watu wengi zaidi wanaweza kuzungumza na Visionauta kwa lugha yao wenyewe."
— Jonathan Santos

"Nawashukuru maprofesa Ismar Frango na Nizam Omar, wa Universidade Presbiteriana Mackenzie, walionitia moyo kugeuza mradi wa kitaaluma kuwa zana halisi kwa jamii."
— Jonathan Santos

Google மற்றும் Samsungகில் பணியாற்றிய பார்வையற்ற மென்பொருள் பொறியாளர் உருவாக்கிய இலவச செயலியில் பார்க்கக்கூடிய உதவியாளர் உள்ளார்: இடையூறின்றி குரலில் உரையாடுகிறார், சூழலை விவரிக்கிறார், பயனர் எங்கிருக்கிறார் என்பதைச் சொல்கிறார், இணையத்தில் தகவல்களைத் தேடுகிறார், இசைக் குறிப்புத் தாள்களைப் படித்து இசைக்கிறார், ஒலியுடன் வீடியோக்களைப் பதிவு செய்கிறார், பார்வையற்றோர் நன்கு சட்டமிடப்பட்ட புகைப்படங்களை எடுக்க உதவுகிறார். iPhone மற்றும் ஆண்ட்ராய்டில் கிடைக்கிறது.

செயற்கை நுண்ணறிவைப் பயன்படுத்தி பார்வையற்றோருக்கும் குறைந்த பார்வை உடையோருக்கும் அதிக சுதந்திரம் அளிக்கும் அணுகல்தன்மைச் செயலியான Visionauta தனது புதிய பதிப்பை அறிவிக்கிறது — இப்போது அது 39 மொழிகளைப் பேசுகிறது: போர்த்துகீசியம், ஆங்கிலம், ஸ்பானிஷ், பிரெஞ்சு, கொரியன், ஜெர்மன், ஜப்பானிய மொழி, இத்தாலியன், அரபு, ரஷ்யன், எளிமைப்படுத்தப்பட்ட சீனம், இந்தி, வங்காளம், வியட்நாமியம், துருக்கியம், இந்தோனேசியன் ஆகியவற்றுடன் 23 புதிய மொழிகள்: செக், கிரேக்கம், எஸ்தோனியன், பாரசீகம், ஃபின்னிஷ், ஹீப்ரு, ஹங்கேரியன், ஐஸ்லாந்திக், லிதுவேனியன், மராத்தி, டச்சு, போலிஷ், ருமேனியன், ஸ்லோவாக், ஸ்லோவேனியன், ஸ்வீடிஷ், சுவாஹிலி, தமிழ், தெலுங்கு, தாய், உக்ரேனியன், உருது, கான்டோனீஸ். மொழிபெயர்ப்பு செயலி முழுவதற்கும், குரல் கட்டளைகளுக்கும், உரை வாசிப்புக்கும், பயனரின் மொழியிலேயே அவருடன் உரையாடும் செயற்கை நுண்ணறிவின் பதில்களுக்கும் பொருந்தும். இந்த 23 புதிய மொழிகளுடன், செயலி ஐரோப்பா, மத்திய கிழக்கு, ஆப்பிரிக்கா, ஆசியா ஆகிய பகுதிகளின் பேச்சாளர்களைச் சென்றடைகிறது.

செயலி இலவசம்; ஐபோனுக்கு ஆப் ஸ்டோரிலும், Androidக்கு Google Play-விலும் கிடைக்கிறது.

நிகழ்நேர உரையாடல்: பார்த்துக்கொண்டே பேசும் உதவியாளர்

Visionautaவின் முக்கிய அம்சம் நிகழ்நேர உரையாடல். இதில், பயனர் பொத்தான்களை அழுத்தாமல், தன் முறைக்காகக் காத்திருக்காமல், இயல்பாகப் பேசுகிறார்; கைபேசியின் கேமரா வழியாகப் பார்க்கும் செயற்கை நுண்ணறிவு உடனே குரலில் பதிலளிக்கிறது — உலகைப் பார்த்து விவரிக்கும் ஒரு நண்பர் அருகில் இருப்பது போல. சமீபத்திய பதிப்பில், உரையாடலின் குரல் மேலும் தெளிவாகி, இரைச்சல் குறைந்து, உச்சரிப்பு மேம்பட்டுள்ளது.

இந்த உரையாடலின்போது Visionauta செய்யக்கூடியவை:

• சூழல்களையும் காட்சிகளையும் விவரித்தல் — அறையில் என்ன இருக்கிறது, அருகில் யார் இருக்கிறார்கள், மேசை எப்படி இருக்கிறது, படுக்கையில் என்ன உடை இருக்கிறது, விளக்கு எரிகிறதா.
• பயனர் எங்கிருக்கிறார், சுற்றி என்ன இருக்கிறது என்பதைச் சொல்லுதல் — தற்போதைய முகவரி, தெருக்கள், அடையாளக் குறிப்புகள், மருந்தகங்கள், ரொட்டிக் கடைகள், அருகிலுள்ள பேருந்து நிறுத்தம், நிகழ்நேர வரைபடத் தகவல்களைப் பயன்படுத்தி.
• இணையத்தில் தகவல்களைத் தேடுதல் — செய்திகள், நேரங்கள், விலைகள், புதுப்பிக்கப்பட்ட தரவுகள், உரையாடலை விட்டு வெளியேறாமலேயே.
• இசைக் குறிப்புத் தாள்களைப் படித்து இசைத்தல் — அச்சிடப்பட்ட இசைத் தாளை நோக்கி கேமராவைக் காட்டினால் போதும். Visionauta குறிப்புகளை அடையாளம் கண்டு, இசையை உரக்கப் படித்து, சாதனத்திலேயே இசைக்கிறது; MusicXML மற்றும் MIDI கோப்புகளையும் உருவாக்குகிறது. பார்வையற்ற இசைக்கலைஞர்களுக்கு முன்னெப்போதும் இல்லாத அம்சம்; அவர்கள் வரலாற்று ரீதியாக மற்றவர்களையோ அரிதான, விலை உயர்ந்த பிரெய்ல் பதிப்புகளையோ சார்ந்திருந்தனர்.
• பார்வைக் குறைபாடுள்ளவர் புகைப்படம் எடுக்க உதவுதல் — புகைப்பட உதவியாளர் சட்டமிடலை வழிநடத்தி, சரியாக இருக்கும்போது தெரிவித்து, எண்ணிக்கையைக் கணக்கிட்டு கேமராவை இயக்குகிறது; இதனால் குடும்பப் புகைப்படங்கள், ஆவணங்கள், சமூக ஊடகப் படங்கள் நன்றாக அமைகின்றன.
• ஒலியுடன் வீடியோக்களைப் பதிவு செய்தல் — பயனர் குரலில் கேட்கிறார், உதவியாளர் சட்டமிடலை வழிநடத்திப் பதிவு செய்கிறது; பதிவை அணுகத்தக்க கட்டுப்பாடுகளால் இடைநிறுத்தலாம், தொடரலாம், முடிக்கலாம் அல்லது ரத்து செய்யலாம்; வீடியோக்கள் செயல்பாடுகள் பகுதியில் சேமிக்கப்பட்டு, பார்க்கவும் பகிரவும் தயாராக இருக்கும்.
• குரலில் கார் அழைத்தல் — சேருமிடத்தைச் சொன்னால் போதும்; செயலி Uber, 99, Bolt அல்லது Lyft-ஐ பயணத் தகவலுடன் திறக்கும், உறுதிப்படுத்துவது மட்டுமே மீதம்.
• கேமரா முன் இருப்பது பற்றிய எந்தக் கேள்விக்கும் பதிலளித்தல் — இது என்ன பொருள், காலாவதி தேதி என்ன, இந்த ஆடையின் நிறம் என்ன, இந்தப் பலகை என்ன சொல்கிறது.

Visionauta Magic: படங்களை விவரித்து கைபேசியில் பணிகளைச் செய்யும் செயற்கை நுண்ணறிவு

Androidக்கு மட்டுமேயான, Visionauta Plus சந்தாதாரர்களுக்குக் கிடைக்கும் Visionauta Magic, TalkBack போன்ற சாதனத்தின் திரை வாசிப்பானுடன் இணைந்து செயல்பட்டு, சமூகத்தின் இரண்டு நீண்டகாலச் சிக்கல்களைத் தீர்க்கிறது:

முதலாவது, எந்தச் செயலியிலும் தோன்றும் பெயரிடப்படாத படங்களை விவரிக்கிறது. திரை வாசிப்பானின் கவனம் விளக்கமில்லாத படம், ஐகான் அல்லது அட்டையில் நிற்கும்போது, Visionauta அந்த உறுப்பை மட்டும் ஆராய்ந்து, அதில் என்ன இருக்கிறது என்பதை உரக்க அறிவிக்கிறது.

இரண்டாவது, கைபேசியில் பணிகளைச் செய்கிறது. பயனர் "WhatsApp-ஐத் திறந்து அனாவுக்குச் செய்தி அனுப்பு" போன்ற ஒன்றைக் கேட்கிறார்; Visionauta ஒரு திட்டத்தை உருவாக்கி, அதை உரக்கப் படித்து, பயனர் ஒப்புதல் அளித்த பிறகே செயல்படுகிறது — ஒவ்வொரு படியையும் விவரித்தபடி, அவசரப் பொத்தான் மூலமாகவோ இரண்டு விரல்களால் இருமுறை தட்டுவதன் மூலமாகவோ எந்த நேரத்திலும் நிறுத்தப்படலாம். உறுதிப்படுத்தல் இல்லாமல் எதுவும் நடப்பதில்லை.

அன்றாட அம்சங்கள்

உரையாடலுக்கு அப்பால், பார்வையற்றோர் சமூகத்தில் Visionautaவைப் பிரபலமாக்கிய கருவித்தொகுப்பையும் அது தொடர்ந்து கொண்டுள்ளது; அவற்றில் பெரும்பாலானவை இணையம் இல்லாமல் செயல்படுகின்றன:

• இணையமின்றி உரை வாசிப்பு — ஆவணங்கள், பொதிகள், கடிதங்கள் அல்லது பலகைகளை நோக்கி கேமராவைக் காட்டி, உள்ளடக்கத்தை உரக்கக் கேளுங்கள்.
• பணத்தாள் அடையாளம் — ரியால், டாலர், யூரோ, மெக்சிகன் பெசோ, யென், கனடிய டாலர், ஆஸ்திரேலிய டாலர், இணைப்பு இல்லாமல்.
• பொருள் கண்டுபிடிப்பான் — "என் கைபேசியைக் கண்டுபிடிக்க உதவு" என்று சொல்லுங்கள்; செயலி சூழலை ஸ்கேன் செய்து, கண்டுபிடித்ததும் அதிர்வு மற்றும் குரலில் தெரிவிக்கும்.
• குறைந்த பார்வைக்கான மின்னணு பெருக்கி — பெரிதாக்கத்துடனும், அதிக மாறுபாடு, தலைகீழ் நிறங்கள், கருப்பில் வெள்ளை, வெள்ளையில் கருப்பு, நீலத்தில் மஞ்சள் ஆகிய முறைகளுடனும்.
• அதிர்வு நினைவூட்டலுடன் கூடிய டார்ச்.
• சொந்த இயல்பான குரல்கள் — Android-இல் TalkBack குரலாகவும் iPhone-இல் VoiceOver குரலாகவும் முழு அமைப்பிலும் பயன்படுத்தலாம்; பதிவிறக்கிய பிறகு இணையமின்றி செயல்படும்.

iPhone பதிப்பு VoiceOver மற்றும் iOS-இன் அணுகல்தன்மை வசதிகளுடன் முழுமையாக ஒருங்கிணைந்துள்ளது.

அறிக்கைகள்

"நிகழ்நேர உரையாடல் Visionauta என்றால் என்ன என்பதையே மாற்றிவிட்டது. இது இனி புகைப்படம் எடுத்துவிட்டுப் பதிலுக்காகக் காத்திருக்கும் செயலி அல்ல: உங்களுக்காகப் பார்க்கும், எப்போதும் உடனிருக்கும் ஒருவருடன் தொடர்ச்சியான உரையாடல் — தெருவை விவரிக்கவோ, அருகிலுள்ள மருந்தகத்தைக் கண்டுபிடிக்கவோ, வீடியோ பதிவு செய்யவோ, நீங்கள் இசைக்கப்போகும் இசைத் தாளைப் படிக்கவோ."
— Jonathan Santos

"செயலியை செக் முதல் தாய் வரை, ஹீப்ரு முதல் சுவாஹிலி வரை 23 புதிய மொழிகளுக்குக் கொண்டு செல்வது நீதியின் முடிவே தவிர சந்தையின் முடிவு அல்ல. உதவித் தொழில்நுட்பம் எப்போதும் முதலில் ஆங்கிலத்தில்தான் வந்தது; ஆங்கிலம் பேசாதவர்கள் ஆண்டுகள் காத்திருந்தனர். இப்போது இன்னும் பலர் Visionautaவுடன் தங்கள் சொந்த மொழியில் உரையாடலாம்."
— Jonathan Santos

"கல்வித் திட்டத்தை சமூகத்துக்கான உண்மையான கருவியாக மாற்ற என்னை ஊக்குவித்த Universidade Presbiteriana Mackenzie பேராசிரியர்கள் Ismar Frango மற்றும் Nizam Omar ஆகியோருக்கு நன்றி."
— Jonathan Santos

Google, Samsung లలో పనిచేసిన అంధ సాఫ్ట్‌వేర్ ఇంజనీర్ రూపొందించిన ఉచిత యాప్‌లో చూడగలిగే సహాయకుడు ఉన్నాడు: అంతరాయం లేకుండా గొంతుతో సంభాషిస్తాడు, పరిసరాలను వివరిస్తాడు, వ్యక్తి ఎక్కడ ఉన్నాడో చెబుతాడు, ఇంటర్నెట్‌లో సమాచారం వెతుకుతాడు, సంగీత స్వరపత్రాలను చదివి వాయిస్తాడు, శబ్దంతో వీడియోలను రికార్డ్ చేస్తాడు, అంధులు చక్కగా ఫ్రేమ్ చేసిన ఫోటోలు తీయడానికి సహాయపడతాడు. iPhone మరియు Android లలో అందుబాటులో ఉంది.

కృత్రిమ మేధను ఉపయోగించి అంధులకు, తక్కువ దృష్టి ఉన్నవారికి మరింత స్వయంప్రతిపత్తి ఇచ్చే యాక్సెసిబిలిటీ యాప్ Visionauta తన కొత్త వెర్షన్‌ను ప్రకటించింది — ఇప్పుడు ఇది 39 భాషలు మాట్లాడుతుంది: పోర్చుగీస్, ఇంగ్లిష్, స్పానిష్, ఫ్రెంచ్, కొరియన్, జర్మన్, జపనీస్, ఇటాలియన్, అరబిక్, రష్యన్, సరళీకృత చైనీస్, హిందీ, బెంగాలీ, వియత్నామీస్, టర్కిష్, ఇండోనేషియన్ లతో పాటు 23 కొత్త భాషలు: చెక్, గ్రీకు, ఎస్టోనియన్, పర్షియన్, ఫిన్నిష్, హిబ్రూ, హంగేరియన్, ఐస్‌లాండిక్, లిథువేనియన్, మరాఠీ, డచ్, పోలిష్, రొమేనియన్, స్లోవాక్, స్లోవేనియన్, స్వీడిష్, స్వాహిలీ, తమిళం, తెలుగు, థాయ్, ఉక్రేనియన్, ఉర్దూ, కాంటనీస్. అనువాదం యాప్ మొత్తానికి, వాయిస్ కమాండ్‌లకు, టెక్స్ట్ చదవడానికి, అలాగే వినియోగదారుతో వారి భాషలోనే మాట్లాడే కృత్రిమ మేధ సమాధానాలకు కూడా వర్తిస్తుంది. ఈ 23 కొత్త భాషలతో, యాప్ ఇప్పుడు యూరప్, మధ్యప్రాచ్యం, ఆఫ్రికా, ఆసియాలలోని మాట్లాడేవారికి చేరుతోంది.

యాప్ ఉచితం, iPhone కోసం App Store‌లో, Android కోసం Google Play‌లో అందుబాటులో ఉంది.

రియల్‌టైమ్ సంభాషణ: చూస్తూ, కలిసి మాట్లాడే సహాయకుడు

Visionauta ప్రధాన ఫీచర్ రియల్‌టైమ్ సంభాషణ. దీనిలో వ్యక్తి సహజంగా మాట్లాడతాడు, బటన్లు నొక్కకుండా, తన వంతు కోసం ఎదురుచూడకుండా; ఫోన్ కెమెరా ద్వారా చూసే కృత్రిమ మేధ వెంటనే గొంతుతో బదులిస్తుంది — ప్రపంచాన్ని చూసి వివరించే స్నేహితుడు పక్కనే ఉన్నట్లు. తాజా వెర్షన్‌లో, సంభాషణ స్వరం మరింత స్పష్టమైంది, శబ్దాలు తగ్గాయి, ఉచ్చారణ మెరుగైంది.

ఈ సంభాషణ సమయంలో Visionauta ఇవి చేయగలదు:

• పరిసరాలను, దృశ్యాలను వివరించడం — గదిలో ఏముంది, దగ్గర ఎవరున్నారు, బల్ల ఎలా ఉంది, మంచం మీద ఏ దుస్తులు ఉన్నాయి, లైటు వెలుగుతోందా.
• వ్యక్తి ఎక్కడ ఉన్నాడో, చుట్టూ ఏముందో చెప్పడం — ప్రస్తుత చిరునామా, వీధులు, ల్యాండ్‌మార్క్‌లు, ఫార్మసీలు, బేకరీలు, దగ్గరి బస్ స్టాప్, రియల్‌టైమ్ మ్యాప్ సమాచారాన్ని ఉపయోగించి.
• ఇంటర్నెట్‌లో సమాచారం వెతకడం — వార్తలు, సమయాలు, ధరలు, తాజా డేటా, సంభాషణ నుంచి బయటకు రాకుండానే.
• సంగీత స్వరపత్రాలను చదివి వాయించడం — ముద్రించిన స్వరపత్రం వైపు కెమెరా చూపిస్తే చాలు. Visionauta స్వరాలను గుర్తించి, సంగీతాన్ని బిగ్గరగా చదివి, పరికరంలోనే వాయిస్తుంది, MusicXML మరియు MIDI ఫైళ్లను రూపొందిస్తుంది. చరిత్రాత్మకంగా ఇతరులపై లేదా అరుదైన, ఖరీదైన బ్రెయిలీ ప్రచురణలపై ఆధారపడిన అంధ సంగీతకారులకు ఇది ఇంతవరకు లేని ఫీచర్.
• దృష్టి లోపం ఉన్నవారు ఫోటోలు తీయడానికి సహాయపడటం — ఫోటో సహాయకుడు ఫ్రేమింగ్‌ను నిర్దేశిస్తుంది, సరిగ్గా ఉన్నప్పుడు తెలియజేస్తుంది, కౌంట్‌డౌన్ చేసి కెమెరాను క్లిక్ చేస్తుంది, తద్వారా కుటుంబ ఫోటోలు, పత్రాలు, సోషల్ మీడియా ఫోటోలు చక్కగా వస్తాయి.
• శబ్దంతో వీడియోలను రికార్డ్ చేయడం — వ్యక్తి గొంతుతో అడుగుతాడు, సహాయకుడు ఫ్రేమింగ్‌ను నిర్దేశించి రికార్డ్ చేస్తుంది; రికార్డింగ్‌ను అందుబాటులో ఉండే నియంత్రణలతో పాజ్ చేయవచ్చు, తిరిగి కొనసాగించవచ్చు, ముగించవచ్చు లేదా రద్దు చేయవచ్చు, వీడియోలు యాక్టివిటీస్‌లో సేవ్ అవుతాయి, చూడటానికి, షేర్ చేయడానికి సిద్ధంగా ఉంటాయి.
• గొంతుతో కారు బుక్ చేయడం — గమ్యం చెబితే చాలు, యాప్ Uber, 99, Bolt లేదా Lyft ను ప్రయాణ వివరాలు నింపి తెరుస్తుంది, ధృవీకరించడం మాత్రమే మిగులుతుంది.
• కెమెరా ముందున్న దాని గురించి ఏ ప్రశ్నకైనా సమాధానం ఇవ్వడం — ఇది ఏ ఉత్పత్తి, గడువు తేదీ ఏమిటి, ఈ దుస్తుల రంగు ఏమిటి, ఈ బోర్డు ఏం చెబుతోంది.

Visionauta Magic: చిత్రాలను వివరించి, ఫోన్‌లో పనులు చేసే AI

Android కు మాత్రమే ప్రత్యేకమైన, Visionauta Plus చందాదారులకు అందుబాటులో ఉన్న Visionauta Magic, TalkBack వంటి పరికర స్క్రీన్ రీడర్‌తో కలిసి పనిచేసి, సమాజం ఎదుర్కొంటున్న రెండు పాత సమస్యలను పరిష్కరిస్తుంది:

మొదటిది, ఏ అప్లికేషన్‌లోనైనా కనిపించే లేబుల్ లేని చిత్రాలను వివరిస్తుంది. స్క్రీన్ రీడర్ ఫోకస్ వివరణ లేని చిత్రం, ఐకాన్ లేదా కార్డ్ మీద ఆగినప్పుడు, Visionauta ఆ అంశాన్ని మాత్రమే విశ్లేషించి, అందులో ఏముందో బిగ్గరగా ప్రకటిస్తుంది.

రెండవది, ఫోన్‌లో పనులు చేస్తుంది. వ్యక్తి "WhatsApp తెరిచి అనాకు సందేశం పంపు" లాంటిది అడుగుతాడు, Visionauta ఒక ప్రణాళిక రూపొందించి, ఆ ప్రణాళికను బిగ్గరగా చదివి, వినియోగదారు ఆమోదించిన తర్వాత మాత్రమే చర్య తీసుకుంటుంది — ప్రతి అడుగును వివరిస్తూ, ఎమర్జెన్సీ బటన్‌తో లేదా రెండు వేళ్లతో రెండుసార్లు తట్టడం ద్వారా ఎప్పుడైనా ఆపవచ్చు. ధృవీకరణ లేకుండా ఏదీ జరగదు.

రోజువారీ ఫీచర్లు

సంభాషణకు మించి, దృష్టి లోపం ఉన్నవారి సమాజంలో Visionautaను ప్రజాదరణ పొందేలా చేసిన సాధనాల సమితిని కూడా అది కొనసాగిస్తోంది; వాటిలో చాలా వరకు ఇంటర్నెట్ లేకుండా పనిచేస్తాయి:

• ఆఫ్‌లైన్ టెక్స్ట్ చదవడం — పత్రాలు, ప్యాకేజింగ్, ఉత్తరాలు లేదా బోర్డుల వైపు కెమెరా చూపించి, విషయాన్ని బిగ్గరగా వినండి.
• కరెన్సీ నోట్ల గుర్తింపు — రియల్, డాలర్, యూరో, మెక్సికన్ పెసో, యెన్, కెనడియన్ మరియు ఆస్ట్రేలియన్ డాలర్, కనెక్షన్ లేకుండా.
• వస్తువుల శోధిని — "నా ఫోన్ కనుగొనడంలో సహాయం చేయి" అని చెప్పండి, యాప్ పరిసరాలను స్కాన్ చేసి, దొరికినప్పుడు వైబ్రేషన్‌తో, గొంతుతో తెలియజేస్తుంది.
• తక్కువ దృష్టి కోసం ఎలక్ట్రానిక్ భూతద్దం — జూమ్‌తో, హై కాంట్రాస్ట్ మోడ్‌లతో, తిరగబడిన రంగులు, నలుపుపై తెలుపు, తెలుపుపై నలుపు, నీలంపై పసుపు.
• వైబ్రేషన్ రిమైండర్‌తో టార్చ్.
• సొంత సహజ స్వరాలు — Android లో TalkBack స్వరంగా, iPhone లో VoiceOver స్వరంగా సిస్టమ్ అంతటా ఉపయోగించవచ్చు, డౌన్‌లోడ్ చేసిన తర్వాత ఆఫ్‌లైన్‌లో పనిచేస్తాయి.

iPhone వెర్షన్ VoiceOver తో మరియు iOS యాక్సెసిబిలిటీ ఫీచర్లతో పూర్తిగా అనుసంధానమై ఉంది.

ప్రకటనలు

"రియల్‌టైమ్ సంభాషణ Visionauta అంటే ఏమిటో మార్చేసింది. ఇది ఇకపై ఫోటో తీసి సమాధానం కోసం ఎదురుచూసే యాప్ కాదు: మీ కోసం చూస్తూ ఎల్లప్పుడూ అక్కడే ఉండే వ్యక్తితో నిరంతర సంభాషణ — వీధిని వివరించడానికైనా, దగ్గరి ఫార్మసీని కనుగొనడానికైనా, వీడియో రికార్డ్ చేయడానికైనా, మీరు వాయించబోయే స్వరపత్రాన్ని చదవడానికైనా."
— Jonathan Santos

"యాప్‌ను చెక్ నుండి థాయ్ వరకు, హిబ్రూ నుండి స్వాహిలీ వరకు 23 కొత్త భాషలకు తీసుకెళ్లడం న్యాయం కోసం తీసుకున్న నిర్ణయం, మార్కెట్ కోసం కాదు. సహాయక సాంకేతికత ఎప్పుడూ ముందుగా ఇంగ్లిష్‌లోనే వచ్చింది, ఇంగ్లిష్ రానివారు సంవత్సరాలు వేచి ఉండేవారు. ఇప్పుడు చాలా మంది ప్రజలు Visionauta తో తమ సొంత భాషలో మాట్లాడవచ్చు."
— Jonathan Santos

"ఒక విద్యా ప్రాజెక్టును సమాజానికి నిజమైన సాధనంగా మార్చడానికి నన్ను ప్రోత్సహించిన Universidade Presbiteriana Mackenzie ప్రొఫెసర్లు Ismar Frango, Nizam Omar లకు కృతజ్ఞతలు."
— Jonathan Santos

แอปฟรีที่สร้างโดยวิศวกรซอฟต์แวร์ผู้พิการทางสายตาซึ่งเคยทำงานที่ Google และ Samsung มาพร้อมผู้ช่วยที่มองเห็น: สนทนาด้วยเสียงอย่างต่อเนื่องไม่สะดุด บรรยายสภาพแวดล้อม บอกว่าผู้ใช้อยู่ที่ไหน ค้นหาข้อมูลบนอินเทอร์เน็ต อ่านและเล่นโน้ตดนตรี บันทึกวิดีโอพร้อมเสียง และช่วยให้ผู้พิการทางสายตาถ่ายภาพได้ในกรอบที่พอดี ใช้งานได้บน iPhone และ Android

Visionauta แอปด้านการเข้าถึงที่ใช้ปัญญาประดิษฐ์เพื่อมอบความเป็นอิสระมากขึ้นให้ผู้พิการทางสายตาและผู้มีสายตาเลือนราง ประกาศเปิดตัวเวอร์ชันใหม่ และตอนนี้รองรับ 39 ภาษา ได้แก่ โปรตุเกส อังกฤษ สเปน ฝรั่งเศส เกาหลี เยอรมัน ญี่ปุ่น อิตาลี อาหรับ รัสเซีย จีนตัวย่อ ฮินดี เบงกาลี เวียดนาม ตุรกี และอินโดนีเซีย รวมถึง 23 ภาษาใหม่ ได้แก่ เช็ก กรีก เอสโตเนีย เปอร์เซีย ฟินแลนด์ ฮีบรู ฮังการี ไอซ์แลนด์ ลิทัวเนีย มราฐี ดัตช์ โปแลนด์ โรมาเนีย สโลวัก สโลวีเนีย สวีเดน สวาฮีลี ทมิฬ เตลูกู ไทย ยูเครน อูรดู และกวางตุ้ง การแปลครอบคลุมทั้งแอป คำสั่งเสียง การอ่านข้อความ และคำตอบของปัญญาประดิษฐ์ ซึ่งสนทนากับผู้ใช้ด้วยภาษาของผู้ใช้เอง ด้วย 23 ภาษาใหม่นี้ แอปจึงเข้าถึงผู้พูดในยุโรป ตะวันออกกลาง แอฟริกา และเอเชีย

แอปนี้ใช้งานฟรี และมีให้ดาวน์โหลดบน iPhone ผ่าน App Store และบน Android ผ่าน Google Play

การสนทนาแบบเรียลไทม์: ผู้ช่วยที่มองเห็นและพูดคุยไปพร้อมกัน

ฟีเจอร์หลักของ Visionauta คือการสนทนาแบบเรียลไทม์ ผู้ใช้พูดคุยได้อย่างเป็นธรรมชาติ โดยไม่ต้องกดปุ่มและไม่ต้องรอตาพูด กับปัญญาประดิษฐ์ที่มองเห็นผ่านกล้องของโทรศัพท์และตอบกลับด้วยเสียงทันที เหมือนมีเพื่อนที่มองเห็นคอยอยู่ข้าง ๆ และบอกเล่าสิ่งรอบตัว ในเวอร์ชันล่าสุด เสียงสนทนาชัดเจนขึ้น มีเสียงรบกวนน้อยลง และออกเสียงได้ดีขึ้น

ระหว่างการสนทนานี้ Visionauta สามารถ:

• บรรยายสภาพแวดล้อมและฉาก — ในห้องมีอะไรบ้าง ใครอยู่ใกล้ ๆ โต๊ะเป็นอย่างไร เสื้อผ้าอะไรวางอยู่บนเตียง ไฟเปิดอยู่หรือไม่
• บอกว่าผู้ใช้อยู่ที่ไหนและมีอะไรอยู่รอบตัว — ที่อยู่ปัจจุบัน ถนน จุดสังเกต ร้านขายยา ร้านเบเกอรี และป้ายรถเมล์ที่ใกล้ที่สุด โดยใช้ข้อมูลแผนที่แบบเรียลไทม์
• ค้นหาข้อมูลบนอินเทอร์เน็ต — ข่าว เวลา ราคา ข้อมูลล่าสุด โดยไม่ต้องออกจากการสนทนา
• อ่านและเล่นโน้ตดนตรี — เพียงชี้กล้องไปที่โน้ตเพลงที่พิมพ์ไว้ Visionauta จะระบุตัวโน้ต อ่านเพลงออกเสียง และเล่นบนอุปกรณ์เอง พร้อมสร้างไฟล์ MusicXML และ MIDI ถือเป็นฟีเจอร์ครั้งแรกสำหรับนักดนตรีผู้พิการทางสายตา ซึ่งที่ผ่านมาต้องพึ่งพาผู้อื่นหรือฉบับอักษรเบรลล์ที่หายากและมีราคาแพง
• ช่วยผู้พิการทางสายตาถ่ายภาพ — ผู้ช่วยถ่ายภาพจะแนะนำการจัดกรอบ แจ้งเมื่อพอดีแล้ว นับถอยหลัง และกดชัตเตอร์ เพื่อให้ภาพครอบครัว ภาพเอกสาร หรือภาพสำหรับโซเชียลมีเดียออกมาสวยงาม
• บันทึกวิดีโอพร้อมเสียง — ผู้ใช้สั่งด้วยเสียง ผู้ช่วยจะแนะนำการจัดกรอบและบันทึก สามารถหยุดชั่วคราว บันทึกต่อ สิ้นสุด หรือยกเลิกได้ด้วยปุ่มควบคุมที่เข้าถึงได้ และวิดีโอจะถูกเก็บไว้ในกิจกรรม พร้อมให้ดูและแชร์
• เรียกรถด้วยเสียง — เพียงบอกจุดหมายปลายทาง แอปจะเปิด Uber, 99, Bolt หรือ Lyft พร้อมกรอกข้อมูลการเดินทางไว้แล้ว เหลือเพียงกดยืนยัน
• ตอบทุกคำถามเกี่ยวกับสิ่งที่อยู่หน้ากล้อง — นี่คือสินค้าอะไร วันหมดอายุคือเมื่อไร เสื้อตัวนี้สีอะไร ป้ายนี้เขียนว่าอะไร

VISIONAUTA MAGIC: AI ที่บรรยายภาพและทำงานบนโทรศัพท์

Visionauta Magic มีเฉพาะบน Android สำหรับสมาชิก Visionauta Plus ทำงานร่วมกับโปรแกรมอ่านหน้าจอของอุปกรณ์ เช่น TalkBack และแก้ปัญหาเรื้อรังสองข้อของชุมชน:

ข้อแรก บรรยายภาพที่ไม่มีป้ายกำกับซึ่งปรากฏในแอปใดก็ตาม เมื่อโฟกัสของโปรแกรมอ่านหน้าจอหยุดที่ภาพ ไอคอน หรือการ์ดที่ไม่มีคำอธิบาย Visionauta จะวิเคราะห์เฉพาะองค์ประกอบนั้นและประกาศด้วยเสียงว่ามีอะไรอยู่

ข้อที่สอง ทำงานบนโทรศัพท์ ผู้ใช้ขอบางอย่าง เช่น "เปิด WhatsApp แล้วส่งข้อความหา Ana" และ Visionauta จะวางแผน อ่านแผนออกเสียง และลงมือทำหลังจากผู้ใช้อนุมัติเท่านั้น โดยเล่าทุกขั้นตอน และหยุดได้ทุกเมื่อด้วยปุ่มฉุกเฉินหรือการแตะสองครั้งด้วยสองนิ้ว ไม่มีอะไรเกิดขึ้นโดยไม่ได้รับการยืนยัน

ฟีเจอร์ใช้งานทุกวัน

นอกจากการสนทนา Visionauta ยังคงชุดเครื่องมือที่ทำให้เป็นที่นิยมในชุมชนผู้พิการทางสายตา ซึ่งส่วนใหญ่ทำงานได้โดยไม่ต้องใช้อินเทอร์เน็ต:

• อ่านข้อความแบบออฟไลน์ — ชี้กล้องไปที่เอกสาร บรรจุภัณฑ์ จดหมาย หรือป้าย แล้วฟังเนื้อหาออกเสียง
• จดจำธนบัตร — เรอัล ดอลลาร์ ยูโร เปโซเม็กซิโก เยน ดอลลาร์แคนาดา และดอลลาร์ออสเตรเลีย โดยไม่ต้องเชื่อมต่ออินเทอร์เน็ต
• ตัวค้นหาวัตถุ — พูดว่า "ช่วยหาโทรศัพท์ของฉันหน่อย" แล้วแอปจะสแกนสภาพแวดล้อม และแจ้งด้วยการสั่นและเสียงเมื่อพบ
• แว่นขยายอิเล็กทรอนิกส์สำหรับผู้มีสายตาเลือนราง — พร้อมการซูมและโหมดความคมชัดสูง สีกลับด้าน ขาวบนดำ ดำบนขาว และเหลืองบนน้ำเงิน
• ไฟฉายพร้อมการแจ้งเตือนด้วยการสั่น
• เสียงธรรมชาติของตัวเอง — ใช้ได้ทั้งระบบ เป็นเสียงของ TalkBack บน Android และของ VoiceOver บน iPhone และทำงานแบบออฟไลน์หลังดาวน์โหลดแล้ว

เวอร์ชัน iPhone ผสานการทำงานกับ VoiceOver และฟีเจอร์การเข้าถึงของ iOS อย่างสมบูรณ์

คำกล่าว

"การสนทนาแบบเรียลไทม์เปลี่ยนความหมายของ Visionauta ไปแล้ว มันไม่ใช่แอปที่คุณถ่ายภาพแล้วรอคำตอบอีกต่อไป แต่เป็นการสนทนาต่อเนื่องกับผู้ที่มองเห็นแทนคุณและอยู่ตรงนั้นเสมอ ไม่ว่าจะบรรยายถนน หาร้านขายยาที่ใกล้ที่สุด บันทึกวิดีโอ หรืออ่านโน้ตเพลงที่คุณกำลังจะเล่น"
— Jonathan Santos

"การนำแอปไปสู่ 23 ภาษาใหม่ ตั้งแต่เช็กถึงไทย ตั้งแต่ฮีบรูถึงสวาฮีลี เป็นการตัดสินใจเพื่อความเป็นธรรม ไม่ใช่เพื่อตลาด เทคโนโลยีช่วยเหลือมักมาถึงในภาษาอังกฤษก่อนเสมอ และผู้ที่ไม่พูดภาษาอังกฤษต้องรอเป็นปี ตอนนี้ผู้คนอีกมากสามารถสนทนากับ Visionauta ด้วยภาษาของตัวเองได้"
— Jonathan Santos

"ผมขอขอบคุณศาสตราจารย์ Ismar Frango และ Nizam Omar แห่ง Universidade Presbiteriana Mackenzie ที่สนับสนุนให้ผมเปลี่ยนโครงการวิชาการให้เป็นเครื่องมือจริงสำหรับชุมชน"
— Jonathan Santos

Безкоштовний застосунок, створений незрячим інженером-програмістом, який працював у Google і Samsung, має помічника, що бачить: розмовляє голосом без пауз і переривань, описує навколишнє середовище, повідомляє, де перебуває людина, шукає інформацію в інтернеті, читає й відтворює нотні партитури, записує відео зі звуком і допомагає незрячим робити добре скадровані фотографії. Доступний для iPhone та Android.

Visionauta, застосунок із доступності, що використовує штучний інтелект, аби дати більше самостійності незрячим і слабозорим людям, оголошує про нову версію — і тепер він розмовляє 39 мовами: португальською, англійською, іспанською, французькою, корейською, німецькою, японською, італійською, арабською, російською, китайською спрощеною, гінді, бенгальською, в'єтнамською, турецькою та індонезійською, а також 23 новими мовами: чеською, грецькою, естонською, перською, фінською, івритом, угорською, ісландською, литовською, маратхі, нідерландською, польською, румунською, словацькою, словенською, шведською, суахілі, тамільською, телугу, тайською, українською, урду та кантонською. Переклад охоплює весь застосунок, голосові команди, читання текстів, а також відповіді штучного інтелекту, який розмовляє з користувачем його рідною мовою. Завдяки 23 новим мовам застосунок тепер доступний мовцям у Європі, на Близькому Сході, в Африці та Азії.

Застосунок безкоштовний і доступний для iPhone в App Store та для Android у Google Play.

РОЗМОВА В РЕАЛЬНОМУ ЧАСІ: ПОМІЧНИК, ЯКИЙ БАЧИТЬ І ГОВОРИТЬ РАЗОМ З ВАМИ

Головна функція Visionauta — Розмова в реальному часі. У ній людина говорить природно, не натискаючи кнопок і не чекаючи своєї черги, зі штучним інтелектом, який бачить крізь камеру телефона й одразу відповідає голосом, — ніби поруч друг, що бачить і описує світ. В останній версії голос розмови став чіткішим, із меншою кількістю шумів і кращою дикцією.

Під час такої розмови Visionauta може:

• Описувати приміщення та сцени — що є в кімнаті, хто поруч, що на столі, який одяг лежить на ліжку, чи світиться світло.
• Казати, де перебуває людина і що її оточує — поточну адресу, вулиці, орієнтири, аптеки, пекарні та найближчу автобусну зупинку, використовуючи картографічні дані в реальному часі.
• Шукати інформацію в інтернеті — новини, розклади, ціни, актуальні дані, не виходячи з розмови.
• Читати й відтворювати нотні партитури — достатньо навести камеру на друковану партитуру. Visionauta розпізнає ноти, читає музику вголос і відтворює її на самому пристрої, створюючи файли MusicXML і MIDI. Безпрецедентна можливість для незрячих музикантів, які історично залежали від сторонньої допомоги або від рідкісних і дорогих видань шрифтом Брайля.
• Допомагати людині з порушенням зору робити фото — помічник фотозйомки підказує, як скадрувати, повідомляє, коли кадр вдалий, відлічує секунди й спускає затвор, щоб сімейні знімки, фотографії документів чи світлини для соцмереж виходили якісними.
• Записувати відео зі звуком — людина просить голосом, помічник підказує, як скадрувати, і починає запис; запис можна призупинити, відновити, завершити чи скасувати за допомогою доступних елементів керування, а відео зберігаються в розділі «Активності», готові до перегляду й поширення.
• Викликати авто голосом — достатньо назвати пункт призначення, і застосунок відкриє Uber, 99, Bolt або Lyft із уже заповненою поїздкою, залишається лише підтвердити.
• Відповідати на будь-яке запитання про те, що перед камерою — що це за товар, який термін придатності, якого кольору цей одяг, що написано на цій табличці.

VISIONAUTA MAGIC: ШІ, ЩО ОПИСУЄ ЗОБРАЖЕННЯ І ВИКОНУЄ ЗАВДАННЯ НА ТЕЛЕФОНІ

Visionauta Magic, ексклюзивний для Android і доступний передплатникам Visionauta Plus, працює разом зі зчитувачем екрана пристрою, як-от TalkBack, і розв'язує дві давні проблеми спільноти:

По-перше, він описує зображення без підписів, що трапляються в будь-якому застосунку. Коли фокус зчитувача екрана зупиняється на зображенні, піктограмі чи картці без опису, Visionauta аналізує лише цей елемент і озвучує, що на ньому.

По-друге, він виконує завдання на телефоні. Людина просить, наприклад, «відкрий WhatsApp і напиши повідомлення Ані», і Visionauta складає план, зачитує його вголос і діє лише після схвалення користувача — коментуючи кожен крок і з можливістю зупинки в будь-який момент аварійною кнопкою або подвійним дотиком двома пальцями. Нічого не відбувається без підтвердження.

ЩОДЕННІ ФУНКЦІЇ

Окрім розмови, Visionauta зберігає набір інструментів, які принесли йому популярність серед людей із порушенням зору, і значна частина з них працює без інтернету:

• Читання текстів офлайн — наведіть камеру на документи, упаковки, листи чи таблички й слухайте вміст уголос.
• Розпізнавання банкнот — реал, долар, євро, мексиканське песо, єна, канадський і австралійський долари, без підключення до мережі.
• Пошук предметів — скажіть «допоможи мені знайти мій телефон», і застосунок скануватиме простір, сповіщаючи вібрацією та голосом, коли знайде.
• Електронна лупа для слабозорих — зі збільшенням і режимами високого контрасту, інвертованими кольорами, білим на чорному, чорним на білому та жовтим на синьому.
• Ліхтарик із нагадуванням вібрацією.
• Власні природні голоси — їх можна використовувати в усій системі як голос TalkBack на Android і VoiceOver на iPhone, а після завантаження вони працюють офлайн.

Версія для iPhone повністю інтегрована з VoiceOver і функціями доступності iOS.

ЗАЯВИ

«Розмова в реальному часі змінила суть Visionauta. Це більше не застосунок, де ви робите фото й чекаєте на відповідь: це безперервна розмова з тим, хто бачить за вас і завжди поруч — чи то щоб описати вулицю, знайти найближчу аптеку, записати відео або прочитати партитуру, яку ви збираєтеся виконати».
— Jonathan Santos

«Поширити застосунок на 23 нові мови, від чеської до тайської, від івриту до суахілі, було рішенням справедливості, а не ринку. Допоміжні технології завжди з'являлися спершу англійською, а ті, хто нею не розмовляє, чекали роками. Тепер значно більше людей можуть спілкуватися з Visionauta рідною мовою».
— Jonathan Santos

«Дякую професорам Ismar Frango і Nizam Omar з Пресвітеріанського університету Маккензі, які надихнули мене перетворити академічний проєкт на реальний інструмент для спільноти».
— Jonathan Santos

نابینا سافٹ ویئر انجینئر کا بنایا ہوا مفت ایپ، جو گوگل اور سیمسنگ میں کام کر چکے ہیں، ایک ایسا معاون رکھتا ہے جو دیکھ سکتا ہے: بلا رکاوٹ آواز میں گفتگو کرتا ہے، اردگرد کی تفصیل بتاتا ہے، صارف کو اس کا مقام بتاتا ہے، انٹرنیٹ پر معلومات تلاش کرتا ہے، موسیقی کے نوٹس پڑھتا اور بجاتا ہے، آواز کے ساتھ ویڈیو ریکارڈ کرتا ہے اور نابینا افراد کو درست فریمنگ کے ساتھ تصاویر لینے میں مدد دیتا ہے۔ آئی فون اور اینڈرائیڈ کے لیے دستیاب۔

وژناؤٹا، رسائی کا وہ ایپ جو مصنوعی ذہانت کے ذریعے نابینا اور کم بینائی والے افراد کو زیادہ خودمختاری دیتا ہے، اپنے نئے ورژن کا اعلان کرتا ہے — اور اب 39 زبانیں بولتا ہے: پرتگالی، انگریزی، ہسپانوی، فرانسیسی، کوریائی، جرمن، جاپانی، اطالوی، عربی، روسی، سادہ چینی، ہندی، بنگالی، ویتنامی، ترکی اور انڈونیشیائی، اور مزید 23 نئی زبانیں: چیک، یونانی، اسٹونین، فارسی، فنش، عبرانی، ہنگرین، آئس لینڈی، لتھوانین، مراٹھی، ڈچ، پولش، رومانیائی، سلوواک، سلووینیائی، سویڈش، سواحلی، تمل، تیلگو، تھائی، یوکرینی، اردو اور کینٹونیز۔ ترجمہ پورے ایپ، صوتی احکامات، متن پڑھنے اور مصنوعی ذہانت کے جوابات پر لاگو ہوتا ہے، جو صارف سے اسی کی زبان میں بات کرتی ہے۔ 23 نئی زبانوں کے ساتھ ایپ اب یورپ، مشرقِ وسطیٰ، افریقہ اور ایشیا کے بولنے والوں تک پہنچ رہا ہے۔

ایپ مفت ہے اور آئی فون کے لیے ایپ اسٹور پر اور اینڈرائیڈ کے لیے گوگل پلے پر دستیاب ہے۔

حقیقی وقت کی گفتگو: ایک معاون جو دیکھتا بھی ہے اور ساتھ بولتا بھی ہے

وژناؤٹا کی بنیادی خصوصیت حقیقی وقت کی گفتگو ہے۔ اس میں انسان فطری انداز میں بولتا ہے، بغیر بٹن دبائے اور بغیر اپنی باری کا انتظار کیے، ایک ایسی مصنوعی ذہانت کے ساتھ جو فون کے کیمرے سے دیکھتی ہے اور فوراً آواز میں جواب دیتی ہے — گویا آپ کے پاس ایک ایسا دوست ہو جو دیکھ سکتا ہے اور دنیا کی تفصیل بتاتا ہے۔ تازہ ترین ورژن میں گفتگو کی آواز زیادہ صاف ہو گئی ہے، شور کم ہے اور تلفظ بہتر ہے۔

اس گفتگو کے دوران وژناؤٹا یہ کر سکتا ہے:

• ماحول اور مناظر کی تفصیل بتانا — کمرے میں کیا ہے، قریب کون ہے، میز کیسی ہے، بستر پر کون سا لباس رکھا ہے، روشنی جل رہی ہے یا نہیں۔
• بتانا کہ آپ کہاں ہیں اور اردگرد کیا ہے — موجودہ پتہ، سڑکیں، نمایاں مقامات، دواخانے، نانبائی اور قریب ترین بس اسٹاپ، حقیقی وقت کے نقشے کی معلومات کے ذریعے۔
• انٹرنیٹ پر معلومات تلاش کرنا — خبریں، اوقات، قیمتیں، تازہ ترین ڈیٹا، گفتگو چھوڑے بغیر۔
• موسیقی کے نوٹس پڑھنا اور بجانا — بس کیمرہ چھپے ہوئے نوٹس کی طرف کریں۔ وژناؤٹا سُروں کو پہچانتا ہے، موسیقی بلند آواز میں پڑھتا ہے اور اسے ڈیوائس ہی پر بجاتا ہے، اور MusicXML اور MIDI فائلیں بناتا ہے۔ نابینا موسیقاروں کے لیے ایک بے مثال سہولت، جو تاریخی طور پر دوسروں پر یا نایاب اور مہنگے بریل ایڈیشنوں پر انحصار کرتے رہے ہیں۔
• بصارت سے محروم شخص کو تصویر لینے میں مدد دینا — فوٹو اسسٹنٹ فریمنگ کی رہنمائی کرتا ہے، بتاتا ہے کہ کب تصویر ٹھیک ہے، الٹی گنتی کرتا ہے اور کیمرہ چلا دیتا ہے، تاکہ خاندانی تصاویر، دستاویزات یا سوشل میڈیا کی تصاویر اچھی آئیں۔
• آواز کے ساتھ ویڈیو ریکارڈ کرنا — صارف آواز سے کہتا ہے، معاون فریمنگ میں رہنمائی کرتا ہے اور ریکارڈنگ شروع کرتا ہے؛ ریکارڈنگ کو قابلِ رسائی کنٹرولز سے روکا، دوبارہ شروع کیا، مکمل یا منسوخ کیا جا سکتا ہے، اور ویڈیوز «سرگرمیاں» میں محفوظ ہوتی ہیں، دیکھنے اور شیئر کرنے کے لیے تیار۔
• آواز سے گاڑی بلانا — بس منزل بتائیں اور ایپ Uber، 99، Bolt یا Lyft کھول دیتا ہے، سفر پہلے سے بھرا ہوا، صرف تصدیق باقی رہتی ہے۔
• کیمرے کے سامنے موجود کسی بھی چیز کے بارے میں سوال کا جواب دینا — یہ کون سی پروڈکٹ ہے، میعاد کب ختم ہوتی ہے، اس کپڑے کا رنگ کیا ہے، اس تختی پر کیا لکھا ہے۔

وژناؤٹا میجک: وہ مصنوعی ذہانت جو تصاویر کی تفصیل بتاتی ہے اور فون پر کام انجام دیتی ہے

صرف اینڈرائیڈ کے لیے اور وژناؤٹا پلس کے سبسکرائبرز کو دستیاب، وژناؤٹا میجک ڈیوائس کے اسکرین ریڈر، جیسے TalkBack، کے ساتھ مل کر کام کرتا ہے اور کمیونٹی کے دو پرانے مسائل حل کرتا ہے:

پہلا، وہ ان بے نام تصاویر کی تفصیل بتاتا ہے جو کسی بھی ایپ میں نظر آتی ہیں۔ جب اسکرین ریڈر کا فوکس کسی تصویر، آئیکن یا بغیر وضاحت کے کارڈ پر رکتا ہے تو وژناؤٹا صرف اسی عنصر کا تجزیہ کرتا ہے اور بلند آواز میں بتاتا ہے کہ اس میں کیا ہے۔

دوسرا، وہ فون پر کام انجام دیتا ہے۔ صارف کہتا ہے، مثلاً، «WhatsApp کھولو اور انا کو پیغام بھیجو»، اور وژناؤٹا ایک منصوبہ بناتا ہے، اسے بلند آواز میں پڑھتا ہے اور صارف کی منظوری کے بعد ہی عمل کرتا ہے — ہر قدم بیان کرتے ہوئے، اور کسی بھی وقت ہنگامی بٹن یا دو انگلیوں سے ڈبل ٹیپ کے ذریعے روکا جا سکتا ہے۔ تصدیق کے بغیر کچھ نہیں ہوتا۔

روزمرہ کی خصوصیات

گفتگو کے علاوہ، وژناؤٹا وہ تمام ٹولز برقرار رکھتا ہے جنہوں نے اسے بصارت سے محروم افراد کی کمیونٹی میں مقبول بنایا، جن میں سے بیشتر انٹرنیٹ کے بغیر بھی کام کرتے ہیں:

• آف لائن متن خوانی — دستاویزات، پیکنگ، خطوط یا تختیوں کی طرف کیمرہ کریں اور مواد بلند آواز میں سنیں۔
• کرنسی نوٹوں کی شناخت — ریال، ڈالر، یورو، میکسیکن پیسو، ین، کینیڈین اور آسٹریلین ڈالر، بغیر کنکشن کے۔
• اشیاء تلاش کرنے والا — کہیں «میرا فون ڈھونڈنے میں مدد کرو» اور ایپ ماحول کو اسکین کرتا ہے، ملنے پر وائبریشن اور آواز سے آگاہ کرتا ہے۔
• کم بینائی کے لیے برقی محدب عدسہ — زوم اور ہائی کنٹراسٹ موڈز کے ساتھ، الٹے رنگ، سیاہ پر سفید، سفید پر سیاہ اور نیلے پر پیلا۔
• وائبریشن کی یاد دہانی کے ساتھ ٹارچ۔
• اپنی قدرتی آوازیں — جنہیں پورے سسٹم میں استعمال کیا جا سکتا ہے، اینڈرائیڈ پر TalkBack اور آئی فون پر VoiceOver کی آواز کے طور پر، اور ڈاؤن لوڈ کے بعد آف لائن کام کرتی ہیں۔

آئی فون ورژن VoiceOver اور iOS کی رسائی کی خصوصیات کے ساتھ مکمل طور پر مربوط ہے۔

بیانات

«حقیقی وقت کی گفتگو نے وژناؤٹا کو بدل دیا ہے۔ اب یہ ایسا ایپ نہیں رہا جس میں آپ تصویر لیں اور جواب کا انتظار کریں: یہ ایک مسلسل گفتگو ہے ایسے شخص کے ساتھ جو آپ کی جگہ دیکھتا ہے اور ہمیشہ موجود رہتا ہے، چاہے سڑک کی تفصیل بتانی ہو، قریب ترین دواخانہ ڈھونڈنا ہو، ویڈیو بنانی ہو یا وہ موسیقی کا نوٹ پڑھنا ہو جو آپ بجانے والے ہیں۔»
— Jonathan Santos

«ایپ کو 23 نئی زبانوں تک لے جانا، چیک سے تھائی تک، عبرانی سے سواحلی تک، انصاف کا فیصلہ تھا، منڈی کا نہیں۔ معاون ٹیکنالوجی ہمیشہ پہلے انگریزی میں آئی، اور جو انگریزی نہیں بولتے تھے وہ برسوں انتظار کرتے رہے۔ اب کہیں زیادہ لوگ وژناؤٹا سے اپنی زبان میں بات کر سکتے ہیں۔»
— Jonathan Santos

«میں پروفیسر Ismar Frango اور Nizam Omar کا شکر گزار ہوں، جو Universidade Presbiteriana Mackenzie سے وابستہ ہیں، جنہوں نے مجھے ایک تعلیمی منصوبے کو کمیونٹی کے لیے حقیقی ٹول میں بدلنے کی ترغیب دی۔»
— Jonathan Santos

呢款由一位曾任職 Google 同 Samsung 嘅失明軟件工程師開發嘅免費應用程式，內置一個「睇得到」嘅助手：可以用語音不斷線咁傾偈、描述周圍環境、話畀用戶知身處邊度、上網搜尋資料、閱讀同播放樂譜、錄製有聲影片，仲可以幫失明人士影出構圖啱啱好嘅相片。iPhone 同 Android 都用得。

Visionauta 係一款運用人工智能、幫失明同弱視人士更加自主獨立嘅無障礙應用程式，今日宣佈推出新版本——而家支援39種語言：葡萄牙文、英文、西班牙文、法文、韓文、德文、日文、意大利文、阿拉伯文、俄文、簡體中文、印度文、孟加拉文、越南文、土耳其文同印尼文，另外新增23種語言：捷克文、希臘文、愛沙尼亞文、波斯文、芬蘭文、希伯來文、匈牙利文、冰島文、立陶宛文、馬拉地文、荷蘭文、波蘭文、羅馬尼亞文、斯洛伐克文、斯洛文尼亞文、瑞典文、斯瓦希里文、泰米爾文、泰盧固文、泰文、烏克蘭文、烏爾都文同粵語。翻譯涵蓋整個應用程式、語音指令、文字閱讀，以及人工智能嘅回覆，人工智能會用用戶自己嘅語言同佢對話。有咗23種新語言，應用程式而家可以服務歐洲、中東、非洲同亞洲嘅使用者。

呢個應用程式免費，iPhone 可以喺 App Store 下載，Android 可以喺 Google Play 下載。

即時對話：一個又睇又講嘅助手

Visionauta 最主要嘅功能係即時對話。喺呢個功能入面，用戶可以自然咁講嘢，唔使㩒掣，亦唔使等輪到自己，同一個透過手機鏡頭睇嘢嘅人工智能傾偈，佢即時用語音回應——就好似身邊有個睇得到嘅朋友，幫你描述個世界。最新版本嘅對話語音更加清晰，雜音少咗，咬字亦更好。

喺對話途中，Visionauta 可以：

• 描述環境同場景——房入面有啲乜、附近有邊個、張枱點樣、張床上面放咗件乜嘢衫、燈有冇着。
• 話畀你知身處邊度同周圍有啲乜——而家嘅地址、街道、地標、藥房、麵包舖同最近嘅巴士站，用嘅係即時地圖資訊。
• 上網搜尋資料——新聞、時間表、價錢、最新數據，唔使離開對話。
• 閱讀同播放樂譜——只要將鏡頭對住印刷出嚟嘅樂譜就得。Visionauta 會辨認音符、將樂曲讀出嚟，再喺部機度直接播放，同時生成 MusicXML 同 MIDI 檔案。呢個係專為失明音樂人而設嘅創新功能，佢哋一向要靠別人幫手，或者靠罕有又昂貴嘅點字樂譜。
• 幫視障人士影相——相機助手會指引構圖，影得好嘅時候會通知你，倒數之後自動按掣，等家庭相、證件相或者社交媒體相片都影得靚。
• 錄製有聲影片——用戶用語音提出要求，助手指引構圖並開始錄影；錄影過程可以透過無障礙控制項暫停、繼續、完成或者取消，影片會儲存喺「活動」入面，隨時可以睇同分享。
• 用語音叫車——只要講出目的地，應用程式就會打開 Uber、99、Bolt 或者 Lyft，行程資料已經填好，淨係要確認就得。
• 回答任何關於鏡頭前面事物嘅問題——呢個係乜嘢產品、幾時過期、件衫係咩顏色、呢塊牌寫啲乜。

VISIONAUTA MAGIC：描述圖像同喺手機上執行任務嘅人工智能

Visionauta Magic 只限 Android，Visionauta Plus 訂閱用戶先用得，佢同裝置嘅螢幕閱讀器（例如 TalkBack）一齊運作，解決社群長期面對嘅兩大難題：

第一，佢會描述各個應用程式入面冇標籤嘅圖像。當螢幕閱讀器嘅焦點停喺一幅圖像、一個圖示或者一張冇描述嘅卡片上面，Visionauta 只會分析嗰個元素，然後讀出入面有啲乜。

第二，佢可以喺手機上執行任務。用戶可以講「打開 WhatsApp，send 個訊息畀 Ana」，Visionauta 就會擬定計劃，將計劃讀出嚟，等用戶批准先會行動——每一步都會旁述，而且隨時可以用緊急掣或者雙指輕按兩下叫停。冇確認，乜都唔會發生。

日常功能

除咗對話之外，Visionauta 保留咗一套令佢喺視障社群入面大受歡迎嘅工具，其中好多都唔使上網都用得：

• 離線文字閱讀——將鏡頭對住文件、包裝、信件或者指示牌，就可以聽到內容讀出嚟。
• 辨認鈔票——巴西雷亞爾、美元、歐元、墨西哥披索、日圓、加拿大元同澳元，唔使連線。
• 物件定位器——講一句「幫我搵部手機」，應用程式就會掃描四周，搵到嘅時候會用震動同語音通知你。
• 弱視電子放大鏡——有放大功能，同埋高對比模式、反轉顏色、黑底白字、白底黑字同藍底黃字。
• 附震動提示嘅電筒。
• 專屬嘅自然語音——可以喺成個系統用，喺 Android 做 TalkBack 嘅語音，喺 iPhone 做 VoiceOver 嘅語音，下載咗之後離線都用得。

iPhone 版本同 VoiceOver 同 iOS 嘅無障礙功能完全整合。

聲明

「即時對話改變咗 Visionauta 嘅本質。佢唔再係一個影完相、等個答案嘅應用程式，而係一場持續嘅對話，對象係一個替你睇嘢、時時刻刻喺你身邊嘅人，無論係描述條街、搵最近嘅藥房、錄影，定係讀出你就嚟演奏嘅樂譜。」——Jonathan Santos
— Jonathan Santos

「將應用程式擴展到23種新語言，由捷克文到泰文，由希伯來文到斯瓦希里文，係出於公義，而唔係市場考慮。輔助科技一向都係英文先有，唔識英文嘅人要等好多年。而家有多好多人可以用自己嘅語言同 Visionauta 傾偈。」——Jonathan Santos
— Jonathan Santos

「我要多謝麥肯錫長老會大學嘅 Ismar Frango 同 Nizam Omar 教授，佢哋鼓勵我將一個學術項目變成一個真正服務社群嘅工具。」——Jonathan Santos
— Jonathan Santos