論文の概要: VisionAssist: An Open-Source Smartphone Assistant for AI-Based Visual Accessibility
- arxiv url: http://arxiv.org/abs/2607.16750v1
- Date: Sat, 18 Jul 2026 10:28:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.253536
- Title: VisionAssist: An Open-Source Smartphone Assistant for AI-Based Visual Accessibility
- Title（参考訳）: VisionAssist:AIベースの視覚的アクセシビリティのためのオープンソースのスマートフォンアシスタント
- Abstract要約: textbfVisionAssistは、スマートフォンを通じてAIによる視覚支援を提供することで、独立性を改善するために設計された、オープンソースのモバイルアプリである。
キャプチャされた画像の音声記述を生成し、ユーザーは食品ラベル、文書、日々のオブジェクトなどの視覚的コンテンツを識別できる。
このアプリケーションは音声コマンドによるハンズフリーインタラクションをサポートし、テキスト音声合成によるすべてのフィードバックを提供する。
- 参考スコア（独自算出の注目度）: 0.5371337604556311
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: People with low vision often face challenges in performing everyday tasks that require interpreting visual information. We present \textbf{VisionAssist}, an open-source mobile application designed to improve independence by providing AI-powered visual assistance through a smartphone. The application integrates three complementary functionalities within a single interface. First, it enables users to locate specific objects by analyzing the live camera feed. Second, it generates spoken descriptions of captured images, allowing users to identify visual content such as food labels, documents, and everyday objects. Third, it integrates with the smartphone's contacts and calendar to facilitate emergency calls and provide voice-based reminders. The application supports hands-free interaction through voice commands and delivers all feedback using text-to-speech synthesis, making it fully accessible to users with visual impairments. By combining multiple assistive services into a unified platform and releasing the project as open-source software, the proposed solution aims to encourage community contributions and accelerate the development of accessible technologies. The source code is publicly available at: https://github.com/AOzlemC/LowVisionProject.git
- Abstract（参考訳）: 視力の低い人は、視覚情報の解釈を必要とする日常的なタスクの実行において、しばしば課題に直面します。
我々は,スマートフォンによるAIによる視覚支援を提供することで,独立性の向上を目的とした,オープンソースのモバイルアプリケーションである‘textbf{VisionAssist} を紹介する。
アプリケーションは1つのインターフェイスに3つの補完機能を統合する。
まず、ライブカメラフィードを分析して、特定のオブジェクトを特定できる。
第二に、キャプチャされた画像の音声記述を生成し、ユーザーは食品ラベル、文書、日々の物体などの視覚的コンテンツを識別できる。
第3に,スマートフォンの連絡先とカレンダーを統合して,緊急コールと音声ベースのリマインダーを提供する。
このアプリケーションは、音声コマンドによるハンズフリーインタラクションをサポートし、テキスト音声合成によるすべてのフィードバックを提供し、視覚障害者に完全にアクセスできるようにする。
複数の補助サービスを統合プラットフォームに統合し、オープンソースプロジェクトとしてプロジェクトをリリースすることにより、コミュニティのコントリビューションを促進し、アクセス可能な技術の開発を加速することを目的としている。
ソースコードは、https://github.com/AOzlemC/LowVisionProject.gitで公開されている。
関連論文リスト
- Sanvaad: A Multimodal Accessibility Framework for ISL Recognition and Voice-Based Interaction [0.0]
Sanvaadは、リアルタイム双方向通信をサポートするために設計された軽量なマルチモーダルアクセシビリティフレームワークである。
難聴者のために、SanvaadはMediaPipeのランドマーク上に構築されたISL認識モジュールを含んでいる。
視覚障害者向けに、多言語音声認識、テキスト要約、テキスト音声生成を統合したスクリーンフリー音声インタフェースを提供する。
論文 参考訳（メタデータ） (2025-12-06T16:16:21Z) - An Artificial Intelligence-based Assistant for the Visually Impaired [2.7825760447670955]
本稿では,2023年から2024年にかけて開発されたAIベースのアシスタントアプリケーションAIDENについて述べる。
視覚障害のある個人は、オブジェクトの識別、テキストの読み込み、慣れない環境のナビゲートといった課題に直面します。
このアプリケーションは最先端の機械学習アルゴリズムを利用して、オブジェクトを特定し、記述し、テキストを読み、環境に関する質問に答える。
論文 参考訳（メタデータ） (2025-11-08T17:23:51Z) - Vinci: A Real-time Embodied Smart Assistant based on Egocentric Vision-Language Model [49.90916095152366]
我々は、エゴセントリックな視覚言語モデルに基づいて構築されたリアルタイムエンボディ型スマートアシスタントであるVinciを紹介する。
ヴィンチは「常に」モードで動作し、環境を継続的に観察してシームレスな相互作用と補助を提供する。
我々は、アップロードされたビデオをテストするためのデモWebプラットフォームとともに、デバイス開発のための完全な実装をリリースする。
論文 参考訳（メタデータ） (2024-12-30T16:57:05Z) - AI-based Wearable Vision Assistance System for the Visually Impaired: Integrating Real-Time Object Recognition and Contextual Understanding Using Large Vision-Language Models [0.0]
本稿では,音のビープ機構を通じてユーザに対してリアルタイムフィードバックを提供するために,人工知能(AI)技術を用いたウェアラブル視覚支援システムを提案する。
大規模視覚言語モデル(LVLM)を用いたユーザ環境におけるオブジェクトの詳細な記述を提供する。
論文 参考訳（メタデータ） (2024-12-28T07:26:39Z) - OMG-LLaVA: Bridging Image-level, Object-level, Pixel-level Reasoning and Understanding [112.87441334765693]
OMG-LLaVAは、強力なピクセルレベルの視覚理解と推論能力を組み合わせた新しいフレームワークである。
フレキシブルなユーザインタラクションのために、さまざまな視覚的およびテキストプロンプトを受け入れることができる。
OMG-LLaVAは1つのモデルで画像レベル、オブジェクトレベル、ピクセルレベルの推論と理解を実現する。
論文 参考訳（メタデータ） (2024-06-27T17:59:01Z) - Tell Me What's Next: Textual Foresight for Generic UI Representations [65.10591722192609]
We propose Textual Foresight, a novel pretraining objective for learn UI screen representations。
Textual Foresightは、現在のUIとローカルアクションを考慮すれば、将来のUI状態のグローバルなテキスト記述を生成する。
新たに構築したモバイルアプリデータセットであるOpenAppでトレーニングを行い、アプリUI表現学習のための最初の公開データセットを作成しました。
論文 参考訳（メタデータ） (2024-06-12T02:43:19Z) - Improve accessibility for Low Vision and Blind people using Machine Learning and Computer Vision [0.0]
このプロジェクトでは、視覚障害者のアクセシビリティ向上に機械学習とコンピュータビジョンを活用する方法について検討する。
このプロジェクトでは、視覚障害者が音声や触覚のフィードバックを受信することで、空間内でのオリエントを支援するモバイルアプリケーションの構築に集中する。
論文 参考訳（メタデータ） (2024-03-24T21:19:17Z) - VisionGPT: Vision-Language Understanding Agent Using Generalized Multimodal Framework [47.58359136198136]
我々は、最新技術基盤モデルの統合と自動化を行うためにVisionGPTを導入する。
VisionGPTは一般化されたマルチモーダルフレームワーク上に構築されており、3つの重要な特徴を区別している。
本稿では,ビジョンGPTのアーキテクチャと能力について概説し,コンピュータビジョンの分野に革命をもたらす可能性を示す。
論文 参考訳（メタデータ） (2024-03-14T01:39:40Z) - VLG: General Video Recognition with Web Textual Knowledge [47.3660792813967]
我々は、統合されたフレームワーク内で異なる認識タスクを解くための一般的なビデオ認識(GVR)問題に焦点を当てる。
インターネットからクロールされたノイズの多いテキスト記述から意味知識を活用することで、統合視覚言語フレームワーク(VLG)を提案する。
我々のVLGは、まずビデオと言語データセットで事前訓練され、共有機能空間を学習し、それからフレキシブルなバイモーダルなアテンションヘッドを考案し、異なる設定下でハイレベルなセマンティックな概念を協調します。
論文 参考訳（メタデータ） (2022-12-03T15:46:49Z) - AudioVisual Video Summarization [103.47766795086206]
ビデオ要約では、既存のアプローチは音声情報を無視しながら視覚情報を利用するだけだ。
本稿では,映像要約作業における音声情報と視覚情報を協調的に活用し,これを実現するためにAVRN(AudioVisual Recurrent Network)を開発することを提案する。
論文 参考訳（メタデータ） (2021-05-17T08:36:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。