論文の概要: VISTA: A Multimodal Egocentric Benchmark for Goal-Oriented Perception and Assistance to Blind and Low-Vision Users
- arxiv url: http://arxiv.org/abs/2610.22822v1
- Date: Fri, 16 Oct 2026 01:57:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 00:56:07.730638
- Title: VISTA: A Multimodal Egocentric Benchmark for Goal-Oriented Perception and Assistance to Blind and Low-Vision Users
- Title（参考訳）: VISTA: 目標指向の知覚とブラインドおよび低ビジョンユーザ支援のためのマルチモーダルエゴセントリックベンチマーク
- Abstract要約: 既存のベンチマークでは、視覚モデルが効果的な日常支援を提供するかどうかを十分にテストしていない。
視覚障害者のための目標指向支援のためのマルチモーダル・エゴセントリックなベンチマークであるVISTAを紹介する。
VISTAをゼロショットとする14の代表的な視覚指向モデルを評価し、6つのモードをすべて統合した軽量なマルチモーダルモデルベースラインを設計する。
- 参考スコア（独自算出の注目度）: 9.631265066118917
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Blindness and low vision limit many people's ability to complete daily tasks, motivating AI assistants that provide useful guidance. Yet, existing benchmarks do not adequately test whether vision models can provide effective everyday assistance. In particular, i) existing benchmarks primarily rely on visual and textual inputs, with limited support for other modalities that are increasingly available in egocentric wearable devices such as gaze, inertial measurements, spatial trajectories, and others; and ii) existing evaluations emphasize scene understanding and question answering, with limited coverage of goal-conditioned guidance for blind and low-vision users across everyday tasks. To bridge this gap, we introduce VISTA (Visually Impaired Scene and Task Annotations), a multimodal egocentric benchmark for goal-oriented assistance for blind and low-vision users. VISTA contains $\sim$1,000 egocentric recordings captured with Project Aria glasses; each recording provides synchronized sensor streams, six of which serve as model inputs, and three different types of annotation, covering ten task categories (TC), from object localization to hazard detection. We evaluate 14 representative vision-language models zero-shot on VISTA and design a lightweight multimodal model baseline that integrates all six modalities. Experimental results show that, although existing models can often describe egocentric scenes, they remain limited in generating goal-directed assistive guidance. VISTA thus provides a benchmark for evaluating multimodal models that could improve everyday accessibility.
- Abstract（参考訳）: 盲目と低視力は、多くの人々の日々のタスクを完了し、有用なガイダンスを提供するAIアシスタントを動機付ける能力を制限する。
しかし、既存のベンチマークでは、視覚モデルが効果的な日常支援を提供するかどうかを十分に検証していない。
特に
一 既存のベンチマークは、主に視覚的及びテキスト的入力に依存し、視線、慣性測定、空間的軌跡等の自我中心のウェアラブルデバイスにおいて利用しやすくなっている他のモダリティを限定的にサポートしている。
二 既存の評価は、日常業務における視覚障害者及び低ビジョン利用者に対する目標条件ガイダンスの限られた範囲において、シーン理解と質問応答を強調している。
このギャップを埋めるために、視覚障害者向けの目標指向支援のためのマルチモーダル・エゴセントリックなベンチマークであるVISTA(Visually Impaired Scene and Task Annotations)を導入する。
VISTAには、Project Ariaメガネでキャプチャした1000ドルのエゴセントリックな記録が含まれており、各録音は同期されたセンサーストリームを提供し、そのうち6つはモデル入力として機能し、また10のタスクカテゴリ(TC)をカバーする3種類のアノテーションを提供している。
VISTAをゼロショットとする14の代表的な視覚言語モデルを評価し、6つのモードをすべて統合した軽量なマルチモーダルモデルベースラインを設計する。
実験結果から,既存のモデルではエゴセントリックなシーンをしばしば表現できるが,目標指向のアシストガイダンスの生成には限界があることがわかった。
VISTAは、日々のアクセシビリティを向上させるマルチモーダルモデルを評価するためのベンチマークを提供する。
関連論文リスト
- Touvigation: Embodied Adaptive Object Acquisition for Blind and Low-Vision Users in Unfamiliar Indoor Environments [21.591524558310198]
Touvigationは、視覚言語理解と永続的な局所空間モデリングを組み合わせた、ハンズフリーなオブジェクト取得システムである。
視覚障害者12名を対象に多モーダル大言語モデルアシスタントと無支援検索との比較を行った。
ナビゲーションは,マルチモーダルアシスタントでは58%,無支援検索では85%,完了時間と認知作業負荷は減少し,100%のタスク成功を達成した。
論文 参考訳（メタデータ） (2026-09-18T14:29:21Z) - Adapting Vision-Language Models from Iconic to Inclusive for Multi-Label Recognition Without Labels [14.373553090930612]
ヴィジュアル言語モデル(VLM)はラベル付きデータなしでゼロショット認識を可能にする。
これらのモデルは、しばしば最も象徴的なオブジェクトを優先順位付けし、他の文脈陽性を省略する。
本稿では,VLMをアイコン認識から包括的理解に適応させる,教師なしのフレームワークを提案する。
論文 参考訳（メタデータ） (2026-06-10T03:41:50Z) - Youtu-VL: Unleashing Visual Potential via Unified Vision-Language Supervision [79.06371915084833]
本稿では,VLUAS(Vision-Language Unified Autoregressive Supervision)パラダイムを活用するフレームワークであるYoutu-VLを紹介する。
Youtu-VLは視覚的詳細と言語的内容の両方に統一的な自己回帰的監督を適用している。
我々は、このパラダイムを視覚中心のタスクに拡張し、標準のVLMがタスク固有の追加なしで視覚中心のタスクを実行できるようにした。
論文 参考訳（メタデータ） (2026-01-27T17:01:16Z) - Scaling Agentic Reinforcement Learning for Tool-Integrated Reasoning in VLMs [76.47326680870783]
VISTA-Gymは視覚言語モデル(VLM)におけるツール統合視覚推論能力のインセンティブ化のためのトレーニング環境である。
VISTA-Gymはビジュアルツールの標準化されたインタフェースで様々な実世界のマルチモーダル推論タスクを統合する。
VISTA-R1-8Bは、11の公開推論集約VQAベンチマークにおいて、同様のサイズで最先端のベースラインを9.51%-18.72%上回ることを示す。
論文 参考訳（メタデータ） (2025-11-24T22:58:26Z) - SpatialViz-Bench: An MLLM Benchmark for Spatial Visualization [44.427830927596204]
SpaceViz-Benchは4つのサブ能力にまたがる12のタスクを持つ空間視覚化のための総合的なベンチマークである。
33種類の最先端MLLMを評価した結果,多彩な性能の変動がみられ,反直感的な結果が得られた。
論文 参考訳（メタデータ） (2025-07-10T10:27:20Z) - ViewSpatial-Bench: Evaluating Multi-perspective Spatial Localization in Vision-Language Models [68.46716645478661]
視覚言語モデル (VLM) は視覚的内容の理解と推論において顕著な能力を示した。
現在のVLMは、主に自我中心の空間的推論(カメラの観点から)に優れるが、同中心の視点に一般化することができない。
マルチ視点空間位置認識評価に特化して設計された,初の総合的なベンチマークであるViewSpatial-Benchを紹介する。
論文 参考訳（メタデータ） (2025-05-27T17:59:26Z) - VLM2-Bench: A Closer Look at How Well VLMs Implicitly Link Explicit Matching Visual Cues [34.95077625513563]
textbfVLM2-Benchは視覚言語モデルが視覚的にマッチングの手がかりをリンクできるかどうかを評価するためのベンチマークである。
12個のVLMの包括的評価と、様々な言語側および視覚側プロンプト手法のさらなる分析により、合計8つの重要な結果が得られた。
視覚的な手がかりをリンクするモデルの能力において重要な課題を特定し、大きなパフォーマンスギャップを浮き彫りにする。
論文 参考訳（メタデータ） (2025-02-17T17:57:50Z) - Instruction-Guided Fusion of Multi-Layer Visual Features in Large Vision-Language Models [50.98559225639266]
6つのタスクカテゴリにまたがる18のベンチマークを用いて,異なるエンコーダ層からの視覚的特徴の寄与について検討した。
この結果から,多層構造はタスク依存性の相補的な長所を提供し,均一な融合が最適以下の性能をもたらすことが明らかとなった。
テキスト命令に基づいて動的に多層視覚特徴を統合する命令誘導型視覚アグリゲータを提案する。
論文 参考訳（メタデータ） (2024-12-26T05:41:31Z) - Cambrian-1: A Fully Open, Vision-Centric Exploration of Multimodal LLMs [61.143381152739046]
視覚中心のアプローチで設計したマルチモーダルLLM(MLLM)のファミリーであるCambrian-1を紹介する。
本研究は,様々な視覚表現を評価するためのインタフェースとして,LLMとビジュアルインストラクションチューニングを用いた。
モデルウェイト、コード、サポートツール、データセット、詳細なインストラクションチューニングと評価のレシピを提供しています。
論文 参考訳（メタデータ） (2024-06-24T17:59:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。