論文の概要: Evaluating Visual Language Models on Visual Grounding for Visually Impaired People
- arxiv url: http://arxiv.org/abs/2610.33078v2
- Date: Tue, 27 Oct 2026 08:50:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-28 21:04:31.338745
- Title: Evaluating Visual Language Models on Visual Grounding for Visually Impaired People
- Title（参考訳）: 視覚障害者のための視覚的グラウンドリングに基づく視覚言語モデルの評価
- Abstract要約: 視覚障害者のための視覚言語モデル(VLM)の視覚的グラウンドリングについて検討した。
本稿では,既存の説明可能性フレームワークを拡張し,視覚的根拠説明を提供するVG-SHAPを提案する。
我々のVizWiz-VQA-Groundingチャレンジの結果から、VLMは正しい回答を得られるにもかかわらず、画像の適切な領域に接するのに苦労していることがわかった。
- 参考スコア（独自算出の注目度）: 2.550340338874312
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Visual grounding (VG) in visual question answering (VQA) is a fundamental capability of Vision-Language Models (VLMs), enabling the detection of the most relevant region in an image to answer the question. This reflects the model's capability of multimodal comprehension, which is crucial when interacting with visually impaired people (VIP). Indeed, visual grounding, when applied to assistive scenarios, is not merely a technical feature, but rather a trust and safety requirement. In this work, we study visual grounding in VLMs for visually impaired people. To this end, we assess open-source VLMs on visual grounding using the VizWiz-VQA-Grounding dataset and challenge, which contains real-life images taken by VIP. We propose VG-SHAP, which extends an existing explainability framework to provide visual grounding explanations, allowing the evaluation of black-box VLMs. Our results on the VizWiz-VQA-Grounding challenge show that despite generating correct answers, VLMs struggle to ground in the proper region in the image. However, these results are constrained by the quality of the segmentation model of our explainability framework and further research is necessary.
- Abstract（参考訳）: 視覚的質問応答(VQA)における視覚的接地(VG)は視覚言語モデル(VLM)の基本機能であり、画像内の最も関連性の高い領域を検知して質問に答えることを可能にする。
これは、視覚障害者(VIP)と対話する際に重要であるマルチモーダル理解のモデル能力の反映である。
実際、視覚的基盤は、補助的なシナリオに適用される場合、単なる技術的特徴ではなく、信頼性と安全性の要件である。
本研究では,視覚障害者に対するVLMの視覚的接地について検討する。
そこで我々は,VIPによる実写画像を含むVizWiz-VQA-Groundingデータセットと課題を用いて,視覚的接地に基づくオープンソースのVLMを評価した。
我々は,既存の説明可能性フレームワークを拡張して視覚的グラウンドの説明を提供し,ブラックボックスVLMの評価を可能にするVG-SHAPを提案する。
我々のVizWiz-VQA-Groundingチャレンジの結果から、VLMは正しい回答を得られるにもかかわらず、画像の適切な領域に接するのに苦労していることがわかった。
しかし、これらの結果は説明可能性フレームワークのセグメンテーションモデルの品質に制約されており、さらなる研究が必要である。
関連論文リスト
- Look Before Acting: Enhancing Vision Foundation Representations for Vision-Language-Action Models [66.96421290733126]
VLA(Vision-Language-Action)モデルは、ロボット操作のための有望なパラダイムとして登場した。
我々はtextbfVision-Language Mixture-of-Transformers (VL-MoT) フレームワーク上に構築した textbfDeepVision-VLA を提案する。
DeepVision-VLAは、シミュレーションされたタスクと実世界のタスクで、それぞれ9.0%と7.5%の先行の最先端メソッドより優れている。
論文 参考訳（メタデータ） (2026-03-16T17:59:54Z) - Through the Lens of Contrast: Self-Improving Visual Reasoning in VLMs [60.93949629734977]
モデル生成論理における幻覚を軽減するために,視覚コントラスト型自己学習共振器(VC-STaR)を提案する。
多様なVQAデータセットを収集し、マルチモーダルな類似性に応じてコントラストペアをキュレートし、VC-STaRを用いて合理性を生成する。
大規模な実験によると、VC-STaRは既存の自己改善アプローチを上回るだけでなく、SoTA視覚推論データセットで微調整されたモデルを上回る。
論文 参考訳（メタデータ） (2026-03-03T03:18:31Z) - Toward Ambulatory Vision: Learning Visually-Grounded Active View Selection [26.020338338880034]
本稿では、現在の画像の視覚情報のみを用いて、最も情報性の高い次の視点を選択するタスクである、視覚的接地型アクティブビュー選択(VG-AVS)を紹介する。
提案手法は,視点選択に基づく強い質問応答性能を実現し,合成シーンや実シーンに頑健に一般化する。
論文 参考訳（メタデータ） (2025-12-15T12:04:26Z) - Towards Understanding Visual Grounding in Visual Language Models [2.553589584067239]
ビジュアルグラウンドティング(Visual Grounding)とは、モデルがテキスト記述と一致する視覚入力内の領域を識別する能力である。
現代汎用視覚言語モデル(VLM)研究の重要領域について概観する。
論文 参考訳（メタデータ） (2025-09-12T15:33:49Z) - Response Wide Shut? Surprising Observations in Basic Vision Language Model Capabilities [54.94982467313341]
視覚言語モデル(VLM)は、様々な複雑なコンピュータビジョン問題に対処するための汎用ツールとして登場した。
我々は、設計のどのコンポーネントが欠落しているかを調査する一連のテストを構築することで、基本的な視覚的タスクにおけるSoTA VLMの限界を理解することにしました。
論文 参考訳（メタデータ） (2025-07-10T15:26:41Z) - Hidden in plain sight: VLMs overlook their visual representations [48.83628674170634]
視覚言語モデル(VLM)と視覚エンコーダを比較し、これらのモダリティをまたいで統合する能力を理解する。
VLMは視覚エンコーダよりも著しく性能が悪く、近距離性能に低下することがわかった。
論文 参考訳（メタデータ） (2025-06-09T17:59:54Z) - Probing Visual Language Priors in VLMs [51.016683265437536]
我々は,意図的に分布外画像を特徴付けるベンチマークであるViLPを紹介した。
ViLPの各質問には、3つの潜在的な答えと3つの対応するイメージが結合される。
本稿では,モデルが新たなVQAデータを生成し,ピクセルレベルおよびセマンティックな汚職を適用して,自己学習のための「良いバッド」画像ペアを生成する自己改善フレームワークを提案する。
論文 参考訳（メタデータ） (2024-12-31T17:54:29Z) - Response Wide Shut: Surprising Observations in Basic Vision Language Model Capabilities [30.176918208200604]
VLM(Vision-Language Models)は、様々な複雑なコンピュータビジョン問題に対処するための汎用ツールとして登場した。
これらのモデルは高い能力を持つが、いくつかの基本的な視覚的理解スキルが欠けていることが示されている。
本稿では,基本的な視覚課題におけるSoTA VLMの限界を理解することを目的とする。
論文 参考訳（メタデータ） (2024-08-13T08:26:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。