論文の概要: Seeing is not Enough: Vision-Language Models Perceive Evidence but Fail to Act
- arxiv url: http://arxiv.org/abs/2609.22588v1
- Date: Fri, 18 Sep 2026 21:13:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:00.466685
- Title: Seeing is not Enough: Vision-Language Models Perceive Evidence but Fail to Act
- Title（参考訳）: 見過ごせない:視覚言語モデルは証拠を知覚するが、行動に失敗する
- Abstract要約: 視覚言語モデル(VLM)は、視覚的質問応答ベンチマークで強く機能するが、しばしば、既に特定済みの視覚的証拠と矛盾する決定を行う。
本稿では,9つの実像プロセスファミリにまたがるベンチマークであるVPAC-Benchについて紹介する。
また、構造化されたプロセス優先介入のファミリであるState-Relevance-Target(SRT)も提案する。
- 参考スコア（独自算出の注目度）: 7.596901009141348
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Vision-language models (VLMs) perform strongly on visual question answering benchmarks, yet often make decisions that contradict visual evidence they have already identified correctly. We distinguish perceptual failure, where relevant evidence is not recognized, from process failure, where recognized evidence fails to constrain the final decision. We introduce VPAC-Bench, a benchmark spanning nine real-image process families, with each image annotated by its current activity stage and nearby stage transition. We also propose State-Relevance-Target (SRT), a family of structured process-prior interventions that requires models to connect visible evidence to the relevant process state before answering. Across multiple VLMs, process failure is widespread: models that correctly enumerate visual candidates still over-commit to a single answer in more than 95% of ambiguous cases. An explicit process-structured intervention reduces this rate to below 13% without degrading performance on unambiguous cases. However, the transfer of process priors is model-dependent, and generic SRT does not consistently outperform strong chain-of-thought baselines. When the relevant stage transition is known, boundary-aligned SRT substantially outperforms generic process prompting and all tested chain-of-thought baselines across assembly, physical state transition, navigation and traffic, and object-use affordance tasks. These results show that process priors are most useful when aligned with the scene's specific decision boundary, motivating boundary-aware prior selection for process-grounded visual reasoning.
- Abstract（参考訳）: 視覚言語モデル(VLM)は、視覚的質問応答ベンチマークで強く機能するが、しばしば、既に特定済みの視覚的証拠と矛盾する決定を行う。
我々は、関連する証拠が認識されない知覚的失敗と、認識された証拠が最終決定を拘束できないプロセス失敗とを区別する。
本稿では,9つの実像プロセスファミリにまたがるベンチマークであるVPAC-Benchについて紹介する。
また、構造化されたプロセス優先介入のファミリであるState-Relevance-Target(SRT)も提案する。
視覚的候補を正しく列挙するモデルは、曖昧なケースの95%以上において、1つの答えに過度にコミットする。
明示的なプロセス構造化介入は、あいまいなケースのパフォーマンスを低下させることなく、このレートを13%以下に下げる。
しかし、プロセス先行の転送はモデル依存であり、ジェネリックSRTは強いチェーン・オブ・シークレットのベースラインを一貫して上回っているわけではない。
関連するステージ遷移が分かっている場合、境界整合SRTはジェネリックプロセスのプロンプトを大幅に上回り、アセンブリ、物理的状態遷移、ナビゲーションとトラフィック、そしてオブジェクト使用代償タスクをまたいで全てのテストされたチェーン・オブ・シンクベースラインが実行されます。
これらの結果から,プロセスの先行はシーンの特定の決定境界に整合する上で最も有用であり,プロセス基底の視覚的推論に対する境界認識の事前選択を動機付けることが示唆された。
関連論文リスト
- MNIST-PRO: MNIST is Back as a Partially Observable World for AI Agents [74.83535434786145]
MNIST-PRO (MNIST-PRO) は、MNISTの桁認識を、ルックバック制約付きシーケンシャルな視線に基づく検索タスクに変換することで、エージェント認識を分離するベンチマークである。
生の視覚履歴、テキスト状態、構造化されたメートル法グリッドマップ、統合された視覚キャンバスを含む4つの記憶表現の10つのマルチモーダルモデルを評価する。
論文 参考訳（メタデータ） (2026-08-31T16:05:39Z) - Chain-of-Procedure: Hierarchical Visual-Language Reasoning for Procedural QA [36.09221196975847]
プロシージャVQAは、視覚的な手続き的推論のために設計された新しいマルチモーダルベンチマークである。
階層的推論フレームワークであるChain-of-Procedure(CoP)について述べる。このフレームワークはまず視覚的手がかりを用いて関連命令を検索し,意味的分解によってステップリファインメントを行い,最後に次のステップを生成する。
論文 参考訳（メタデータ） (2026-05-14T15:03:36Z) - ClawForge: Generating Executable Interactive Benchmarks for Command-Line Agents [59.626170560327274]
textbfClawForgeは、ステートコンフリクト下で実行可能なコマンドラインカテゴリのためのジェネレータベースのベンチマークフレームワークである。
私たちはこのフレームワークをClawForge-Bench(17のシナリオ、6の能力カテゴリ)としてインスタンス化します。
論文 参考訳（メタデータ） (2026-05-13T21:34:08Z) - LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。
CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
論文 参考訳（メタデータ） (2026-05-02T11:31:33Z) - Knowing When Not to Answer: Evaluating Abstention in Multimodal Reasoning Systems [52.83669998269706]
テキストのみの設定で研究されてきたが、まだマルチモーダルに探索されていない。
現在のベンチマークでは、未解決性を無視するか、現実的な障害モードを見逃す粗末なメソッドに依存している。
MM-AQAは、2つの軸に沿った変換によって解答不能なインスタンスを解答可能なインスタンスから構築するベンチマークである。
論文 参考訳（メタデータ） (2026-04-16T09:23:22Z) - PassiveQA: A Three-Action Framework for Epistemically Calibrated Question Answering via Supervised Finetuning [0.0]
不完全情報の下では、モデルが解答、解答、Ask、Abstainを判断しなければならない。
本稿では,教師付き微調整によりモデル行動と情報満足度を整合させる3つのアクション・フレームワークであるPassiveQAを提案する。
提案手法は,構造化情報状態表現,知識グラフ基底コンテキスト,および不足変数と決定推論を明示的にモデル化した微調整プランナーを統合する。
論文 参考訳（メタデータ） (2026-04-06T09:54:16Z) - Detecting Undesired Process Behavior by Means of Retrieval Augmented Generation [0.5461938536945723]
本稿では,プロセスモデル専用のプロセスモデルや,望ましくないプロセスの振る舞いを検出するためのリソース集約的な微調整を必要としないアプローチを提案する。
代わりに、リトリーバル拡張生成(RAG)を使用して、知識ベースに直接アクセス可能なLLMを提供します。
提案手法は, 望ましくない動作を検出する上で, 微調整LDMよりも優れていることを示す。
論文 参考訳（メタデータ） (2025-05-28T07:03:46Z) - Transparent and Coherent Procedural Mistake Detection [30.540514590818265]
手続き的誤り検出(英: Procedural mis detection、PMD)は、人間がタスクをうまく実行したかどうかを分類する難しい問題である(手続き的テキストで特定)。
我々は、意思決定に視覚的自己対話的合理性を生成するためにPMDを拡張した。
近年のヴィジュアル・アンド・ランゲージモデル(VLM)で観察される印象的かつ成熟した画像理解能力を考えると、個々のフレームに基づいてPMDに適したベンチマークデータセットをキュレートする。
論文 参考訳（メタデータ） (2024-12-16T16:13:55Z) - Detecting Multimodal Situations with Insufficient Context and Abstaining from Baseless Predictions [75.45274978665684]
VLU(Vision-Language Understanding)ベンチマークには、提供されたコンテキストによってサポートされない仮定に答えが依存するサンプルが含まれている。
サンプル毎にコンテキストデータを収集し,エビデンスに基づくモデル予測を促進するためにコンテキスト選択モジュールをトレーニングする。
我々は,十分なコンテキストを欠いたサンプルを同定し,モデル精度を向上させる汎用なコンテキスト・アワレ認識検出器を開発した。
論文 参考訳（メタデータ） (2024-05-18T02:21:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。