論文の概要: New Evidence, Same Choice: Testing Physical Experiment Selection in Vision Language Models
- arxiv url: http://arxiv.org/abs/2609.11022v1
- Date: Thu, 10 Sep 2026 03:01:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 23:53:35.202072
- Title: New Evidence, Same Choice: Testing Physical Experiment Selection in Vision Language Models
- Title（参考訳）: 新しいエビデンス、同じ選択:視覚言語モデルにおける物理実験選択のテスト
- Abstract要約: 視覚言語モデルがいつ、いつ、いつ、さらに証拠が必要か、どの実験を行うかを決定することができるかを検討する。
現在の物理的推論ベンチマークは、通常最終回答のみを評価するので、直接この意思決定能力を測定することはない。
一致した問題ペアを構築し, 観測値や質問値の変更が最適動作を変化させる。
6つのオープンモデルと144の物理パラメータセットにまたがって、正しいアクションが変化しても、直接応答は同じアクションを95.1%から100%のイメージペアで繰り返す。
- 参考スコア（独自算出の注目度）: 6.814001943893833
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: A model first sees an image from one physical measurement experiment, such as how far a block coasted, and must answer a question about a new trial, such as whether the block will pass a target after a fixed push. The initial experiment may provide enough information to answer, or the model may need another measurement, such as the object's mass, friction, restitution, or spring stiffness. We study whether vision language models can decide when to answer immediately and, when more evidence is needed, which experiment to perform. Current physical reasoning benchmarks usually evaluate only the final answer, so they do not directly measure this decision-making ability. We introduce a controlled evaluation where each problem provides one measurement image and four possible physical worlds created by combining two possible masses and two possible values of another relevant property. The model must either stop and answer or select the cheapest additional experiment that can resolve the question. We construct matched problem pairs where changing either the observed measurement or the question changes the optimal action. Since all possible worlds and experiment costs are known, we can explicitly determine the optimal choice. Across six open models and 144 physical parameter sets, direct responses repeat the same action for 95.1% to 100% of image pairs even when the correct action changes. Brief reasoning improves action switching, but the best model makes both decisions correctly for only 5.9% of image pairs. Additional analysis reveals failures in measurement interpretation, physical reasoning, and response formatting. By evaluating evidence selection separately from final answers, our benchmark reveals limitations in physical reasoning that conventional answer accuracy can overlook.
- Abstract（参考訳）: モデルはまず、ブロックが海岸までの距離など、ある物理的測定実験からの画像を見て、固定されたプッシュの後、ブロックがターゲットを通過するかどうかといった新しい試行について質問に答えなければならない。
最初の実験では、答えるだけの十分な情報が得られるかもしれないし、模型には、物体の質量、摩擦、反り、春の剛性などの別の測定が必要であるかもしれない。
視覚言語モデルがいつ、いつ、いつ、さらに証拠が必要か、どの実験を行うかを決定することができるかを検討する。
現在の物理的推論ベンチマークは通常、最終回答のみを評価するため、この意思決定能力を直接測定することはない。
本稿では,2つの可能な質量と2つの可能な他の特性の値を組み合わせることで,各問題が1つの測定画像と4つの物理世界を提供する制御評価を導入する。
モデルは停止して答えるか、問題を解決できる最も安価な追加実験を選択する必要があります。
一致した問題ペアを構築し, 観測値や質問値の変更が最適動作を変化させる。
すべての可能な世界と実験コストが知られているので、最適な選択を明示的に決定できる。
6つのオープンモデルと144の物理パラメータセットにまたがって、正しいアクションが変化しても、直接応答は同じアクションを95.1%から100%のイメージペアで繰り返す。
簡潔な推論はアクションスイッチングを改善するが、最良のモデルでは、両方の決定を正しく行うのはイメージペアの5.9%に過ぎない。
さらなる分析により、測定の解釈、物理的推論、応答のフォーマッティングの失敗が明らかになった。
最終回答とは別個にエビデンスの選択を評価することで,従来の回答精度が見落としてしまうという物理的推論の限界を明らかにする。
関連論文リスト
- Decomposition of Evidence, Contradiction, and Fragility in Perturbation Responses [1.1162481475388237]
我々は, 一致, 反対, 終端無効応答をエビデンスE, 矛盾C, FにルートするDECAFを紹介する。
分解は通常の等級、 Abs = E + C + F を正確に保存し、終端相対公理の下で一意である。
明らかな経路だけを変えることで、全体のレスポンスが80%近く増加するが、脆弱性が4倍以上に増加する一方で、証拠はほとんど変化しない。
論文 参考訳（メタデータ） (2026-08-13T08:13:22Z) - VisualFLIP: Do Predictions Depend on Task-Critical Visual Evidence in Multimodal Reasoning? [79.44137632338062]
マルチモーダルな大規模言語モデルが視覚的推論問題に正しく答える場合、その予測はタスククリティカルな視覚的証拠によって実際に支持されているか?
VisualFLIPは1,374枚の画像が基数,属性,空間,論理的タスクにまたがって同一の問合せペアとして配置されたベンチマークである。
ペアの両面を解く必要がある24個のMLLMと、少なくとも一方の面を解くモデルが両方の画像に対して同じ空でない答えを繰り返す頻度を測定するCR(Collapse Rate)を評価した。
論文 参考訳（メタデータ） (2026-06-05T22:06:07Z) - Measuring and Improving Behavioral Consistency in Large Language Models through Fact-Heuristic-Emotion State Enforcement [4.226475360842309]
大規模言語モデル(LLM)は、実行中に同じ決定問題に対して異なる回答を与え、自身の事前回答がコンテキストとして返されるときにその決定を覆す。
モデル重みを変化させることなく、この不安定性を測定・部分的に低減できるかどうかを問う。
我々は,プロンプトレベルの状態強化層であるCognitive Kernel Model (CKM)をテストする。
論文 参考訳（メタデータ） (2026-06-05T12:36:36Z) - Seeing Isn't Knowing: Do VLMs Know When Not to Answer Spatial Questions (and Why)? [72.2500547961037]
空間推論は視覚言語モデル(VLM)が現実世界の環境に展開する基本的な能力である。
対象情報を隠蔽するオクルージョン(Occlusion)と、誤解を招く視覚的手がかりを生成する視点曖昧性(spective ambiguity)の2つのタイプの観察課題を紹介した。
各構成について、クリーンな観察では答えられるが、導入した課題では無視する必要がある空間的質問を設計する。
論文 参考訳（メタデータ） (2026-05-28T20:44:47Z) - Beyond the Last Answer: Your Reasoning Trace Uncovers More than You Think [51.0691253204425]
我々は2つの質問に答えるために中間的推論ステップを解析する: 最終的な答えはモデルの最適結論を確実に表すか?
我々のアプローチは、推論トレースを言語的手がかりに基づくシーケンシャルなサブソートに分割することである。
これらの解答を最も頻繁な解(モード)を選択して集約すると、元の完全トレースから得られる解のみに依存するよりも、はるかに高い精度が得られることが判明した。
論文 参考訳（メタデータ） (2025-04-29T12:39:07Z) - Are DeepSeek R1 And Other Reasoning Models More Faithful? [2.0429566123690455]
我々は,Qwen-2.5,Gemini-2,DeepSeek-V3-Baseの3つの推論モデルを評価する。
MMLU質問に対する解答に、その解答がどう影響するかをモデルで記述できるかどうかを検証する。
推論モデルは、テストされたすべての非推論モデルよりもはるかに確実にそれらに影響を与えるキューを記述する。
論文 参考訳（メタデータ） (2025-01-14T14:31:45Z) - Rethinking LLM Uncertainty: A Multi-Agent Approach to Estimating Black-Box Model Uncertainty [47.95943057892318]
ブラックボックスLSMの不確実性の定量化は、信頼性の高い応答とスケーラブルな監視に不可欠である。
本研究では,不確実性推定にマルチエージェント相互作用を用いた新しい理論的基礎手法であるDiverseAgentEntropyを紹介する。
論文 参考訳（メタデータ） (2024-12-12T18:52:40Z) - Increasing Probability Mass on Answer Choices Does Not Always Improve
Accuracy [60.18632773935895]
同一の意味を持つ複数の曲面に確率質量を分散させることは、モデルの真の性能の過小評価を引き起こすと考えられている。
我々はSFCの数学的形式論を提案し、初めてその影響を定量化し、束縛することができる。
提案手法は,各回答選択の確率質量をaで増加させるという単純な方法であり,プロンプトに含め,bに含めた確率質量をbで増加させる手法である。
論文 参考訳（メタデータ） (2023-05-24T00:27:00Z) - Relaxed forced choice improves performance of visual quality assessment methods [13.955679164085538]
画像品質評価において、多数の被験者の個人評価から画像又は映像の集合的視覚品質スコアを得る。
これらの実験でよく使われる形式は、2つの代替的な強制選択法である。
緩和された代替選択形式は、推測による認知負荷と応答のノイズを低減することを目的としている。
この研究は、これらの2つの応答形式を比較するために、大規模かつ包括的なクラウドソーシング実験を示す。
論文 参考訳（メタデータ） (2023-04-29T10:10:25Z) - Trivial or impossible -- dichotomous data difficulty masks model
differences (on ImageNet and beyond) [10.945724828039229]
私たちは、モデルがどのように決定するかを決定する様々な側面を切り離そうとしています。
ネットワークアーキテクチャや目的に関係なく、すべてのモデルが同様の決定境界に達することに気付きます。
人間はどの画像がCNNにとって「簡単」で「不可能」であるかを予測するのに非常に正確である。
論文 参考訳（メタデータ） (2021-10-12T12:09:59Z) - PROST: Physical Reasoning of Objects through Space and Time [68.69796589964076]
このデータセットには、14のテンプレートを手作業でキュレートした18,736の多重選択質問が含まれている。
我々は、最先端の事前学習モデルが物理的推論において不十分であることを示す分析を行う。
論文 参考訳（メタデータ） (2021-06-07T14:06:20Z) - How Can We Know When Language Models Know? On the Calibration of
Language Models for Question Answering [80.82194311274694]
言語モデルがいつ、自信を持って、特定のクエリに対する答えを知っているか、どのように知ることができるか?
我々は,T5,BART,GPT-2の3つの強力な生成モデルを検討した。
次に、そのようなモデルの校正方法を検討し、その信頼性スコアを正しさの確率と相関させる。
論文 参考訳（メタデータ） (2020-12-02T03:53:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。