論文の概要: Geometric Parrots: Rule Absence vs. Rule Fragility in Spatial and Physical Reasoning for Vision-Language Models
- arxiv url: http://arxiv.org/abs/2610.16170v1
- Date: Mon, 12 Oct 2026 04:45:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-19 07:14:53.078988
- Title: Geometric Parrots: Rule Absence vs. Rule Fragility in Spatial and Physical Reasoning for Vision-Language Models
- Title（参考訳）: 幾何学的パロット:視覚・言語モデルにおける空間的・物理的推論における規則の欠如と規則の脆弱性
- Abstract要約: 視覚言語モデル(VLM)は多くの幾何学的および物理的推論問題に正しく答えることができるが、それでも相互作用において矛盾なく振る舞う。
GRIPは、34の手続き的に生成された推論ドメイン、10万の画像、60万の質問を含むベンチマークである。
クローズドループは、各画像を5段階の合成質問はしごでプローブし、推論が失敗する場所をローカライズする。
オープンループは、ピアモデル応答やサポート対象のユーザアサーションなど、制御された課題の下でモデルの回答を再評価する。
- 参考スコア（独自算出の注目度）: 10.357539517686844
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-language models (VLMs) can answer many geometric and physical reasoning questions correctly, yet still behave inconsistently in interaction, for example, abandoning a correct answer when confronted with a confident but incorrect user assertion. Standard single-turn accuracy cannot distinguish such capitulations from beneficial corrections because it scores each response in isolation. We introduce GRIP, a controlled benchmark with 34 procedurally generated reasoning domains, 100,000 images, and 600,000 questions spanning geometric, spatial, visual, and physical reasoning. Each scene is generated by deterministic code, and every answer is derived directly from the underlying scene state, providing exact ground truth without human annotation. On GRIP, we propose Dual-Loop Evaluation. A closed loop probes each image with a five-step compositional question ladder to localize where reasoning fails. An open loop then re-elicits the model's answer under controlled challenges, including peer-model responses and unsupported user assertions. Because ground truth is known exactly, answer changes can be signed as corrections (wrong-to-right) or capitulations (right-to-wrong), separating two failure modes: rule absence and rule fragility. The dataset is available at https://huggingface.co/datasets/bilaljawaid980/GRIP-Benchmark, with further details at https://bilaljawaid980.github.io/grip-benchmark/.
- Abstract（参考訳）: 視覚言語モデル(VLM)は、多くの幾何学的および物理的推論問題に正しく答えることができるが、相互作用において矛盾なく振る舞う。
標準のシングルターン精度は、それぞれの応答を独立してスコアするので、これらの降伏を有益な補正と区別することはできない。
GRIPは,34の手続き的推論領域,10万の画像,60,000の質問を幾何学的,空間的,視覚的,身体的推論に分散した制御されたベンチマークである。
それぞれのシーンは決定論的コードによって生成され、すべての答えは下層のシーン状態から直接導き出され、人間のアノテーションなしで正確な真実を提供する。
GRIPではDual-Loop Evaluationを提案する。
クローズドループは、各画像を5段階の合成質問はしごでプローブし、推論が失敗する場所をローカライズする。
オープンループは、ピアモデル応答やサポート対象のユーザアサーションなど、制御された課題の下でモデルの回答を再評価する。
基礎的な真実が正確に分かっているため、回答の変更は修正(右から右へ)または降伏(右から右へ)として署名され、2つの障害モード(ルールの欠如とルールの脆弱性)が分離される。
データセットはhttps://huggingface.co/datasets/bilaljawaid980/GRIP-Benchmarkで利用可能であり、詳細はhttps://bilaljawaid980.github.io/grip-benchmark/で確認できる。
関連論文リスト
- Anatomy of LLM Sycophancy: What a Flip Rate Hides [3.7193230342956056]
我々は,SycoLensを用いてユーザプレッシャと評価設定のフリップ率の測定方法を検証する。
各測定は、アイテムの1つのステートレスリプレイ、コミットされた回答、および1つのスクリプト化されたユーザラインを固定形式で保持する。
論文 参考訳（メタデータ） (2026-10-05T15:32:45Z) - Better Call Reward: Reward Hacking as Strategic Abstention in Legal Reasoning Models [0.10312968200748114]
3つの表面的特徴から構築されたプロキシに対して、グループ相対ポリシーの最適化でQwen3-8Bを微調整します。
16かそれ以上の法的な理由づけタスクはLegalBenchで行われ、全体的な精度は0.500から0.072に低下する。
これをソール・グッドマン効果(Saul Goodman effect)と呼びます。
論文 参考訳（メタデータ） (2026-10-05T14:46:35Z) - Do LiDAR Language Models Really Understand Spatio-temporal Relationships? [62.56505727364142]
ベンチマークと診断プロトコルであるLiDAR-Halluを150 nusのシーンで紹介する。
提案プロトコルは,固定回答と候補コンテンツ制御,クロスシーンペアを同一のプロンプトで組み合わせるが,参照応答は逆で,リレーショナルなリコールを行う。
記録された10万の応答の分析は、集合的空間精度によって隠された失敗を明らかにする。
論文 参考訳（メタデータ） (2026-09-21T11:59:07Z) - Apple-$π$: Benchmarking Thinking with Video Towards Law-Grounded Physical Intelligence [54.58886283991723]
Apple-PIは、物理法則でビデオモデルの評価を明示的に固定する最初のベンチマークである。
Apple-PIは3つのコンポーネントから構成される。
ベンチマーク11モデルは、現在のビデオモデルが信頼性の高い地上のワールドシミュレータから遠く離れていることを示している。
論文 参考訳（メタデータ） (2026-07-17T18:00:05Z) - Two Axes of LLM Abstention: Answer Correctness and Question Answerability [0.0]
モデルは2つの異なることを拒否すべきである。
3つのファミリーの5つの命令調整モデルにまたがって、それらは別々の軸である。
回答可能性スコアと正当性スコアがそれぞれ別々に認定された場合にのみ答える、校正されたポリシーに変換する。
論文 参考訳（メタデータ） (2026-07-09T13:17:56Z) - VisualFLIP: Do Predictions Depend on Task-Critical Visual Evidence in Multimodal Reasoning? [79.44137632338062]
マルチモーダルな大規模言語モデルが視覚的推論問題に正しく答える場合、その予測はタスククリティカルな視覚的証拠によって実際に支持されているか?
VisualFLIPは1,374枚の画像が基数,属性,空間,論理的タスクにまたがって同一の問合せペアとして配置されたベンチマークである。
ペアの両面を解く必要がある24個のMLLMと、少なくとも一方の面を解くモデルが両方の画像に対して同じ空でない答えを繰り返す頻度を測定するCR(Collapse Rate)を評価した。
論文 参考訳（メタデータ） (2026-06-05T22:06:07Z) - VideoZeroBench: Probing the Limits of Video MLLMs with Spatio-Temporal Evidence Verification [73.02304272829785]
VideoBenchは、証拠を厳格に検証する長ビデオ応答のための階層的なベンチマークだ。
これは、13のドメインに500の注釈付き質問を手動で記述し、時間間隔と空間境界ボックスを組み合わせて証拠とする。
GeminiPro-3-Proでさえ、標準のエンドツーエンドのQA設定で17%未満の質問に正しく答えている。
その結果,表面レベルでの回答の正しさと真正な証拠に基づく推論との間に大きなギャップが生じた。
論文 参考訳（メタデータ） (2026-04-02T03:29:43Z) - GeoChallenge: A Multi-Answer Multiple-Choice Benchmark for Geometric Reasoning with Diagrams [24.006289796467907]
提案するGeoChallengeは,90Kで自動生成された多重選択幾何証明問題である。
複数の高度なLCMの実験では、モデルと人間の間に明らかなパフォーマンスギャップが示されている。
最高のパフォーマンスモデルであるGPT-5-nanoは75.89の精度で人間と94.74で一致している。
論文 参考訳（メタデータ） (2026-02-25T08:14:42Z) - UQ: Assessing Language Models on Unsolved Questions [149.46593270027697]
当社では,Stack Exchangeから提供された500の難解で多様な質問を対象としたテストベッドであるUQを紹介します。
未解決の質問は、人間が答えを求めるときにしばしば難しく自然に発生する。
上位モデルは15%の質問でUQ検証をパスし、予備的な人間の検証はすでに正しい答えを同定している。
論文 参考訳（メタデータ） (2025-08-25T01:07:59Z) - MINERVA: Evaluating Complex Video Reasoning [72.12644008002566]
我々は、最新のマルチモーダルモデルのためのMINERVAと呼ばれる新しいビデオ推論データセットを提供する。
我々のデータセットはマルチモーダルであり、ビデオ領域と長さの点で多様であり、複雑なマルチステップの質問で構成されている。
我々は,様々なモデルにまたがる共通障害モードを特定するために,きめ細かいエラー解析を行い,推論エラーの分類を作成する。
論文 参考訳（メタデータ） (2025-05-01T17:41:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。