論文の概要: DecoyCount: Evaluating Visual-Reasoning Misalignment in Counting
- arxiv url: http://arxiv.org/abs/2610.34855v1
- Date: Mon, 26 Oct 2026 05:19:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.761601
- Title: DecoyCount: Evaluating Visual-Reasoning Misalignment in Counting
- Title（参考訳）: DecoyCount: カウントにおける視覚的推論のミス評価
- Abstract要約: ビジュアルカウンティングベンチマークは、視覚言語モデルが正しい数を生成するかどうかを報告するが、エラーが知覚や推論から生じるかどうかは報告しない。
1,660個の実世界の画像を7つのメカニズムにまたがってデコイを設計したベンチマークであるDecoyCountを紹介した。
数える失敗は、部分的に視覚的不適応によって引き起こされる。
- 参考スコア（独自算出の注目度）: 33.98806678646302
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Visual counting benchmarks report whether vision-language models produce the correct number, but not whether errors arise from perception or reasoning. We introduce DecoyCount, a benchmark built from 1,660 real-world images with designed decoys across seven mechanisms, along with paired prompts: a neutral question, a matched alignment cue, and a novel multi-hop, multi-image question that situates the same counting problem in a realistic scenario. Using this design, we find that counting failures are induced partly by visual misalignment: models can execute the intended counting process when cue-guided but fail to select it unaided, and we term this difference in accuracy the reasoning-alignment gap. Despite being highly capable on general reasoning, frontier models remain below 50\% accuracy on our benchmark, while alignment gaps range from 11.8-22.1 percentage points; strikingly, we observe that more capable models, greater thinking budgets, and agentic processes often induce larger gaps. Because humans may bring context that models lack, we test whether textual underspecification contributes to misalignment using a scenario-based multi-hop condition without explicit hinting, but this added context does not improve aggregate performance. Our analysis concludes that stronger general reasoning does not by itself generalize to aligned visual reasoning, leaving misalignment with human visual expectations as a substantial component of the remaining deficit.
- Abstract（参考訳）: ビジュアルカウンティングベンチマークは、視覚言語モデルが正しい数を生成するかどうかを報告するが、エラーが知覚や推論から生じるかどうかは報告しない。
DecoyCountは、7つのメカニズムにまたがるデコイを設計した1,660個の実世界の画像から構築されたベンチマークで、中立的な質問、一致したアライメントキュー、そして、現実的なシナリオにおいて同じカウント問題を満たす新しいマルチホップのマルチイメージ質問というペアプロンプトも導入する。
モデルでは、キュー誘導時に意図したカウント処理を実行することができるが、その選択に失敗するので、精度の差を推論とアライメントのギャップとして表現する。
一般的な推論において高い能力を持つにもかかわらず、フロンティアモデルはベンチマークで50%未満の精度であり、アライメントギャップは11.8～22.1ポイントである。
人間は、モデルに欠けているコンテキストをもたらす可能性があるため、明示的なヒントなしでシナリオベースのマルチホップ条件を用いて、テキストの過小評価が誤調整に寄与するかどうかを検証するが、この追加コンテキストは集約性能を向上しない。
我々の分析は、より強い一般的な推論は、それ自体が協調的な視覚的推論に一般化するものではなく、人間の視覚的期待との不一致を残りの欠陥の実質的な構成要素として残していると結論付けている。
関連論文リスト
- Wrong Prediction, Right Answer: Recovering Evidence from Collapsed LLM Sequence Scores [31.709549159768727]
多様な推論ベンチマーク間で一貫した読み出しギャップを観察する。
隠れ状態プローブは、ネイティブシークエンススコアが完全に崩壊しても正解を復号することに成功した。
以上の結果から,無作為な内部論理を隠蔽する表現障害が明らかにゼロショット推論の欠点であることが明らかとなった。
論文 参考訳（メタデータ） (2026-08-31T16:43:55Z) - NumBench: Diagnosing Counting Failures in Text-to-Image Models [27.391694807526857]
テキスト・トゥ・イメージ(T2I)モデルは、しばしば間違った数のオブジェクトを生成するが、既存のベンチマークは、理由を説明するには小さすぎるか弱すぎる。
textbfは1,600のカテゴリにまたがる640,000のプロンプトと1から100までのカウントのベンチマークです。
また、要求されたインスタンスが解決可能な画像領域の有限セットに競合するプロセスモデルも開発する。
論文 参考訳（メタデータ） (2026-08-28T11:26:19Z) - See2Think: Do Multimodal Models Really Use Intermediate Visual States? [12.082470543980422]
See2ThinkBenchとVisual Action-of-Thought (VAoT)を組み合わせた統合評価フレームワークであるSeee2Thinkを紹介する。
VAoTは4つの制御された推論設定の下で、テキストの思考、視覚行動、レンダリングされた状態、およびその後の推論を記録する。
視覚的推論はモデルに依存し、環境に依存しており、タスク間で一貫した1つの設定が支配的でないことが分かっています。
論文 参考訳（メタデータ） (2026-07-29T11:10:34Z) - LADBench: A Benchmark for Logical Fault Detection in Images [1.6882040908691864]
視覚言語モデル(VLM)は視覚的質問応答とセマンティックグラウンドティングに優れるが、自律的な論理的推論の能力はいまだ探索されていない。
既存の異常ベンチマークでは、オープンワールド展開に必要な物理的、社会的常識よりも、視覚的エラーや直接的なプロンプトが強調されている。
LAD-benchは4つの領域にまたがる論理異常を持つ1,000以上のキュレートされた合成画像のベンチマークである。
論文 参考訳（メタデータ） (2026-06-16T02:32:38Z) - VisualFLIP: Do Predictions Depend on Task-Critical Visual Evidence in Multimodal Reasoning? [79.44137632338062]
マルチモーダルな大規模言語モデルが視覚的推論問題に正しく答える場合、その予測はタスククリティカルな視覚的証拠によって実際に支持されているか?
VisualFLIPは1,374枚の画像が基数,属性,空間,論理的タスクにまたがって同一の問合せペアとして配置されたベンチマークである。
ペアの両面を解く必要がある24個のMLLMと、少なくとも一方の面を解くモデルが両方の画像に対して同じ空でない答えを繰り返す頻度を測定するCR(Collapse Rate)を評価した。
論文 参考訳（メタデータ） (2026-06-05T22:06:07Z) - Unveiling the Visual Counting Bottleneck in Vision-Language Models [49.591496870141846]
この研究は視覚的数え上げを3つの認知段階(視覚的識別、大きさ認識、象徴的マッピング)に分解する。
合成Go基板と線形プローブを用いて、視覚的バックボーンは、外挿系にしっかりと、線形に分離可能な量表現を保っていることを示す。
我々は、崩壊をシンボルマッピングステージに向ける。そこでは、モデルがシンボルトークンに有効な視覚的大きさを投影することに失敗する。
論文 参考訳（メタデータ） (2026-05-28T16:20:29Z) - Pando: Do Interpretability Methods Work When Models Won't Explain Themselves? [53.07826484214082]
モデル・オーガニゼーションのベンチマークであるPandoを紹介します。
Pandoは、ラベル付きクエリ-レスポンスペアから、ホールドアウトモデル決定を予測する。
説明が忠実であれば、ブラックボックスの引用はすべてのホワイトボックスメソッドに一致するか、超える。
論文 参考訳（メタデータ） (2026-04-13T06:42:24Z) - Video-R2: Reinforcing Consistent and Grounded Reasoning in Multimodal Language Models [56.851611990473174]
動的ビジュアルコンテンツに対する推論は、大きな言語モデルにとって依然として中心的な課題である。
本稿では,時間的精度と推論一貫性を両立させる強化学習手法を提案する。
結果のモデルであるVideo R2は、複数のベンチマークでTAC、VAS、精度を一貫して向上させる。
論文 参考訳（メタデータ） (2025-11-28T18:59:58Z) - Thought calibration: Efficient and confident test-time scaling [11.028893528095196]
大きな言語モデルを推論することで、長いこと考えることで、素晴らしいテスト時間のスケーリングを実現しますが、このパフォーマンス向上は、かなりの計算コストを伴います。
思考終了時の動的決定を動的に行うための思考校正を提案する。
このフレームワークは,言語モデルに隠された表現をベースとした軽量なプローブによって実現されている。
論文 参考訳（メタデータ） (2025-05-23T22:17:18Z) - Landscape of Thoughts: Visualizing the Reasoning Process of Large Language Models [58.64449765678416]
思考のランドスケープ(LoT)を導入し、任意の複数選択データセット上で特定の推論手法で推論軌跡を検査する。
LoTは、強いモデルと弱いモデル、正解と誤解、および異なる推論タスクを区別する。
トラジェクトリの正しさを評価する軽量検証器にLoTを適用することで、この利点を実証する。
論文 参考訳（メタデータ） (2025-03-28T06:09:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。