論文の概要: Reasoning Instructions Can Break Answer Decoding in Vision--Language Models

• arxiv url: http://arxiv.org/abs/2609.29278v1
• Date: Thu, 24 Sep 2026 09:15:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:09.808691
• Title: Reasoning Instructions Can Break Answer Decoding in Vision--Language Models
• Title（参考訳）: 推論命令は視覚モデルにおける解答デコーディングを損なう可能性がある--言語モデル
• Abstract要約: CoT(Chain-of- Thought)命令は、スコアラーが推論キューを付加するが、モデルが論理を生成する前に応答ラベルのロジットを読み取ると、複数の選択VLM評価を歪めることができる。 科学QAでは、Qwen2.5-VL-7Bは80.76%から45.48%に低下し、CoT-予測の93.54%が最初のスロットを選択する。
• 参考スコア（独自算出の注目度）: 8.569831218454535
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Chain-of-thought (CoT) instructions can distort multiple-choice VLM evaluation when a scorer appends a reasoning cue but reads answer-label logits before the model generates any rationale. We call this CoT-prefix scoring. On ScienceQA, Qwen2.5-VL-7B drops from 80.76% to 45.48%, and across five option-content permutations 93.54% of CoT-prefix predictions select the first slot. Condition-matched linear probes recover 78.94% from the same hidden states, while free generation restores 75.24%, showing that the answer often survives the prefix and the immediate readout fails. Vocabulary and layer diagnostics explain the mismatch: probability mass moves toward continuation tokens, while answer information remains linearly accessible in late layers. The effect recurs with varying severity across datasets and models, though not universally. These results show that CoT-prefix scoring can confound model knowledge with an evaluation-interface mismatch and should be avoided unless the requested and scored output events are aligned.
• Abstract（参考訳）: CoT(Chain-of- Thought)命令は、スコアラーが推論キューを付加するが、モデルが論理を生成する前に応答ラベルのロジットを読み取ると、複数の選択VLM評価を歪めることができる。 私たちはこのCoT-prefixスコアを呼んでいます。 ScienceQAでは、Qwen2.5-VL-7Bは80.76%から45.48%に低下し、CoT-prefix予測の93.54%が第1スロットを選択する。 条件整合線形プローブは同じ隠れ状態から78.94%を回復し、フリージェネレーションは75.24%を回復する。 確率質量は継続トークンに向かって移動し、解答情報は後期層で線形にアクセス可能である。 この効果はデータセットやモデルによって異なる重大さで再帰するが、普遍的ではない。 これらの結果から,CoT-prefixスコアリングは,要求された出力イベントが一致しなければ,評価インターフェースミスマッチとモデル知識の相違を回避できることが示唆された。

関連論文リスト

• Grounded and Faithful P&ID Reasoning: Constraining Vision-Language Models with Recovered Evidence Graphs [0.0]
  Graph-Grounded Harness (Ours)は、画像のみのプロンプトで36.7-41.3%の精度でマッチする。 Digitize-PIDデータセットでは、復元されたグラフは、正確なプロセス接続でF1 0.742、シンボルとタグがプールされると0.801となる。
  論文  参考訳（メタデータ） (2026-09-05T05:02:34Z)
• Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
  PointArena 2026は77.2%の精度でベンチマークで2位である。 ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。 次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
  論文  参考訳（メタデータ） (2026-06-29T06:39:03Z)
• Rethinking Dense Sequential Chains: Reasoning Language Models Can Extract Answers from Sparse, Order-Shuffling Chain-of-Thoughts [51.84894623128418]
  現代の推論言語モデルは、すべてのトークンが寄与し、ステップを順番に消費しなければならないと暗黙的に仮定して、シーケンシャルな連鎖トレースを生成する。 我々は、モデル生成推論連鎖に適用した、系統的な介入パイプライン、除去、マスキング、シャッフル、ノイズ注入により、両方の仮定に挑戦する。 解答抽出は, スパース, 秩序不感, 構造的に堅牢な情報基板上で行う。
  論文  参考訳（メタデータ） (2026-05-08T06:15:50Z)
• The Detection-Extraction Gap: Models Know the Answer Before They Can Say It [1.423262366328995]
  部分的な接頭辞から解答が回復した後に連鎖トークンが生成されることを示す。 早期接頭辞からの無料継続は、10%のトレースでも正しい回答を回復するが、強制抽出はこれらのケースの42%で失敗する。 検出と抽出の両方に自由継続を利用するブラックボックス適応早期退避(BAEE)を提案する。
  論文  参考訳（メタデータ） (2026-04-08T02:47:31Z)
• Threading the Needle: Reweaving Chain-of-Thought Reasoning to Explain Human Label Variation [60.18907916989796]
  大規模言語モデル(LLM)は最終答を出す前に思考の連鎖(CoT)を生成する。 本稿では,各回答オプションに対するサポート文と反対文を抽出するために,言語的に接頭した談話セグメンタを付加した新しいパイプラインを提案する。 また、正確なスコアよりも回答のランクを優先するランクベースHLV評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-29T11:47:18Z)
• Benchmarking Reasoning Robustness in Large Language Models [76.79744000300363]
  新規データや不完全データでは,性能が著しく低下することがわかった。 これらの結果は、厳密な論理的推論に対するリコールへの依存を浮き彫りにした。 本稿では,情報不足によって引き起こされる幻覚を利用して推論ギャップを明らかにする,Math-RoBと呼ばれる新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-03-06T15:36:06Z)
• "My Answer is C": First-Token Probabilities Do Not Match Text Answers in Instruction-Tuned Language Models [40.867655189493924]
  言語生成のオープンな性質は、大規模言語モデル(LLM)の評価を困難にしている。 1つの一般的な評価手法は、応答空間を制限するためにMulti-choice Question (MCQ) を用いる。 そこで本研究では,テキストの出力を数次元で評価する。
  論文  参考訳（メタデータ） (2024-02-22T12:47:33Z)
• Selective Question Answering under Domain Shift [90.021577320085]
  モデルがドメイン外の入力に対して過度に信頼されているため、モデルのソフトマックス確率のみに基づくアテンションポリシーは不適切である。 キャリブレータをトレーニングして、QAモデルがアースする入力を識別し、エラーを予測した場合に停止する。 提案手法は,80%の精度を維持しながら56%の質問に回答するが,それに対してモデルの確率を直接使用する場合,80%の精度で48%しか回答しない。
  論文  参考訳（メタデータ） (2020-06-16T19:13:21Z)
• TACRED Revisited: A Thorough Evaluation of the TACRED Relation Extraction Task [80.38130122127882]
  TACREDはリレーショナル抽出(RE)において最も大きく、最も広く使われているクラウドソースデータセットの1つである パフォーマンスの天井に到達したのか、改善の余地はあるのか? ラベルエラーは絶対F1テストエラーの8%を占めており、例の50%以上を可逆化する必要がある。
  論文  参考訳（メタデータ） (2020-04-30T15:07:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。