論文の概要: Wrong Prediction, Right Answer: Recovering Evidence from Collapsed LLM Sequence Scores

• arxiv url: http://arxiv.org/abs/2608.31068v1
• Date: Mon, 31 Aug 2026 16:43:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.520768
• Title: Wrong Prediction, Right Answer: Recovering Evidence from Collapsed LLM Sequence Scores
• Title（参考訳）: 誤り予測, 右解答: 崩壊したLLMシーケンススコアから証拠を復元する
• Abstract要約: 多様な推論ベンチマーク間で一貫した読み出しギャップを観察する。 隠れ状態プローブは、ネイティブシークエンススコアが完全に崩壊しても正解を復号することに成功した。 以上の結果から,無作為な内部論理を隠蔽する表現障害が明らかにゼロショット推論の欠点であることが明らかとなった。
• 参考スコア（独自算出の注目度）: 31.709549159768727
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When a large language model fails a reasoning task, it is often assumed to lack the underlying capability. However, this conflates a genuine absence of reasoning with a late-stage output bottleneck. We observe a consistent readout gap across diverse reasoning benchmarks: hidden-state probes successfully decode correct answers even when native sequence scoring completely collapses due to structural biases. To test whether instance-specific logic survives this collapse, we introduce a diagnostic protocol using a minimal, target-label-free additive correction. Fitting just two parameters on as few as 25 unlabeled examples recovers 9--34 accuracy points for Qwen3.5 models, transferring successfully to OLMo-2-1B and Llama-3.1-8B. Crucially, these recovered decisions persist on hard instances unresolved by simple lexical overlap and significantly exceed count-preserving permutation baselines. Our results show that many apparent zero-shot reasoning deficits are expression failures masking intact internal logic, urging a narrower interpretation of benchmark evaluations.
• Abstract（参考訳）: 大きな言語モデルが推論タスクに失敗した場合、基礎となる能力が欠如していると仮定されることが多い。 しかし、これは後段の出力ボトルネックと真に推論の欠如を悪化させる。 隠れ状態プローブは、構造的バイアスにより、ネイティブシーケンスのスコアリングが完全に崩壊しても、正解を復号することに成功した。 インスタンス固有の論理がこの崩壊を乗り越えるかどうかを検証するために,最小限の目標ラベルなし加法補正を用いた診断プロトコルを導入する。 わずか25個の未ラベルモデルに2つのパラメータを設定すれば、Qwen3.5モデルの9-34の精度ポイントが回復し、OLMo-2-1BとLlama-3.1-8Bに転送される。 重要なことに、これらの回復された決定は、単純な語彙重複によって解決されずにハードインスタンスに持続し、カウント保存置換ベースラインを著しく超えている。 以上の結果から, 明らかにゼロショット推論の欠点の多くは, 内部論理を隠蔽する表現障害であり, ベンチマーク評価のより狭い解釈を促すことが示唆された。

関連論文リスト

• RePair: Turning Retrieval Failures into Counterfactual Hard Pairs [15.148342372814662]
  RePairは、偽陽性を双方向にマイニングし、LLM誘導の反ファクト編集を適用し、ローカルなハードペアの対照的な目的を持つ列車を訓練する。 Flickr30KとCOCO30Kでは、RePairは107Kの合成サンプルで制御された拡張ベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-08-30T06:47:38Z)
• The Tell-Tale Trace: Detecting Reasoning Failures in LLMs Using Chain-of-Thought Dynamics [0.9668407688201359]
  チェーン・オブ・思想(CoT)推論は、大きな言語モデル(LLM)のパフォーマンスを改善する。 言語化されたCoTを利用して推論の正しさをモニタリングする既存のアプローチは、個々の中間ステップの意味的正しさまたは整合性を大きく評価する。 機能障害は、可視的推論の構造において、タスク依存の分散変化として表れることを示す。
  論文  参考訳（メタデータ） (2026-08-04T08:04:36Z)
• LC-ERD: Mining Latent Logic for Self-Evolving Reasoning via Consistency-Regulated Reward Decomposition [55.572260012037084]
  本稿では, LC-ERD (Logic-Consistent Endogenous Reward Decomposition) を紹介する。 モデルの潜在論理エキスパートズ(Latent Logic Expertise)からのコンセンサスを集約することで、変分論理ポテンシャルを導出する。 LC-ERDは、論理の一貫性と正確性の間のトレードオフを明らかにする、堅牢な自己進化パスを提供する。
  論文  参考訳（メタデータ） (2026-05-19T07:27:50Z)
• Shorthand for Thought: Compressing LLM Reasoning via Entropy-Guided Supertokens [4.0704009036918025]
  大規模言語モデルにおける推論は、重要な推論時間計算を引き起こす。 推論トークンは、低エントロピーのテクスト構造トークン(推論過程を足場とするフレーズの再帰)と高エントロピーのテクスト有機トークン(解に向かって進むプロブレム固有のコンテンツ)の2つの機能タイプに分かれていることを示す。 頻繁な構造パターンをキャプチャするテクスチャツペルトケンを導出し、教師付き微調整によりモデルに導入するように教える。
  論文  参考訳（メタデータ） (2026-04-29T07:06:43Z)
• Large Language Models Decide Early and Explain Later [47.20810161393936]
  本研究では, 強制解の完成度を用いた推理段階における予測解の進化について検討する。 プローブベースの停止を含むシンプルさは、クエリ毎の推論トークン使用量を500トークン削減できることを示す。
  論文  参考訳（メタデータ） (2026-04-24T06:26:24Z)
• SELFDOUBT: Uncertainty Quantification for Reasoning LLMs via the Hedge-to-Verify Ratio [0.038379177968040606]
  言語モデル推論のための単一パス不確実性フレームワークであるSELFDOUBTを提案する。 私たちのキーシグナルであるHedge-to-Verify Ratio(HVR)は、推論トレースが不確実性マーカーを含むかどうかを検出し、もしそうであれば、明示的な自己チェック行動によってオフセットされているかどうかを検出する。 SELFDOUBTは単一の観測された推論軌道で動作し、任意のプロプライエタリなAPI上でのレイテンシとコスト制約によるデプロイメントに適している。
  論文  参考訳（メタデータ） (2026-04-07T19:19:29Z)
• Correct Answers from Sound Reasoning: Verifiable Process Supervision for Language Models [94.68358825189738]
  本稿では,予測精度と推論品質を協調的に最適化する検証済み領域の学習後フレームワークを提案する。 我々は,エンジン信号に対して推論ステップを確定的に検証できる制御テストベッドであるチェスのVPSを評価する。 VPSは、推論品質を著しく向上させながら精度を保ち、勝利率エラーを最大30%削減し、一貫性をほぼ飽和状態に回復する。
  論文  参考訳（メタデータ） (2026-04-03T15:19:46Z)
• From Early Encoding to Late Suppression: Interpreting LLMs on Character Counting Tasks [49.57538588967748]
  LLM(Large Language Model)は、複雑なベンチマークでは優れているにもかかわらず、単語中の文字数などの基本的な記号的タスクにおいて失敗を示す。 我々は、LLaMA、Qwen、Gemmaなど、現代のアーキテクチャにまたがる一貫した現象を発見した。 LLMにおけるシンボリック推論失敗は,表現不足やスケール不足によるものではなく,モデル計算グラフ内の構造的干渉によるものであることを示す。
  論文  参考訳（メタデータ） (2026-04-01T11:40:12Z)
• Stop Spinning Wheels: Mitigating LLM Overthinking via Mining Patterns for Early Reasoning Exit [114.83867400179354]
  オーバーライドは、大きな言語モデル全体のパフォーマンスを低下させる可能性がある。 推論は, 探索段階の不足, 補償推論段階, 推論収束段階の3段階に分類される。 我々は,ルールに基づく軽量なしきい値設定戦略を開発し,推論精度を向上させる。
  論文  参考訳（メタデータ） (2025-08-25T03:17:17Z)
• SEAL: Steerable Reasoning Calibration of Large Language Models for Free [58.931194824519935]
  大規模言語モデル(LLM)は、拡張チェーン・オブ・ソート(CoT)推論機構を通じて複雑な推論タスクに魅力的な機能を示した。 最近の研究では、CoT推論トレースにかなりの冗長性が示されており、これはモデル性能に悪影響を及ぼす。 我々は,CoTプロセスをシームレスに校正し,高い効率性を示しながら精度を向上する,トレーニング不要なアプローチであるSEALを紹介した。
  論文  参考訳（メタデータ） (2025-04-07T02:42:07Z)
• Shortcomings of Top-Down Randomization-Based Sanity Checks for Evaluations of Deep Neural Network Explanations [67.40641255908443]
  モデルランダム化に基づく正当性チェックの限界を,説明書の評価のために同定する。 トップダウンモデルランダム化は、フォワードパスアクティベーションのスケールを高い確率で保存する。
  論文  参考訳（メタデータ） (2022-11-22T18:52:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。