論文の概要: Effectiveness of Hidden-State Probes for Localizing Reasoning Failures

• arxiv url: http://arxiv.org/abs/2610.22046v1
• Date: Thu, 15 Oct 2026 15:15:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.143808
• Title: Effectiveness of Hidden-State Probes for Localizing Reasoning Failures
• Title（参考訳）: 隠れ状態プローブの共振故障局所化効果
• Abstract要約: フェールタイプとフェールステップの4Bおよび8B推論モデルの隠れ状態をテストする。 誤った8Bトレースでは、信頼度プローブは、単一のステップがトレースを回復不能にするケースの81%を見逃す。 同じ状態の異なるトレーニング設計のプローブは、これらの2種類の障害の順序を逆転させる。
• 参考スコア（独自算出の注目度）: 3.550458259477956
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Verifying the final answer of a long reasoning trace may show that the trace is wrong but it does not distinguish three cases. The problem may lie beyond the model's capability, another attempt would succeed, or one step in an otherwise recoverable trace made the trace fail. Standard hidden-state probes are trained on final-answer correctness, a label that conflates these cases. Monte Carlo rollouts distinguish the cases and locate the failing step at additional inference cost. We test the hidden states of 4B and 8B reasoning models for the failure type and the failing step and compare each probe with the strongest baseline that uses no hidden states. On incorrect 8B traces, the confidence probe, a calibrated correctness probe at a midpoint cutoff, misses 81% of cases in which a single step makes the trace unrecoverable and 47% of cases in which another attempt would succeed. A probe with a different training design over the same states reverses the ordering of these two kinds of failure, so either ordering can be read from those states. At both scales, no single tested probe locates the failing step more accurately than a rule based only on trace length, and at 4B a probe trained to predict that step fails to outperform this rule in any of 10 runs on identical traces. The confidence probe therefore indicates that an answer is wrong, but its failure-type ordering depends on its training design.
• Abstract（参考訳）: 長い推論トレースの最終的な答えを検証することは、トレースが間違っていることを示しているかもしれないが、3つのケースを区別しない。 問題は、モデルの能力を超えて、別の試みが成功するか、あるいは、回復可能なトレースの1ステップでトレースが失敗する可能性がある。 標準的な隠れ状態プローブは、これらのケースを混同したラベルであるファイナルアンサーの正しさに基づいて訓練される。 モンテカルロのロールアウトはケースを区別し、さらなる推論コストで失敗するステップを特定する。 フェールタイプとフェールステップの4Bおよび8B推論モデルの隠れ状態を調べ、各プローブを隠れ状態を使用しない最強のベースラインと比較する。 誤り8Bトレースでは、中点カットオフ時の補正正当性プローブである信頼度プローブが、一つのステップがトレースを発見不能にするケースの81%と、別の試みが成功するケースの47%を見逃している。 同じ状態の異なるトレーニング設計のプローブは、これらの2種類の障害の順序を逆転させるため、どちらの順序もそれらの状態から読み取ることができる。 どちらのスケールでも、テストされた1つのプローブは、トレース長のみに基づくルールよりも正確に失敗するステップを見つけることができず、4Bでは、ステップが同じトレース上で実行される10のどれかにおいて、このルールより優れていると予測するように訓練されたプローブが訓練される。 したがって、信頼度調査は答えが間違っていることを示すが、その失敗型順序付けはトレーニング設計に依存する。

関連論文リスト

• Human Interventions as Labels: Localizing, Steering, and (Sometimes) Editing the Computations Behind LLM Agent Failures [41.99844472131922]
  本研究では,視覚障害者の判断に対して,ルールに基づく監督者のラベルを付して,制御されたエージェント環境を1つの障害で調査する。 第一に、w-vs-act決定は、すべての資格を持つ家族に因果的ローカライズ可能である。 第二に、オーバーエイキングには2つのメカニスティックなシグネチャがある: 4つのファミリーでは、モデルは明らかにその要求が曖昧であることを知っている。
  論文  参考訳（メタデータ） (2026-10-15T11:27:19Z)
• Alignment via Training Against Probes Without Losing Monitorability [74.20363742615332]
  モデルアクティベーションにおける望ましくない特性を直接学習信号として検出するプローブを用いたプローブ誘導微調整について検討した。 トレーニング中に更新されないプローブに対するトレーニングは、容易に活用可能な目標であることが分かりました。 プローブ誘導による微調整は、DPOや推論時のステアリングよりも安全性と実用性のトレードオフが向上すると同時に、脱獄や脱獄攻撃に対してかなり堅牢である。
  論文  参考訳（メタデータ） (2026-09-29T23:03:54Z)
• Decodable In-Context State and Model Output Across Training [0.0]
  以前の研究は、プローブがモデルエラーのコンテキスト内バインディングをデコードし、プローブ誘導ステアリングがそれらのいくつかを修復できることを確立していた。 我々は,プローブの精度,モデル出力,および公開事前学習および後チェックポイント間のステアリング応答を追従する。
  論文  参考訳（メタデータ） (2026-09-25T15:25:38Z)
• When Do Internal Probes Beat Reading the Answer? Miscalibrated Readouts and Behavior-Concealed Knowledge in Language Models [0.0]
  1200の論理的結論の検証を依頼された言語モデルは、毎回YESに答える。 隠れた状態の線形プローブは、0.96 AUCで正しい判定を読み取った。 判決がどこで失われるかを問うと、支配的な失敗は1つのスカラーであることがわかった。 診断は、90のセマンティックラベル構成で、5つのモデル、3つのファミリーの因子的、行動的精度が閾値オフセットの1つの関数に崩壊する。
  論文  参考訳（メタデータ） (2026-09-04T00:26:45Z)
• Two Regimes of Chain-of-Thought Unfaithfulness: Behavioral Detection Fails Where Models Are Wrong [1.2744523252873352]
  ブラックボックス(行動)によるFaithCoT-Benchの人間のアノテーションに対する不誠実なCoTの検出。 答えの正しさはあらゆるレベルで問題を構成する。
  論文  参考訳（メタデータ） (2026-07-26T04:43:53Z)
• The Knowing-Saying Gap: When Probes See Errors that Confidence Misses [20.46211358172975]
  線形プローブは、ほぼ完全精度で言語モデルの劣化コンテキストを検知するが、信頼性の高い故障予測にはならない。 マルチホップ算術連鎖全体において、汚職を検出するプローブは最終解の正しさについて非形式的であることが判明した。 リアルタイムモニタとして、プローブベースの介入は、シャープにモデル化され、エラータイプに依存します。
  論文  参考訳（メタデータ） (2026-07-21T12:13:10Z)
• Sample Smart, Not Hard: Correctness-First Decoding for Better Reasoning in LLMs [72.82403830490084]
  我々は、復号規則は正確さによって校正されるべきであり、自信だけではならないと論じている。 Greedy-Threshold はこの目標を達成するための単純な戦略を提案します。 この結果から,不確実性の下での復号化が問題視され,数学や一般推論のベンチマークで有意な差がみられた。
  論文  参考訳（メタデータ） (2025-10-07T14:46:12Z)
• CLUE: Non-parametric Verification from Experience via Hidden-State Clustering [64.50919789875233]
  隠れアクティベーションの軌跡内の幾何的に分離可能なシグネチャとして解の正しさが符号化されていることを示す。 ClUE は LLM-as-a-judge ベースラインを一貫して上回り、候補者の再選において近代的な信頼に基づく手法に適合または超えている。
  論文  参考訳（メタデータ） (2025-10-02T02:14:33Z)
• Probing for Arithmetic Errors in Language Models [86.8227317662622]
  言語モデルの内部アクティベーションは、算術誤差を検出するために使用できる。 単純なプローブはモデルが予測した出力と正解の両方を隠蔽状態から正確に復号できることを示す。 モデル精度を90%以上の精度で予測する軽量エラー検出器を訓練する。
  論文  参考訳（メタデータ） (2025-07-16T16:27:50Z)
• Probabilistic Regression for Visual Tracking [193.05958682821444]
  本稿では,確率論的回帰定式化を提案し,追跡に適用する。 入力画像が与えられたターゲット状態の条件付き確率密度を予測する。 トラッカーは6つのデータセットに新しい最先端のデータをセットし、LaSOTでは59.8%、TrackingNetでは75.8%のAUCを達成した。
  論文  参考訳（メタデータ） (2020-03-27T17:58:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。