論文の概要: When Do Internal Probes Beat Reading the Answer? Miscalibrated Readouts and Behavior-Concealed Knowledge in Language Models

• arxiv url: http://arxiv.org/abs/2609.04582v1
• Date: Fri, 04 Sep 2026 00:26:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-07 18:15:23.868341
• Title: When Do Internal Probes Beat Reading the Answer? Miscalibrated Readouts and Behavior-Concealed Knowledge in Language Models
• Title（参考訳）: 内部プローブは回答を読むのに勝つか? 言語モデルにおける読み出しと行動認識の微調整
• Abstract要約: 1200の論理的結論の検証を依頼された言語モデルは、毎回YESに答える。 隠れた状態の線形プローブは、0.96 AUCで正しい判定を読み取った。 判決がどこで失われるかを問うと、支配的な失敗は1つのスカラーであることがわかった。 診断は、90のセマンティックラベル構成で、5つのモデル、3つのファミリーの因子的、行動的精度が閾値オフセットの1つの関数に崩壊する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A 0.6B language model, asked to verify 1,200 logical conclusions (half valid, half corrupted by a single semantic edit), answers YES every time. Judged by behavior it discriminates nothing; linear probes on its hidden states read the correct verdict at 0.96 AUC, transferring to unseen logical structures and separating foils built from exactly the words of the true conclusion (0.90). We ask where the verdict is lost, and find the dominant failure is a single scalar. The verdict survives to the model's own output logits (margin AUC 0.89) along a well-aligned readout direction; a saturated decision threshold, offset by +4.6 sigma, erases it. The diagnosis generalizes: across 90 semantic-label configurations of a five-model, three-family factorial, behavioral accuracy collapses onto a single function of threshold offset (Spearman -0.93) while margin ranking moves far less. Across a 13x scale range, internal knowledge saturates while free-form behavior is non-monotone: an 8B model underperforms its 4B sibling through an answer-channel failure rather than the threshold; forced-choice accuracy is monotone. The diagnosis is actionable: a one-parameter correction, never fit on evaluated structures, repairs behavior from 50% to 81% (0.6B); calibrated margin decoding recovers 94% at 8B; few-shot prompting works the same way, recentering the threshold (+4.6 sigma to 0.0 sigma) while preserving ranking. Comparing probe to margin separates three regimes: concealed, miscalibrated, and undetected. On a maze task built so foils carry no surface cues, the audit correctly reports the third. In the standard generation setting, answer-surface features and heuristic labels reproduce published probing results without any internal access.
• Abstract（参考訳）: 0.6Bの言語モデルでは、1200の論理的結論(半分は有効で、半分は1つのセマンティック編集によって破損している)を検証するよう求められ、毎回YESに答えている。 隠れた状態の線形プローブは0.96 AUCで正しい判定を読み、未知の論理構造に遷移し、真の結論(0.90)の言葉から構築されたホイルを分離する。 判決がどこで失われるかを問うと、支配的な失敗は1つのスカラーであることがわかった。 判定はモデル自身の出力ロジット (margin AUC 0.89) に、整列された読み出し方向に沿って残り、飽和決定しきい値(+4.6シグマのオフセット)がそれを消去する。 この診断は、90のセマンティックラベル構成で、5つのモデル、3つのファミリーの因子的、行動的精度が閾値オフセットの1つの関数に崩壊する(Spearman-0.93)が、マージンランキングははるかに小さくなっている。 13倍の範囲で、内部知識は飽和し、自由形式の振る舞いはモノトンではない:8Bモデルは、しきい値ではなく応答チャネルの故障によって4Bのシブリングを過小評価する;強制選択精度はモノトンである。 1パラメータ補正は、評価された構造に適合せず、50%から81%(0.6B)の動作を修復し、校正されたマージン復号は8Bで94%回復し、少数ショットプロンプトは同じ方法で機能し、ランクを維持しながらしきい値(+4.6シグマ〜0.0シグマ)を更新する。 プローブとマージンを比較すると、隠蔽、誤校正、未検出の3つの体制が分離される。 ホイルが表面の手がかりを持たないように構築された迷路作業では、監査は正しく第3を報告する。 標準生成設定では、応答面の特徴とヒューリスティックなラベルは、内部アクセスなしで公開された探索結果を再現する。

関連論文リスト

• Lagged Coupling: Internal Representations Become Readable Before They Become Causal [0.0]
  内部可読性は因果効果を体系的に上回り、ラグはスケールとともに縮小しない。 予め登録されたOLMo-2複製は、減衰した大きさで方向を保存する。
  論文  参考訳（メタデータ） (2026-09-01T10:46:42Z)
• Wrong Prediction, Right Answer: Recovering Evidence from Collapsed LLM Sequence Scores [31.709549159768727]
  多様な推論ベンチマーク間で一貫した読み出しギャップを観察する。 隠れ状態プローブは、ネイティブシークエンススコアが完全に崩壊しても正解を復号することに成功した。 以上の結果から,無作為な内部論理を隠蔽する表現障害が明らかにゼロショット推論の欠点であることが明らかとなった。
  論文  参考訳（メタデータ） (2026-08-31T16:43:55Z)
• Located but Not Releasable: Silent Gate Inversion and Bounded Linear Release [0.0]
  完全なパイプライン -- 検出、ローカライズ、リリース -- を、25.7Mトランス上で完全に事前登録されたストレステストに送信します。 中層層の観測エビデンスチャネルでの干渉は、他の抑圧された世界における標的の挙動を復元する。 配当外のキャリブレーションをゼロにするために調整された検出器は、6.9-7.3%の配当前の世代と、実際にそれを必要とする2,400世代のうちゼロにトリガーをトリガーする。
  論文  参考訳（メタデータ） (2026-08-12T09:04:54Z)
• Accurate Ensembles, Fragile Narratives: Multi-Scale Stacking and a Fidelity Audit of LLM-Generated Explanations for Credit Risk [0.0]
  クレジットスコアリングは、決定ロジックをパラメータから読み取ることができないモデルに依存している。 共通する提案は、言語モデルとのギャップを埋める: 特徴属性を計算し、それらを LLM に渡し、合理的に記述させる。 このようなシステムをエンド・ツー・エンドに構築し、約束の後半が成立するかどうかをテストします。
  論文  参考訳（メタデータ） (2026-08-08T13:22:14Z)
• Support Operation Factorization: Compositional Readout of Frozen Vision Encoders under Controlled Interventions [87.95757610455173]
  我々は、x演算グリッドとSO-OPFをサポートするために、インジェクティブに整合した残余セルアウトプロトコルを導入する。 グリッドが分かっているときにキャリアがホールドアウトバインディングを構成するかどうか、フラットなセルラベルからグリッドを回収できるかどうかという2つの質問を分離する。
  論文  参考訳（メタデータ） (2026-08-06T15:38:55Z)
• Code Correctness Signals in LLM Hidden States: Pre-Generation Probing and Repair Geometry [0.0]
  モデルのファーストアタプティブコードの正しさは、プロンプト-ファイナル隠れ状態から線形にデオード可能である。 モデルが失敗した最初の試みを修復しようとするケース236では、失敗した試みからその修復への隠れ状態シフトが統計的に検出可能なコントラスト方向をもたらす。
  論文  参考訳（メタデータ） (2026-06-12T15:06:15Z)
• Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
  現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。 本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。 8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
  論文  参考訳（メタデータ） (2026-06-02T06:51:15Z)
• Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
  大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。 個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。 構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
  論文  参考訳（メタデータ） (2026-05-15T17:08:27Z)
• PBT-Bench: Benchmarking AI Agents on Property-Based Testing [29.035258104995204]
  PBT-Benchは、40の実際のPythonライブラリにまたがる100のプロパティベースのテスト問題のベンチマークである。 各問題は1つ以上のセマンティックなバグ(総数365、平均3.65)を注入し、デフォルトのストラテジーなランダムな入力がほとんど起こらないように設計する。 PBT指導によるバグリコールは42.1%から83.4%の範囲で、オープンエンドベースラインでは31.4%から76.7%である。
  論文  参考訳（メタデータ） (2026-05-13T18:01:05Z)
• Hidden Error Awareness in Chain-of-Thought Reasoning: The Signal Is Diagnostic, Not Causal [6.908637308550535]
  思考の連鎖は、生成された推論がモデルの内部計算を反映していると仮定する。 この仮定は、特定の測定可能な方法で間違っていることを示す。 モデルは自身の推論エラーを内部的に検出するが、その信頼性を外部に表現する。
  論文  参考訳（メタデータ） (2026-05-10T12:26:46Z)
• Tracing Uncertainty in Language Model "Reasoning" [46.61902399979181]
  言語モデル(LM)は、一般的にChain-of-Thoughtまたはテストタイムスケーリングと呼ばれ、しばしばベンチマークのパフォーマンスを改善する。 本研究では,LMが生成する中間トークン列である「推論」トレースを進化的モデル状態として扱うことにより,これらのダイナミクスを考察する。
  論文  参考訳（メタデータ） (2026-05-08T14:16:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。