論文の概要: Locating Answer-Correctness Signals in Frozen Large Language Models

• arxiv url: http://arxiv.org/abs/2609.37700v1
• Date: Tue, 29 Sep 2026 14:38:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.637232
• Title: Locating Answer-Correctness Signals in Frozen Large Language Models
• Title（参考訳）: 凍結大言語モデルにおける解答補正信号の位置決め
• Abstract要約: 言語モデルは、解答が正しいかどうかを予測する内部信号を公開する。 答えの正しさはどこで読み取れるのか、どの内部シグナルファミリーがそれを運ぶのか、どのように組み合わせるべきなのかを問う。 一貫した解剖が出現する: 正しさは解答の範囲に集中し、検索中であっても解答トークンから回収され、家族は補足的にそれを運ぶ。
• 参考スコア（独自算出の注目度）: 7.143092874514633
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models expose internal signals that predict whether an answer is correct, readable from a single forward pass of a frozen model without additional generations. Yet existing probes often commit to one signal family or layer and can be brittle under distribution shift; in retrieval-augmented settings, many specialized detectors instead target passage faithfulness, which can diverge from correctness when retrieved evidence is unhelpful or conflicting. We therefore ask where answer correctness is readable, which internal signal families carry it, and how they should be combined. We search over hidden states, token probabilities, residual-stream features, attention, and their fusion, treating the selected readouts as a predictive measurement rather than a mechanistic localization. We run this analysis separately in closed-book and with-context settings, since context can change which readouts are informative. A consistent anatomy emerges: correctness concentrates in the answer span, recovered from the answer tokens even under retrieval, and the families carry it complementarily, so fusing them helps most out of distribution, where a single signal is weakest. The protocol is effective across two backbones and gates a retrieval controller as one downstream use.
• Abstract（参考訳）: 言語モデルは、解答が正しいかどうかを予測する内部信号を公開する。 しかし、既存のプローブはしばしば1つの信号族や層にコミットし、分布シフトの下で脆くすることができる。 したがって、どの答えの正しさが読み取れるか、どの内部信号ファミリーがそれを運ぶか、どのように組み合わせるべきかを問う。 我々は,隠れ状態,トークン確率,残留ストリームの特徴,注意,およびそれらの融合を探索し,選択した読み出しを機械的局所化ではなく予測的な測定として扱う。 我々は、この分析をクローズドブックと with-context 設定で別々に実行する。 一貫した解剖が出現する: 正しさは解答の範囲に集中し、検索中であっても解答トークンから回収され、家族は補足的にそれを運ぶ。 このプロトコルは2つのバックボーンにまたがって有効であり、1つの下流使用として検索コントローラをゲートする。

関連論文リスト

• The Editor Has Read-Only Access: Correctness Signals in Diffusion Language Models [4.165512410177194]
  拡散モデルは、部分的にマスキングされたシーケンスを繰り返し更新することでコードを生成する。 我々は、それらの内部アクティベーションがコード正しさを符号化し、その情報が生成を改善するかどうかを問う。
  論文  参考訳（メタデータ） (2026-09-29T05:54:31Z)
• Tracing Provenance and Detecting Tampering with Complementary LLM Watermarks [68.64050157343334]
  既存の透かしは編集の際は残されているが、このような堅牢性は、敵が帰属を維持しながら重要な内容を変更することを可能にする。 実証と改ざんの証拠を共同で提供する革新的な透かしを導入する。 信号は同じメカニズムを共有するが、独立キーと正規化テキスト上の異なるシードウィンドウを使用するため、一方は編集に耐性があり、もう一方は読み取り可能な変更に敏感である。
  論文  参考訳（メタデータ） (2026-08-13T01:55:16Z)
• On the Robustness of LLMs' Internal Representation of Code Correctness [0.3653697742557465]
  研究によると、モデル自身の信頼信号は、実際の正確さで十分に校正されていない。 最近の研究は、モデルのトークンレベルや記述された信頼度よりも、候補ソリューションを判断できるコード正当性の内部シグナルを捉えている。 本研究では, モデル内部からどのように信号が抽出されるかを, 系統的に検討する。
  論文  参考訳（メタデータ） (2026-08-08T17:56:31Z)
• The Knowing-Saying Gap: When Probes See Errors that Confidence Misses [20.46211358172975]
  線形プローブは、ほぼ完全精度で言語モデルの劣化コンテキストを検知するが、信頼性の高い故障予測にはならない。 マルチホップ算術連鎖全体において、汚職を検出するプローブは最終解の正しさについて非形式的であることが判明した。 リアルタイムモニタとして、プローブベースの介入は、シャープにモデル化され、エラータイプに依存します。
  論文  参考訳（メタデータ） (2026-07-21T12:13:10Z)
• Demystifying Variance in Circuit Discovery of LLMs [51.97489679448601]
  我々は,再サンプリングのばらつきを大幅に軽減する新しい回路探索法を開発した。 テンプレートの異なるプロンプトは、モデル内の異なる回路を活性化する傾向があるため、リフレージングのばらつきが生じることを示す。 我々は、よりコンパクトで解釈可能なタスク回路を形成すると主張されている空間性は、この問題の解決に失敗すると主張している。
  論文  参考訳（メタデータ） (2026-06-15T16:25:07Z)
• When Does a Language Model Commit? A Finite-Answer Theory of Pre-Verbalization Commitment [6.48455847613423]
  言語モデルは最終回答を与える前に推論を生成することが多いが、可視性のある答えは、モデルの回答がいつ安定するかを明らかにしない。 我々はこの問題を、狭義の計算可能な対象である無限回答優先安定化(enmphfinite-aswer preference stabilization)を通して研究する。 モデル状態と特定解動詞化子に対しては、モデル自身の継続確率を有限解集合に投影する。 バイナリタスクでは、これは正確なlog-oddsコード、$()=S_(mathrmyesmid)-S_(mathrmnomid)が生成される。
  論文  参考訳（メタデータ） (2026-05-07T08:34:59Z)
• Decomposed Prompting Does Not Fix Knowledge Gaps, But Helps Models Say "I Don't Know" [47.930782177987446]
  大規模言語モデルは、クローズドブックの質問応答において知識限界を認識するのに苦労することが多く、自信ある幻覚へと繋がる。 我々は、モデルスケールの異なるDirect、Assistive、Incrementalの3つのタスク等価プロンプトとマルチホップQAベンチマークを評価した。 幻覚が一致している間に事実知識が安定しているため、クロスレジームは内部の不確実性の正確なシグナルを与える。
  論文  参考訳（メタデータ） (2026-02-04T18:39:58Z)
• Probing for Arithmetic Errors in Language Models [86.8227317662622]
  言語モデルの内部アクティベーションは、算術誤差を検出するために使用できる。 単純なプローブはモデルが予測した出力と正解の両方を隠蔽状態から正確に復号できることを示す。 モデル精度を90%以上の精度で予測する軽量エラー検出器を訓練する。
  論文  参考訳（メタデータ） (2025-07-16T16:27:50Z)
• Provably Secure Disambiguating Neural Linguistic Steganography [66.30965740387047]
  サブワードに基づく言語モデルを使用する際に生じるセグメンテーションの曖昧さ問題は、時にはデコード障害を引き起こす。 そこで我々はSyncPoolという,セグメンテーションのあいまいさ問題に効果的に対処する,セキュアな曖昧さ回避手法を提案する。 SyncPoolは、候補プールのサイズやトークンの分布を変えないため、確実に安全な言語ステガノグラフィー手法に適用できる。
  論文  参考訳（メタデータ） (2024-03-26T09:25:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。