論文の概要: How Much Does a Reasoning Summary Reveal? An Observability Ladder for Large Language Models

• arxiv url: http://arxiv.org/abs/2608.02089v1
• Date: Mon, 03 Aug 2026 11:48:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.514878
• Title: How Much Does a Reasoning Summary Reveal? An Observability Ladder for Large Language Models
• Title（参考訳）: 推論の要約はいくらでわかるか? 大規模言語モデルのための可観測性ラダー
• Abstract要約: アクセスレベル毎に線形正当性予測器をトレーニングする。 正しくも間違ってもMMLU-Proの質問では、線形サマリーリーダーがほぼ偶然である。 線形読者のトレース信号の多くは長さに関連付けられている。
• 参考スコア（独自算出の注目度）: 4.036317281698445
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large language models often show users a final response and a short reasoning summary while the full reasoning trace stays hidden. We introduce an observability ladder that holds each completed run fixed and varies only what a reader inspects to judge whether the answer is correct: the response, a self-summary the model writes from the trace, the trace itself, and internal signals, each with and without the prompt. Across three benchmarks and five open-weight Qwen3 and gpt-oss models, we train matched linear correctness predictors on each access level. Without the prompt, summaries carry most of the trace's ranking signal (mean AUROC 0.774 versus 0.813) and add +0.156 over the response alone. With the prompt visible, the summary's gain collapses to +0.019, while the trace still adds +0.041. Even at equal length, the trace's last words predict correctness as well as summaries, or slightly better, and carry denser and more discriminative uncertainty and self-correction cues. On MMLU-Pro questions with both correct and incorrect runs, linear summary readers are near chance and trace readers retain only modest signal, both with and without the prompt (prompt-withheld AUROC 0.503-0.545 versus 0.544-0.590). With the prompt withheld, a GPT-5-mini reader recovers substantially more signal from both summaries and traces on gpt-oss-20b, and even then the trace keeps a small +0.034 advantage. Much of the linear readers' trace signal is associated with length. In the common case where users already hold the prompt, summaries are less helpful than the full trace for monitoring correctness. Monitorability is thus a joint property of the display and the reader, so any monitorability claim, including for faithfulness, should specify both.
• Abstract（参考訳）: 大規模な言語モデルでは、ユーザに対して最後の応答と短い推論の要約を示すことが多いが、完全な推論トレースは隠されている。 我々は,各完了した実行を固定し,その解答が正しいかどうかを判断するために,読者が検査する内容のみを変える可観測ラグを導入し,その応答,モデルがトレースから書き込む自己命題,トレース自体,内部信号,それぞれをプロンプトなしで検出する。 3つのベンチマークと5つのオープンウェイトQwen3およびgpt-ossモデルで、各アクセスレベルで一致した線形正当性予測器を訓練した。 プロンプトがなければ、サマリーはトレースの信号のほとんど(AUROC 0.774 対 0.813)を持ち、応答のみに対して +0.156 を加算する。 プロンプトが見えると、サマリーのゲインは+0.019に崩壊し、トレースは+0.041を加えたままである。 長さが等しい場合でも、トレースの最後の単語はサマリーと同様に正確さを予測し、より密集し、より差別的な不確実性と自己補正の手がかりを運ぶ。 MMLU-Proでは、正しくも正しくも、線形サマリーリーダーが近づき、トレーサリーリーダーは、プロンプトを伴わないAUROC 0.503-0.545対0.544-0.590)の双方で、モデスト信号のみを保持する。 プロンプトを解除すると、GPT-5-miniリーダーは、gpt-oss-20b上のサマリーとトレースの両方からかなり多くのシグナルを回収する。 線形読者のトレース信号の多くは長さに関連付けられている。 ユーザがすでにプロンプトを保持している一般的な場合、要約は正確性を監視するための完全なトレースよりも役に立たない。 したがって、モニター性はディスプレイとリーダのジョイントプロパティであるので、忠実性を含む監視性要求は両方を指定すべきである。

関連論文リスト

• When Do Internal Probes Beat Reading the Answer? Miscalibrated Readouts and Behavior-Concealed Knowledge in Language Models [0.0]
  1200の論理的結論の検証を依頼された言語モデルは、毎回YESに答える。 隠れた状態の線形プローブは、0.96 AUCで正しい判定を読み取った。 判決がどこで失われるかを問うと、支配的な失敗は1つのスカラーであることがわかった。 診断は、90のセマンティックラベル構成で、5つのモデル、3つのファミリーの因子的、行動的精度が閾値オフセットの1つの関数に崩壊する。
  論文  参考訳（メタデータ） (2026-09-04T00:26:45Z)
• Lagged Coupling: Internal Representations Become Readable Before They Become Causal [0.0]
  内部可読性は因果効果を体系的に上回り、ラグはスケールとともに縮小しない。 予め登録されたOLMo-2複製は、減衰した大きさで方向を保存する。
  論文  参考訳（メタデータ） (2026-09-01T10:46:42Z)
• Two Regimes of Chain-of-Thought Unfaithfulness: Behavioral Detection Fails Where Models Are Wrong [1.2744523252873352]
  ブラックボックス(行動)によるFaithCoT-Benchの人間のアノテーションに対する不誠実なCoTの検出。 答えの正しさはあらゆるレベルで問題を構成する。
  論文  参考訳（メタデータ） (2026-07-26T04:43:53Z)
• Interaction Scaling: Grounding the Third Axis of Test-Time Compute [0.33451037881913753]
  一つの変数がこの第3の軸を接地として支配し、ループの両側に保持しなければならないと論じる。 固定トークン予算でのハードコーディングタスクでは、推論のみとベストオブNの両方をサンプリングする。 提案手法は, ラン・ツー・ラン分散を伴わず, 100%パスレートに到達した。
  論文  参考訳（メタデータ） (2026-07-13T14:22:06Z)
• VERDI: Single-Call Confidence Estimation for Verification-Based LLM Judges via Decomposed Inference [0.0]
  VERDI(verification-Decomposed Inference Inference)は、構造化された裁判官から信頼を抽出する手法である。 VERDIは各評価をサブチェックに分解し、3つの構造信号を導出する。 3つの公開ベンチマークで、VERDIはGPT-4.1-miniでAUROC 0.72-0.91、GPT-5.4-miniで0.66-0.80を達成した。
  論文  参考訳（メタデータ） (2026-05-11T23:39:19Z)
• What Single-Prompt Accuracy Misses: A Multi-Variant Reliability Audit of Language Models [0.0]
  シングルプロンプト精度は、言語モデルをベンチマークする主要な方法であるが、重要な信頼性障害を見逃す可能性がある。 15モデルオープンウェイトコーパスの評価を行い,5つの分類と推論ベンチマークによる10のインストラクトモデルに着目した信頼性解析を行った。 まず、評価設計は結論を根本的に変えることができる。 第2に、信頼信号は脆弱である。MMLU-Proでは、各プライマリモデルは、その精度と同一行上のトークン確率信頼の両方よりもかなり高い信頼度を言語的に報告し、単一のプロンプト変種における単一のモデルに対して、動詞のパースレートが崩壊する可能性がある。
  論文  参考訳（メタデータ） (2026-05-03T20:05:08Z)
• Pando: Do Interpretability Methods Work When Models Won't Explain Themselves? [53.07826484214082]
  モデル・オーガニゼーションのベンチマークであるPandoを紹介します。 Pandoは、ラベル付きクエリ-レスポンスペアから、ホールドアウトモデル決定を予測する。 説明が忠実であれば、ブラックボックスの引用はすべてのホワイトボックスメソッドに一致するか、超える。
  論文  参考訳（メタデータ） (2026-04-13T06:42:24Z)
• Logic Sketch Prompting (LSP): A Deterministic and Interpretable Prompting Method [1.0152838128195467]
  Logic Sketch Prompting (LSP)は、型付き変数、決定論的条件評価器、ルールベースのバリデータを導入した軽量なプロンプトフレームワークである。 LSPを、ゼロショットプロンプト、チェーン思考プロンプト、簡潔な3つのオープンウェイトモデルに対してベンチマークする。 これらの結果から,LSPは性能を犠牲にすることなく決定性,解釈可能性,一貫性を向上し,臨床,規制,安全決定支援システムでの使用を支援することが示唆された。
  論文  参考訳（メタデータ） (2025-12-24T09:20:35Z)
• RefineBench: Evaluating Refinement Capability of Language Models via Checklists [71.02281792867531]
  本研究は,2つの改良モード(ガイドリファインメントと自己リファインメント)を評価する。 ガイド付き改良では、プロプライエタリなLMと大きなオープンウェイトLMの両方が目標フィードバックを利用して、5ターン以内のほぼ完全なレベルへの応答を洗練できる。 これらの結果は、フロンティアLMは誤った反応を自己調整するためにブレークスルーを必要とすることを示唆している。
  論文  参考訳（メタデータ） (2025-11-27T07:20:52Z)
• Reading Between the Lines: Abstaining from VLM-Generated OCR Errors via Latent Representation Probes [79.36545159724703]
  隠れ状態や注目パターンの軽量プローブを学習するためのLRP(Latent Representation Probing)を提案する。 LRPは、ベストベースラインよりも吸音精度を7.6%向上させる。 これにより、デプロイメント対応AIシステムを構築するための原則化されたフレームワークが確立される。
  論文  参考訳（メタデータ） (2025-11-25T00:24:42Z)
• Prompt-Based One-Shot Exact Length-Controlled Generation with LLMs [56.47577824219207]
  本稿では,既製の大規模言語モデルを補完して,希望するトークン数を正確に生成するプロンプトベースの戦略を提案する。 プロンプトはカウントダウンマーカーと明示的なカウントルールを付加し、モデルが"カウント中に書き込む"。 MT-Bench-LI では、GPT-4.1 の厳格な長さコンプライアンスは、単純なプロンプトの30%以下から、カウントダウンプロンプトの95%以上へと飛躍する。
  論文  参考訳（メタデータ） (2025-08-19T13:12:01Z)
• Probing for Arithmetic Errors in Language Models [86.8227317662622]
  言語モデルの内部アクティベーションは、算術誤差を検出するために使用できる。 単純なプローブはモデルが予測した出力と正解の両方を隠蔽状態から正確に復号できることを示す。 モデル精度を90%以上の精度で予測する軽量エラー検出器を訓練する。
  論文  参考訳（メタデータ） (2025-07-16T16:27:50Z)
• BUMP: A Benchmark of Unfaithful Minimal Pairs for Meta-Evaluation of Faithfulness Metrics [70.52570641514146]
  不誠実な最小対 (BUMP) のベンチマークを示す。 BUMPは、889人の人間が書いた最小限のサマリーペアのデータセットである。 非ペアベースのデータセットとは異なり、BUMPはメトリクスの一貫性を測定するために使用することができる。
  論文  参考訳（メタデータ） (2022-12-20T02:17:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。