論文の概要: Calibrated e-CUSUM Decoding for Quantized Reasoning Models: Why Token Log-Probability Is the Wrong Observable for Decoding Monitors

• arxiv url: http://arxiv.org/abs/2607.11317v1
• Date: Mon, 13 Jul 2026 09:34:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 17:47:21.419005
• Title: Calibrated e-CUSUM Decoding for Quantized Reasoning Models: Why Token Log-Probability Is the Wrong Observable for Decoding Monitors
• Title（参考訳）: 量子化推論モデルのための校正e-CUSUMデコーディング:なぜ電子ログ確率がデコードモニターにとって間違ったのか
• Abstract要約: 低ビット量子化により、小さな推論モデルは安価に展開できるが、思考の連鎖を分解することができる。 中心となるトークンのlog-probabilityは$log p(w_t)+H_t$が間違ったオブザーバブルであることを示します。 本稿では,トークンの不確実性と明示的な繰り返しを混在させるデジェネレーションを意識したアラームスコアを組み合わせた,トレーニング不要な復号制御手法を提案する。
• 参考スコア（独自算出の注目度）: 0.6999740786886536
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-bit quantization makes small reasoning models inexpensive to deploy but can degrade their chains of thought. This motivates decoder-side monitors that intervene when generation becomes unreliable. We show that a natural candidate, the centered token log-probability increment $\log p(w_t)+H_t$, is the wrong observable for this purpose. Under the model's own sampling law it is a mean-zero martingale by construction, so it measures sampling self-consistency rather than trajectory health and is nearly silent during confident repetition, where both $\log p(w_t)$ and entropy are close to zero. We introduce a training-free decoding controller that combines (i) a degeneration-aware alarm score fusing token uncertainty with explicit verbatim repetition and (ii) a calibrated e-process-inspired sequential detector. The raw product process is Ville-valid under a conditional-mean null, while the deployed CUSUM-floored statistic is treated as an empirical change detector because the score is history-dependent and autocorrelated. On GSM8K with DeepSeek-R1-Distill-Qwen-1.5B in FP16 and INT4, calibration turns a monitor that fires on 93--95% of generations into a selective detector of failing traces ($φ\approx 0.3$, precision $\approx 0.6$ against a 0.38 base rate). In this pilot, the controller reduces measured verbatim-degeneration signals and yields a positive but statistically inconclusive INT4 accuracy change from 63% to 69% (paired McNemar $p=0.18$, $n=100$), at a 28% token-budget cost. We also find that non-termination, rather than looping, is the dominant failure mode on GSM8K. The main contribution is methodological: an explanation of why centered token log-probability is inadequate for decoder monitoring and a calibrated, cautiously evaluated replacement.
• Abstract（参考訳）: 低ビット量子化により、小さな推論モデルは安価に展開できるが、思考の連鎖を分解することができる。 これにより、世代が信頼できないときに介入するデコーダ側モニターがモチベーションとなる。 この目的のためには、自然な候補である集中トークンの対数確率が $\log p(w_t)+H_t$ を誤って観測可能であることを示す。 モデル自身のサンプリング法則の下では、これは構築による平均零マーチンゲールであり、軌道上の健康よりも自己整合性のサンプリングを測り、自信の繰り返しの間にほとんど無音であり、$\log p(w_t)$とエントロピーの両方がゼロに近い。 我々は、学習不要な復号化制御系を導入する。 一 明示的な動詞の繰り返しを伴うトークンの不確かさを生じさせる退化対応アラームスコア (ii)校正された電子プロセスにインスパイアされたシーケンシャル検出器。 原生成物プロセスは条件平均ヌルの下ではVille-validであり、そのスコアが履歴に依存し、自己相関性があるため、デプロイされたCUSUMフロア統計量は経験的変化検出器として扱われる。 GSM8KとFP16とINT4のDeepSeek-R1-Distill-Qwen-1.5Bでは、キャリブレーションが93～95%の世代で発射されるモニターを、故障した痕跡を選択的に検知する(φ\approx 0.3$、精度$\approx 0.6$対0.38)。 このパイロットでは、制御器は測定された動詞の劣化信号を減らし、確率的に不確定なINT4精度を63%から69%(McNemar $p=0.18$, $n=100$)に28%のトークン予算で変更する。 また、ループではなく非終端モードがGSM8Kの障害モードであることもわかりました。 中心となるトークンのログ確率がデコーダの監視に不適切である理由と、慎重に評価された代替品を校正する方法についての説明。

関連論文リスト

• Stateful CARS: Exact Cross-History Reuse for Policy-Constrained LLM Agents [0.9558392439655014]
  ハードステートフル検証器に条件付されたモデル分布の正確なサンプリングについて検討する。 ステートフルCARSはサウンドステートのバンクを凍結します。 クロスヒストリー転送は、内部整合キーアブレーションでのみ有効である。
  論文  参考訳（メタデータ） (2026-08-08T18:26:25Z)
• Cybersecurity Detection Classification with Reasoning-enabled Language Models [50.72675435043546]
  セキュリティオペレーションセンター(SOC)の大きな問題は、警告疲労である。 以前の作業では、大きな言語モデル(LLM)がトリアージラベルを直接出力するように促すか、あるいは微調整するが、検出が真の脅威であるかどうかを判断するよう訓練することはない。 我々は、実際の人間ラベルのWindowsエンドポイント検出に対して、推論可能なトリアージ分類器(CoT)を訓練する。
  論文  参考訳（メタデータ） (2026-07-30T16:22:13Z)
• Mean-to-Score Discrete Diffusion: Posterior-Mean Denoisers for Score Entropy [17.48959208263029]
  我々は,クリーンな後進平均を予測し,正確なカーネル依存線形写像を用いてスコアに変換するEmphmean-to-score (M2S)を導入する。 均一な汚職のために、確率的単純度をブリッジポリトープにマッピングし、吸収マスクの破損のためにMD4を正確に回収する。
  論文  参考訳（メタデータ） (2026-07-23T14:37:30Z)
• When Agents Commit Too Soon: Diagnosing Premature Commitment in LLM Agents [0.0]
  長い答えのLSMエージェントは静かに失敗する可能性があり、彼らは証拠を早期に読み上げ、残りの期間をその証拠を守るのに費やした。 我々は、表現的コミットメントを、固定された推論ステップにおいて、クロスランな隠れ状態収束として定義する。 ランタイムモニタは、AUROCの隠れ状態から0.97までの不整合軌道を検出する(より厳密なスプリットの下で0.85-0.88)。
  論文  参考訳（メタデータ） (2026-06-22T07:13:13Z)
• Stop Early, Spend Less: Hidden-State Probes as a Practical Recipe for Streaming Moderation of LLM Outputs [0.0]
  既存のアプローチは、生成後に適用される別のモデレーションモデルに依存している。 我々は、モデレーションに必要な信号が隠蔽状態のモデルにすでに存在することを観察する。 トークンレベルの軽量プローブをトレーニングし、内部アクティベーションを直接操作します。
  論文  参考訳（メタデータ） (2026-06-09T07:01:43Z)
• Lost in Fog: Sensor Perturbations Expose Reasoning Fragility in Driving VLAs [0.0]
  本稿では,自律運転における視覚・言語・行動(VLA)の頑健性に関する摂動研究について述べる。 推論整合性は軌道の信頼性の高忠実度指標であることがわかった。
  論文  参考訳（メタデータ） (2026-05-20T17:34:02Z)
• The Verification Tax: Fundamental Limits of AI Auditing in the Rare-Error Regime [0.0]
  最も引用されているキャリブレーションの結果は、CIFAR-100上での温度スケーリング後のECEの0.012は、統計的ノイズフロアより下である。 モデル誤差率のエプシロンによるキャリブレーション誤差を推定するミニマックスレートは Theta((Lepsilon/m)2/3) であり、推定器が打ち負かせない。
  論文  参考訳（メタデータ） (2026-04-14T16:48:24Z)
• Epistemic Observability in Language Models [0.0]
  製造時に高い信頼性を報告できるモデルがあることがわかりました。 正式な仮定では、これは能力ギャップではなく観察的なギャップである。 我々は,計算副産物を輸出することで不合理性から逃れるテンソルインタフェースを構築した。
  論文  参考訳（メタデータ） (2026-03-20T21:59:34Z)
• Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。 認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。 この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
  論文  参考訳（メタデータ） (2025-10-01T13:56:44Z)
• R-Stitch: Dynamic Trajectory Stitching for Efficient Reasoning [80.104336426172]
  CoT(Chain-of- Thought)は、大規模言語モデルの問題解決能力を高める。 CoTは長い自己回帰軌道のためにかなりの推論コストを発生させる。 トレーニング不要なハイブリッドデコーディングフレームワークであるR-Stitchを紹介する。
  論文  参考訳（メタデータ） (2025-07-23T08:14:36Z)
• VeriThinker: Learning to Verify Makes Reasoning Model Efficient [52.74493506816969]
  大型推論モデルは、Chain-of-Thought (CoT)推論を用いて複雑なタスクで優れている。 過度に考える傾向は、必然的に長い推論連鎖に繋がる。 我々は,CoT圧縮の新しい手法であるVeriThinkerを紹介する。
  論文  参考訳（メタデータ） (2025-05-23T14:17:56Z)
• Computational-Statistical Tradeoffs at the Next-Token Prediction Barrier: Autoregressive and Imitation Learning under Misspecification [50.717692060500696]
  対数損失を伴う次のトーケン予測は自己回帰シーケンスモデリングの基盤となる。 次トーケン予測は、適度な誤差増幅を表す$C=tilde O(H)$を達成するために堅牢にすることができる。 C=e(log H)1-Omega(1)$。
  論文  参考訳（メタデータ） (2025-02-18T02:52:00Z)
• Towards Optimal Statistical Watermarking [95.46650092476372]
  仮説テスト問題として定式化して統計的透かしを研究する。 我々の定式化の鍵は、出力トークンと拒絶領域の結合である。 一般仮説テスト設定において,UMP(Uniformly Most Powerful)の透かしを特徴付ける。
  論文  参考訳（メタデータ） (2023-12-13T06:57:00Z)
• Probing Model Signal-Awareness via Prediction-Preserving Input Minimization [67.62847721118142]
  モデルが正しい脆弱性信号を捕捉して予測する能力を評価する。 SAR(Signal-Aware Recall)と呼ばれる新しい指標を用いて,モデルの信号認識を計測する。 その結果,90年代以降のリコールから60年代以降のリコールは,新たな指標で大幅に減少した。
  論文  参考訳（メタデータ） (2020-11-25T20:05:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。