論文の概要: Latent Phase-Shift Rollback: Inference-Time Error Correction via Residual Stream Monitoring and KV-Cache Steering
- arxiv url: http://arxiv.org/abs/2604.18567v1
- Date: Mon, 20 Apr 2026 17:53:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-21 21:52:53.034456
- Title: Latent Phase-Shift Rollback: Inference-Time Error Correction via Residual Stream Monitoring and KV-Cache Steering
- Title（参考訳）: 遅延位相シフトロールバック:残留ストリームモニタリングとKVキャッシュステアリングによる推論時間誤差補正
- Authors: Manan Gupta, Dhruv Kumar,
- Abstract要約: 大規模な言語モデルは、世代中頃の保存不可能な推論エラーを犯す。
我々は、$textbfLatent Phase-Shift Rollback$ (LPSR)を紹介する。
各生成段階において、臨界層リクリットで残留流をモニタリングし、コサイン相似性$+$エントロピー二重ゲートを介して急激な方向逆転(位相シフト)を検出する。
微調整、勾配計算、追加のフォワードパスは不要である。
- 参考スコア（独自算出の注目度）: 4.032680910442999
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models frequently commit unrecoverable reasoning errors mid-generation: once a wrong step is taken, subsequent tokens compound the mistake rather than correct it. We introduce $\textbf{Latent Phase-Shift Rollback}$ (LPSR): at each generation step, we monitor the residual stream at a critical layer lcrit, detect abrupt directional reversals (phase shifts) via a cosine-similarity $+$ entropy dual gate, and respond by rolling back the KV-cache and injecting a pre-computed steering vector. No fine-tuning, gradient computation, or additional forward passes are required. LPSR achieves $\mathbf{44.0\%}$ on MATH-500 with an 8B model versus $28.8\%$ for standard AR ($+15.2$ pp; McNemar $χ^2 = 66.96$, $p < 10^{-15}$). Critically, prompted self-correction, the most natural inference-time baseline, scores only $19.8\%$, below standard AR; LPSR exceeds it by $+24.2$ pp ($χ^2 = 89.4$, $p \approx 0$). LPSR also outperforms Best-of-16 ($+7.8$ pp) at $5.4\times$ lower token cost, and surpasses a standard 70B model ($35.2\%$) with $8.75\times$ fewer parameters at ${\sim}3\times$ the token budget. A 32-layer sweep reveals a novel \textbf{detection-correction dissociation}: error-detection AUC peaks at layer~14 ($0.718$) but task accuracy peaks at layer~16 ($44.0\%$ vs.\ $29.2\%$), demonstrating that optimal monitoring depth differs for detection and correction.
- Abstract（参考訳）: 大規模な言語モデルは、しばしば回復不可能な推論エラーを犯す: 一度間違ったステップを踏むと、後続のトークンはそれを修正するのではなく、間違いを複雑にする。
生成ステップ毎に、臨界層リクリットにおける残留ストリームを監視し、コサイン類似性$+$エントロピー二重ゲートを介して急激な方向逆転(位相シフト)を検出し、KV-cacheをロールバックし、予め計算されたステアリングベクトルを注入することで応答する。
微調整、勾配計算、追加のフォワードパスは不要である。
LPSRは8BモデルでMATH-500で$\mathbf{44.0\%}$を得るが、標準的なARでは$28.8\%$(+15.2$ pp; McNemar $ ^2 = 66.96$, $p < 10^{-15}$)。
批判的に言えば、最も自然な推論時間ベースラインである自己補正は、標準ARよりわずか19.8\%低いスコアで、LPSRは$+24.2$ pp$(89.4$、$p \approx 0$)を超える。
LPSRはBest-of-16(+7.8$ pp)を5.4\times$トークンコストで上回り、標準的な70Bモデル(35.2\%$)と8.75\times$より少ないパラメータを${\sim}3\times$トークン予算で上回ります。
エラー検出 AUC はレイヤ~14 (0.718$) でピークするが、タスク精度はレイヤ~16 (44.0\%$) でピークとなる。
最適な監視深度が検出と修正で異なることを示す29.2\%$である。
関連論文リスト
- Online Covariance Estimation in Averaged SGD: Improved Batch-Mean Rates and Minimax Optimality via Trajectory Regression [12.805268849262243]
我々はPolyak-Ruppert averaged gradient descent (SGD)のオンライン共分散行列推定について検討した。
この構造は、このボトルネックがSGDドリフトからヘッセンの情報をサブ線形に蓄積していることを明らかにする。
論文 参考訳（メタデータ） (2026-04-12T20:49:33Z) - dynActivation: A Trainable Activation Family for Adaptive Nonlinearity [0.0]
dynActivationの変種は、高いパフォーマンスを維持しながらディープレイヤを線形化する傾向がある。
新しく提案されたdynActGLU-variantは5620ステップ (4.047 vs. 4.514) でSwiGLUの相対パープレキシティを10.3%削減するが、ギャップは34300ステップで消滅する。
論文 参考訳（メタデータ） (2026-03-23T16:18:28Z) - INC: An Indirect Neural Corrector for Auto-Regressive Hybrid PDE Solvers [61.84396402100827]
本稿では,学習した補正を支配方程式に統合する間接ニューラルコレクタ(mathrmINC$)を提案する。
$mathrmINC$は、$t-1 + L$の順番でエラー増幅を減らし、$t$はタイムステップ、$L$はリプシッツ定数である。
大規模なベンチマークで$mathrmINC$をテストし、1Dカオスシステムから3D乱流まで、多くの異なる解法、神経バックボーン、テストケースをカバーした。
論文 参考訳（メタデータ） (2025-11-16T20:14:28Z) - CarBoN: Calibrated Best-of-N Sampling Improves Test-time Reasoning [62.56541355300587]
本稿では,高逆推論経路に向けてモデルを適応的に修正する一般的なテスト時間校正フレームワークを提案する。
本フレームワークでは,まず解空間を探索し,次にロジットの校正を学習する二相法であるCarBoNを提案する。
MATH-500とAIME-2024の実験では、CarBoNは効率を向上し、同じ精度に達するために最大4倍のロールアウトが可能である。
論文 参考訳（メタデータ） (2025-10-17T14:04:37Z) - Numerical Fragility in Transformers: A Layer-wise Theory for Explaining, Forecasting, and Mitigating Instability [0.0]
エラーがいつどこで発生するかを予測する一階のモジュールワイズ理論を提示する。
自己注意のために、3つの解釈可能な診断に分解する層間境界を導出する。
また、精度と幅を意識したLayerNormインジケータ$rho_rm LN$も導入する。
論文 参考訳（メタデータ） (2025-10-17T01:03:02Z) - Variance-Dependent Regret Lower Bounds for Contextual Bandits [65.93854043353328]
これは従来の$tildeO(dsqrtK)$ regret bound to $tildeO(dsqrtsum_k=1Ksigma_k2)$で改善されている。
論文 参考訳（メタデータ） (2025-03-15T07:09:36Z) - Simple ReFlow: Improved Techniques for Fast Flow Models [68.32300636049008]
拡散および流れマッチングモデルは、優れた生成性能を実現するが、多くのサンプリングステップを犠牲にしている。
我々は、力学、学習、推論のトレーニングに7つの改善点を提案する。
我々は、ニューラルネットワークによる高速な生成のために、最先端のFIDスコア(ガイダンスなし/参照なし)を達成している。
論文 参考訳（メタデータ） (2024-10-10T11:00:55Z) - Robust Nonparametric Regression under Poisoning Attack [13.470899588917716]
敵攻撃者は、$N$のトレーニングデータセットから最大$q$のサンプル値を変更することができる。
初期解法はハマー損失最小化に基づくM推定器である。
最後の見積もりは、任意の$q$に対してほぼ最小値であり、最大$ln N$ factorまでである。
論文 参考訳（メタデータ） (2023-05-26T09:33:17Z) - Horizon-Free and Variance-Dependent Reinforcement Learning for Latent
Markov Decision Processes [62.90204655228324]
我々は,後期マルコフ決定過程(LMDP)における強化学習(RL)の文脈を考慮した後悔の最小化について検討した。
我々は,モデル最適化と値最適化の両手法でインスタンス化できる,新しいモデルベースアルゴリズムフレームワークを設計する。
論文 参考訳（メタデータ） (2022-10-20T21:32:01Z) - Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。
i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
論文 参考訳（メタデータ） (2020-07-16T06:44:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。