論文の概要: SPREG: Structured Plan Repair with Entropy-Guided Test-Time Intervention for Large Language Model Reasoning
- arxiv url: http://arxiv.org/abs/2604.17884v1
- Date: Mon, 20 Apr 2026 06:55:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-21 21:52:52.73766
- Title: SPREG: Structured Plan Repair with Entropy-Guided Test-Time Intervention for Large Language Model Reasoning
- Title（参考訳）: SPREG:大規模言語モデル推論のためのエントロピー誘導テスト時間干渉を用いた構造化計画修正
- Authors: Xuan Wang, Yu Ming, Xinhao Zhong, Xinyu Yu, Wenjie Wang, Shuai Chen, Wei Lin,
- Abstract要約: 大きな言語モデル(LLM)は、長い鎖の推論の間、論理的な幻覚やドリフトを起こす傾向がある。
本稿では,SPREG(Structured Plan-Guided Real-time Entropy Gating)を提案する。
実験の結果,AIME25の絶対精度は20.0%向上した。
- 参考スコア（独自算出の注目度）: 23.62252234067012
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) are prone to logical hallucinations and stochastic drifts during long-chain reasoning. While Classifier-Free Guidance (CFG) can improve instruction adherence, standard static implementations often cause semantic dilution and linguistic degradation. We propose SPREG (Structured Plan-guided Real-time Entropy Gating), a lightweight inference-time framework for surgical error rectification. SPREG employs an adaptive dual-threshold mechanism to monitor real-time entropy, identifying sudden ``entropy spikes'' as reliable indicators of logical failure. Upon detection, it triggers a dynamic repair by replacing uninformative null-priors with reference distributions synthesized from historical high-confidence states. By modulating guidance intensity according to structured reasoning stages (e.g., Action, Observation), SPREG steers the model back to a stable manifold without compromising fluency. Our experiments demonstrate significant gains, notably a 20.0% absolute accuracy improvement on AIME25, while effectively suppressing uncontrolled entropy drift in complex tasks.
- Abstract（参考訳）: LLM(Large Language Models)は、長鎖推論において論理幻覚や確率的ドリフトを引き起こす傾向がある。
Classifier-Free Guidance (CFG) は命令順守を改善することができるが、標準的な静的実装は意味の希釈や言語的な劣化を引き起こすことが多い。
本稿では,SPREG(Structured Plan-Guided Real-time Entropy Gating)を提案する。
SPREGは、リアルタイムのエントロピーを監視するために、適応的なデュアルスレッド機構を採用し、突然の'エントロピースパイク'を論理的失敗の信頼できる指標として特定する。
検出されると、非形式的ヌルプリアーを過去の高信頼状態から合成された参照分布に置き換えることで動的修復をトリガーする。
SPREGは、構造化された推論段階(例えば、アクション、観察)に応じて誘導強度を調節することで、モデルを安定な多様体に戻すが、流速を損なうことはない。
実験の結果, AIME25の絶対精度は20.0%向上し, 複雑なタスクにおける制御不能なエントロピードリフトを効果的に抑制した。
関連論文リスト
- Causally-Constrained Probabilistic Forecasting for Time-Series Anomaly Detection [1.8995711908407733]
本研究では,異常検出のための因果制約付き確率予測フレームワークを提案する。
ディープ・シークエンス・モデリングに先立って、明示的な時間付き因果グラフを統合する。
実験により,提案手法が最先端検出性能を実現することを示す。
論文 参考訳（メタデータ） (2026-04-20T09:24:28Z) - GTS: Inference-Time Scaling of Latent Reasoning with a Learnable Gaussian Thought Sampler [54.10960908347221]
我々は、学習可能な密度から条件付きサンプリングとして潜在思考探索をモデル化し、このアイデアをガウス思想サンプリング(GTS)としてインスタンス化する。
GTSは、連続的推論状態における文脈依存摂動分布を予測し、バックボーンを凍結させながらGRPOスタイルのポリシー最適化を訓練する。
論文 参考訳（メタデータ） (2026-02-15T09:57:47Z) - Gradients Must Earn Their Influence: Unifying SFT with Generalized Entropic Objectives [22.29000001610794]
Supervised Fine-Tuning (SFT) の標準的な負の対数構造は、均一なトークンレベルの重み付けを適用する。
この剛性は2重の障害モードを生成する: (i)低確率目標を過度に強調することは、ノイズの監督の勾配を増幅し、頑健な事前を妨害し、 (ii)一様重み付けは、モデルが既に自信を持っているときに弱いシャープニングを与える。
既存の方法は可塑性の解決に失敗し、不安定なジレンマがしばしば有害なジレンマとともに必要な学習信号を抑圧する。
パラメータ自由度を変調する動的エントロピーファインチューニング(DEFT)を導入する。
論文 参考訳（メタデータ） (2026-02-11T22:56:43Z) - EDIS: Diagnosing LLM Reasoning via Entropy Dynamics [3.858418431840288]
生成過程における信頼の時空間的進化は,集計統計単独よりも豊かな情報をもたらすことを示す。
本稿では,エントロピー進化における不安定性を定量化するための軌道レベルの指標であるエントロピーダイナミクス不安定スコア(textbfEDIS)を紹介する。
論文 参考訳（メタデータ） (2026-02-01T15:43:50Z) - From Observations to States: Latent Time Series Forecasting [65.98504021691666]
本稿では,TSFを観測回帰から潜時予測に移行する新しいパラダイムであるLatent Time Series Forecasting(LatentTSF)を提案する。
具体的には、LatentTSFはAutoEncoderを使用して、各段階での観測結果を高次元の潜在状態空間に投影する。
提案する潜伏目標は,予測潜伏状態と地道状態と観測値との相互情報を暗黙的に最大化する。
論文 参考訳（メタデータ） (2026-01-30T20:39:44Z) - Adaptive Learning Guided by Bias-Noise-Alignment Diagnostics [0.7519872646378835]
本稿では,誤り適応進化を明示的にモデル化する診断駆動学習フレームワークを提案する。
これらの診断は、損失または時間差(TD)誤差軌跡の軽量統計からオンラインで計算される。
論文 参考訳（メタデータ） (2025-12-30T19:57:52Z) - Modeling Uncertainty Trends for Timely Retrieval in Dynamic RAG [35.96258615258145]
本稿では,トークンレベルの不確実性のダイナミクスをモデル化し,最適検索タイミングを決定するトレーニングフリーな手法であるEntropy-Trend Constraint(ETC)を紹介する。
ETCは、検索周波数を減少させながら、強いベースラインを一貫して上回る。
プラグアンドプレイで、モデルに依存しず、既存のデコードパイプラインに簡単に統合できる。
論文 参考訳（メタデータ） (2025-11-13T05:28:02Z) - SynCast: Synergizing Contradictions in Precipitation Nowcasting via Diffusion Sequential Preference Optimization [62.958457694151384]
本研究では,大規模な言語モデルにおける人的フィードバックからの強化学習の成功を動機として,降水量の最適化を初めて導入する。
第一段階では、フレームワークはFARを減らすことに焦点を当て、誤報を効果的に抑えるためにモデルを訓練する。
論文 参考訳（メタデータ） (2025-10-22T16:11:22Z) - Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。
トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
論文 参考訳（メタデータ） (2024-02-13T11:25:20Z) - CASTLE: Regularization via Auxiliary Causal Graph Discovery [89.74800176981842]
因果構造学習(CASTLE)の正規化を導入し,変数間の因果関係を共同学習することでニューラルネットワークの正規化を提案する。
CASTLEは因果的隣り合いを持つ因果的DAGの特徴のみを効率的に再構成する一方、再構成ベース正規化器は全ての入力特徴を過度に再構成する。
論文 参考訳（メタデータ） (2020-09-28T09:49:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。