論文の概要: LOCKR: A Hidden-State Trajectory-Guided Planner for Detecting and Repairing Stable-but-Wrong Lock-In in Diffusion Language Models
- arxiv url: http://arxiv.org/abs/2609.27220v2
- Date: Thu, 24 Sep 2026 01:59:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 21:10:09.341442
- Title: LOCKR: A Hidden-State Trajectory-Guided Planner for Detecting and Repairing Stable-but-Wrong Lock-In in Diffusion Language Models
- Title(参考訳): LOCKR:拡散言語モデルにおける安定なロックインの検出と修復のための隠れ状態軌道案内型プランナ
- Abstract要約: 拡散言語モデルは、最終回答が生成される前に中間軌跡を露呈し、反復的妄想を通じてテキストを生成する。
我々は,解答が不正確な値の周囲で早期に安定し,相当な解答が残っている場合に,繰り返し発生する理性障害,安定に反するロックインを同定する。
LOCKRは隠れ状態の軌道誘導型プランナーであり、いつ追加計算を割り当てるかを決定する。
- 参考スコア(独自算出の注目度): 10.134323514272955
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diffusion language models generate text through iterative denoising, exposing intermediate trajectories before final answers are produced. We identify a recurring reasoning failure, stable-but-wrong lock-in, where an answer stabilizes early around an incorrect value while substantial denoising remains. Surface-level decoding signals such as confidence, entropy, margin, and answer stability are insufficient to reliably distinguish correct from erroneous lock-in. We formulate selective reasoning repair as a lightweight test-time planning problem and propose LOCKR, a hidden-state trajectory-guided planner that decides when to allocate additional computation, expands a structured set of targeted repair branches, and selects the most promising continuation using trajectory-aware verification. Across two diffusion language models and three mathematical reasoning benchmarks, hidden-state trajectories consistently outperform surface signals and single hidden snapshots for both wrong-lock-in detection and repair selection. On natural evaluation distributions, LOCKR yields absolute accuracy gains of 2.21--5.37 percentage points across all five evaluated settings, with repair rates ranging from 22% to 41%. These results establish hidden diffusion trajectories as actionable signals for selective test-time reasoning repair.
- Abstract(参考訳): 拡散言語モデルは、最終回答が生成される前に中間軌跡を露呈し、反復的妄想を通じてテキストを生成する。
我々は,解答が不正確な値の周囲で早期に安定し,相当な解答が残っている場合に,繰り返し発生する理性障害,安定に反するロックインを同定する。
信頼、エントロピー、マージン、解答安定性などの表面レベルの復号信号は、誤ったロックインと確実に区別するには不十分である。
我々は、軽量なテスト時間計画問題として選択的推論補修を定式化し、追加の計算をいつ割り当てるかを判断し、対象とする補修枝の構造化を拡大し、軌道認識検証を用いて最も有望な継続を選択する、隠蔽状態軌道誘導プランナーであるLOCKRを提案する。
2つの拡散言語モデルと3つの数学的推論ベンチマーク、隠れ状態軌跡は、間違ったロックイン検出と修理の選択の両方のために、常に表面信号と単一の隠れスナップショットより優れている。
自然評価分布では、LOCKRは5つの評価設定すべてで2.21~5.37ポイントの絶対精度が得られ、修理率は22%から41%である。
これらの結果は,選択的試験時間推論修復のための動作可能な信号として,隠れ拡散軌道を確立した。
関連論文リスト
- Escaping Confidence Trap: Evolutionary Decoding for Mathematical Reasoning in Diffusion LLMs [69.52853771994451]
我々はLLaDA 2.0の復号軌道を解析し、繰り返し拡散信頼トラップを同定する。
本稿では,拡散復号化を進化過程とみなす訓練不要なテスト時間スケーリングフレームワークである進化復号法を提案する。
論文 参考訳(メタデータ) (2026-08-01T11:48:25Z) - The Knowing-Saying Gap: When Probes See Errors that Confidence Misses [20.46211358172975]
線形プローブは、ほぼ完全精度で言語モデルの劣化コンテキストを検知するが、信頼性の高い故障予測にはならない。
マルチホップ算術連鎖全体において、汚職を検出するプローブは最終解の正しさについて非形式的であることが判明した。
リアルタイムモニタとして、プローブベースの介入は、シャープにモデル化され、エラータイプに依存します。
論文 参考訳(メタデータ) (2026-07-21T12:13:10Z) - Denoising Iterative Self-Correction: Structured Verification Loops for Reliable LLM Reasoning [5.634990956257954]
大規模言語モデルでは、流動的だがしばしば誤った多段階推論が生成され、単純補正法は、既に正しい答えを劣化させるリスクがある。
Denoising Iterative Self-Correction (DISC) は、検証された質問の出力を、解の破損箇所のノイズ測定として扱うテストタイムプロシージャである。
二分判定ゲートは、検証器と修正器が共に修理誤差を補う間、既に正しい答えを損なうような書き直しをブロックすることで補正精度を制御する。
論文 参考訳(メタデータ) (2026-06-19T20:23:14Z) - Exploring Agentic Tool-Calling Decisions via Uncertainty-Aligned Reinforcement Learning [63.24624171679711]
大規模言語モデル(LLM)ベースのエージェントは、しばしば最適なツール使用の決定を行う。
本研究では、不確実性分離を維持するための推進力として、不確実性定量化を報酬設計に組み込んだTRUSTを提案する。
論文 参考訳(メタデータ) (2026-06-05T07:08:34Z) - Correct Answers from Sound Reasoning: Verifiable Process Supervision for Language Models [94.68358825189738]
本稿では,予測精度と推論品質を協調的に最適化する検証済み領域の学習後フレームワークを提案する。
我々は,エンジン信号に対して推論ステップを確定的に検証できる制御テストベッドであるチェスのVPSを評価する。
VPSは、推論品質を著しく向上させながら精度を保ち、勝利率エラーを最大30%削減し、一貫性をほぼ飽和状態に回復する。
論文 参考訳(メタデータ) (2026-04-03T15:19:46Z) - Test-Time Scaling with Diffusion Language Models via Reward-Guided Stitching [66.39914384073145]
本稿では,安価な拡散サンプリング推論をステップレベル候補の再利用プールに変換する自己整合性フレームワークを提案する。
ステップレベルの再結合は、難しい問題に対して最も有益であることがわかった。
トレーニング不要のフレームワークは、6つの数学およびコーディングタスクの平均精度を最大2倍改善します。
論文 参考訳(メタデータ) (2026-02-26T11:08:39Z) - LEC: Linear Expectation Constraints for False-Discovery Control in Selective Prediction and Routing Systems [95.35293543918762]
大規模言語モデル(LLM)はしばしば信頼できない答えを生成するが、不確実性のある手法は誤った予測と完全に区別することができない。
我々は、この問題を、偽発見率(FDR)制御のレンズを通して解決し、全ての許容された予測のうち、エラーの割合が目標のリスクレベルを超えないことを保証する。
本稿では,線形期待制約を強制することで,選択予測を制約付き決定問題として再解釈するLECを提案する。
論文 参考訳(メタデータ) (2025-12-01T11:27:09Z) - Uncertainty-Driven Reliability: Selective Prediction and Trustworthy Deployment in Modern Machine Learning [1.2183405753834562]
この論文は、不確実性推定が機械学習(ML)システムの安全性と信頼性を高める方法について考察する。
まず、モデルのトレーニング軌道は、アーキテクチャの変更や損失を伴わずに活用できるような、豊富な不確実性信号を含むことを示す。
本稿では,タスク間で動作し,深層アンサンブルのコストを回避し,最先端の選択的予測性能を実現する軽量なポストホック禁忌手法を提案する。
論文 参考訳(メタデータ) (2025-08-11T02:33:53Z) - Latent Veracity Inference for Identifying Errors in Stepwise Reasoning [78.29317733206643]
本稿では、精度割当てに対する離散探索アルゴリズムであるVeracity Search(VS)を紹介する。
その他の方法では、後続の精度値よりも後続の分布において難解な推論を行う。
VSを一般化し、新しいコンテキストで正確なゼロショットの精度推論を可能にする。
論文 参考訳(メタデータ) (2025-05-17T04:16:36Z) - Learning a Factorized Orthogonal Latent Space using Encoder-only Architecture for Fault Detection; An Alarm management perspective [0.2455468619225742]
本稿では,プロセス変数の誤同定および決定論的成分を効果的に分離する,エンコーダに基づく残差設計を提案する。
提案モデルは2つの異なるエンコーダを用いて、潜在空間を2つの空間に分解する。
提案モデルでは、ほぼゼロの誤報と誤検出を達成しつつ予測品質を著しく向上させる。
論文 参考訳(メタデータ) (2024-08-24T09:00:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。