論文の概要: CaLR: Causal Latent Revision for Robust Diffusion Reasoning
- arxiv url: http://arxiv.org/abs/2609.20981v1
- Date: Thu, 17 Sep 2026 18:34:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-21 18:40:16.751737
- Title: CaLR: Causal Latent Revision for Robust Diffusion Reasoning
- Title(参考訳): CaLR:ロバスト拡散推論のための因果リビジョン
- Abstract要約: Causal Latent Revision(CaLR)は、推論を制約付き潜在最適化として再構成するフレームワークである。
CaLRは複雑なベンチマークでSOTA DLMのパフォーマンスを達成し、強力なARベースラインを超え、Sudokuのような制約のあるタスクにおいて優れた堅牢性を示す。
- 参考スコア(独自算出の注目度): 51.455584007179226
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Autoregressive (AR) models suffer from local greediness, while diffusion language models (DLMs) often lack the strict causal structure required for reasoning. To combine the advantages and overcome the drawbacks of the dual, we propose Causal Latent Revision (CaLR), a framework that reformulates reasoning as constrained latent optimization. By adopting a causal topology matrix (CTM) from an expert model and implicit differentiation, CaLR performs gradient-guided ``thought revision" to enforce logical consistency, enabling dynamic self-correction of intermediate steps during parallel generation. Empirically, CaLR achieves SOTA DLM performance on complex benchmarks, surpassing strong AR baselines and demonstrating superior robustness in constrained tasks like Sudoku.
- Abstract(参考訳): 自己回帰(AR)モデルは局所的な欲求に悩まされる一方、拡散言語モデル(DLM)は推論に必要な厳密な因果構造を欠いていることが多い。
この利点を組み合わせ、双対の欠点を克服するために、制約付き潜在最適化として推論を再構成するフレームワークであるCausal Latent Revision(CaLR)を提案する。
専門家モデルから因果トポロジー行列(CTM)を採用し、暗黙の差別化を行うことで、CaLRは、論理的一貫性を強制するために勾配誘導された「思考リビジョン」を実行し、並列生成中の中間ステップの動的自己補正を可能にする。
実証的には、CaLRは複雑なベンチマークでSOTA DLMのパフォーマンスを達成し、強力なARベースラインを超え、Sudokuのような制約のあるタスクにおいて優れた堅牢性を示す。
関連論文リスト
- ARMOR: Stabilizing On-Policy LLM RL with Off-Policy Anchor Samples [65.74946647574696]
強化学習(RL)は,大規模言語モデル(LLM)の推論能力を大幅に向上させた。
本研究では,この不安定性の重要源である過最適化について検討する。
我々は,このパラダイムを受動的ペナルティからアクティブ標本安定化に移行するフレームワークARMORを提案する。
論文 参考訳(メタデータ) (2026-07-11T21:22:46Z) - Entropy-Gradient Inversion: Moving Toward Internal Mechanism of Large Reasoning Models [47.195670444638715]
トークンエントロピーとロジット勾配の堅牢な相関関係であるtextbfEntropy-Gradient Inversion を同定し,正式に定義する。
我々は,この逆シグネチャを強化学習に組み込んだtextbfCorrelation-Regularized Group Policy Optimization (CorR-PO)を提案する。
複数のモデルスケールにわたる様々な推論ベンチマークの実験は、Corr-POが最先端のベースラインを一貫して上回っていることを示している。
論文 参考訳(メタデータ) (2026-05-18T02:41:53Z) - SAGE: Shaping Anchors for Guided Exploration in RLVR of LLMs [55.46289074417954]
検証可能な報酬(RLVR)による強化学習は、推論タスクのpass@1を確実に改善するが、pass@kでは同等の利得を得られないことが多い。
中心的な構造的制約は、トレーニングを安定させるが、本質的には基準分布にポリシーを固定する逆-KL正規化から生じる。
我々は,逆KLアンカー分布自体を再構成することで,制御可能な経験的サポート拡張を可能にする,原則化されたフレームワークであるSAGEを提案する。
論文 参考訳(メタデータ) (2026-05-15T07:42:21Z) - MAVEN: Multi-Agent Verification-Elaboration Network with In-Step Epistemic Auditing [18.35295672031847]
MAVENは、LLMを明示的な役割分離を通じて意図的な推論に変換するように設計されたフレームワークである。
MAVEN は GEMINI-3.1-Pro などの潜在推論モデルより一貫して優れている。
MAVENは完全にモデルに依存しず、強力で伝達可能な推論ブースターとして機能する。
論文 参考訳(メタデータ) (2026-05-08T12:11:08Z) - Learning Causality for Longitudinal Data [1.2691047660244335]
この論文は、高次元の時間変化データにおける因果推論と因果表現学習の手法を開発する。
最初のコントリビューションは、個別処理効果(ITE)を推定するモデルであるCDVAE(Causal Dynamic Variational Autoencoder)の導入である。
第2のコントリビューションでは,Contrastive Predictive Coding (CPC) とInfoMaxによって強化された RNN に基づく長期的反事実回帰のための効率的なフレームワークを提案する。
第3のコントリビューションは、潜伏が観察された変数にどのように現れるかに対処することでCRLを前進させる。
論文 参考訳(メタデータ) (2025-12-04T16:51:49Z) - Retrieval is Not Enough: Enhancing RAG Reasoning through Test-Time Critique and Optimization [58.390885294401066]
Retrieval-augmented Generation (RAG) は知識基底型大規模言語モデル(LLM)を実現するためのパラダイムとして広く採用されている。
RAGパイプラインは、モデル推論が得られた証拠と整合性を維持するのに失敗することが多く、事実上の矛盾や否定的な結論につながる。
批判駆動アライメント(CDA)に基づく新しい反復的枠組みであるAlignRAGを提案する。
AlignRAG-autoは、動的に洗練を終了し、批判的な反復回数を事前に指定する必要がなくなる自律的な変種である。
論文 参考訳(メタデータ) (2025-04-21T04:56:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。