論文の概要: LaDiR: Latent Diffusion Enhances LLMs for Text Reasoning

• arxiv url: http://arxiv.org/abs/2510.04573v2
• Date: Tue, 07 Oct 2025 17:58:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-08 13:19:51.489908
• Title: LaDiR: Latent Diffusion Enhances LLMs for Text Reasoning
• Title（参考訳）: LaDiR: テキスト推論のためのLLMを実現する潜伏拡散
• Authors: Haoqiang Kang, Yizhe Zhang, Nikki Lijing Kuang, Nicklas Majamaki, Navdeep Jaitly, Yi-An Ma, Lianhui Qin,
• Abstract要約: 大規模言語モデル(LLM)は、思考の連鎖生成を通じて推論能力を示す。 連続潜在表現の表現性を統一する新しい推論フレームワークであるLaDiRを提案する。 LaDiRは、既存の自己回帰的、拡散的、潜伏的推論方法よりも、精度、多様性、解釈性を一貫して改善する。
• 参考スコア（独自算出の注目度）: 30.62691333490551
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) demonstrate their reasoning ability through chain-of-thought (CoT) generation. However, LLM's autoregressive decoding may limit the ability to revisit and refine earlier tokens in a holistic manner, which can also lead to inefficient exploration for diverse solutions. In this paper, we propose LaDiR (Latent Diffusion Reasoner), a novel reasoning framework that unifies the expressiveness of continuous latent representation with the iterative refinement capabilities of latent diffusion models for an existing LLM. We first construct a structured latent reasoning space using a Variational Autoencoder (VAE) that encodes text reasoning steps into blocks of thought tokens, preserving semantic information and interpretability while offering compact but expressive representations. Subsequently, we utilize a latent diffusion model that learns to denoise a block of latent thought tokens with a blockwise bidirectional attention mask, enabling longer horizon and iterative refinement with adaptive test-time compute. This design allows efficient parallel generation of diverse reasoning trajectories, allowing the model to plan and revise the reasoning process holistically. We conduct evaluations on a suite of mathematical reasoning and planning benchmarks. Empirical results show that LaDiR consistently improves accuracy, diversity, and interpretability over existing autoregressive, diffusion-based, and latent reasoning methods, revealing a new paradigm for text reasoning with latent diffusion.
• Abstract（参考訳）: 大言語モデル(LLM)は、チェーン・オブ・シント(CoT)生成による推論能力を示す。 しかし、LDMの自己回帰復号法は、初期のトークンを再検討し、全体的な方法で洗練する能力を制限する可能性があるため、多様な解に対する非効率な探索にも繋がる可能性がある。 本稿では,LaDiR(Latent Diffusion Reasoner)を提案する。LaDiR(Latent Diffusion Reasoner)は,連続潜伏表現の表現性を,既存のLLMにおける潜伏拡散モデルの反復的洗練能力とを一体化する新しい推論フレームワークである。 まず,テキスト推論ステップを思考トークンのブロックにエンコードする可変オートエンコーダ(VAE)を用いて構造化された潜在推論空間を構築し,意味情報と解釈可能性を保持しながら,コンパクトで表現力のある表現を提供する。 次に,潜在的拡散モデルを用いて,潜在的思考トークンのブロックをブロックワイドな双方向の注意マスクで認知し,より長い地平線と反復的改善を適応的なテスト時間計算で実現する。 この設計により、多種多様な推論軌跡の効率的な並列生成が可能となり、モデルが推論プロセスの計画と修正を論理的に行うことができる。 数学的推論と計画ベンチマークのスイートで評価を行う。 実験結果から,LaDiRは既存の自己回帰的,拡散的,潜伏的推論手法よりも精度,多様性,解釈性が向上し,遅延拡散を伴うテキスト推論の新しいパラダイムが明らかとなった。

関連論文リスト

• A Survey on Latent Reasoning [100.54120559169735]
  大きな言語モデル(LLM)は印象的な推論機能を示している。 中間ステップを言語化するCoT推論は、モデルの表現帯域幅を制限する。 潜在的推論は、モデルの連続的な隠れ状態に完全にマルチステップの推論を実行することで、このボトルネックに対処する。
  論文  参考訳（メタデータ） (2025-07-08T17:29:07Z)
• Hybrid Latent Reasoning via Reinforcement Learning [51.06635386903026]
  大規模言語モデル(LLM)の能力を活用した強化学習(RL)による潜時推論について検討する。 RLをベースとしたハイブリッド潜在推論手法であるハイブリッド推論ポリシー最適化(HRPO)を導入する。 HRPOで訓練されたLLMは解釈可能であり、言語横断パターンや短い完了長といった興味深い挙動を示す。
  論文  参考訳（メタデータ） (2025-05-24T01:26:16Z)
• SoftCoT: Soft Chain-of-Thought for Efficient Reasoning with LLMs [48.28847964704554]
  CoT(Chain-of-Thought)推論により、LLM(Large Language Models)は複雑な推論タスクを解くことができる。 LLMの変更を必要としない連続空間推論のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:52:29Z)
• Diffusion of Thoughts: Chain-of-Thought Reasoning in Diffusion Language Models [100.53662473219806]
  Diffusion-of-Thought (DoT) は、拡散モデルとChain-of-Thoughtを統合する新しいアプローチである。 DoTは、拡散言語モデルを通じて、時間とともに推論ステップが拡散することを可能にする。 本研究は,多桁乗算,論理学,小学校数学におけるDoTの有効性を示すものである。
  論文  参考訳（メタデータ） (2024-02-12T16:23:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。