論文の概要: Planner and Executor: Collaboration between Discrete Diffusion And Autoregressive Models in Reasoning

• arxiv url: http://arxiv.org/abs/2510.15244v2
• Date: Mon, 20 Oct 2025 05:20:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 00:56:38.70869
• Title: Planner and Executor: Collaboration between Discrete Diffusion And Autoregressive Models in Reasoning
• Title（参考訳）: プランナーと実行者:推論における離散拡散と自己回帰モデルとの協調
• Authors: Lina Berrayana, Ahmed Heakl, Muhammad Abdullah Sohail, Thomas Hofmann, Salman Khan, Wei Chen,
• Abstract要約: 現在の自己回帰言語モデル(ARM)は精度が高いが、長いトークンシーケンスを必要とするため、コストがかかる。 DDLMは一定数のステップで並列かつ柔軟な生成を可能にする。 本稿では, DDLMとARMを結合したハイブリッドアーキテクチャについて検討し, 協調が相補的利益をもたらすかどうかを検証した。
• 参考スコア（独自算出の注目度）: 40.69037032768994
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current autoregressive language models (ARMs) achieve high accuracy but require long token sequences, making them costly. Discrete diffusion language models (DDLMs) enable parallel and flexible generation within a fixed number of steps and have recently emerged for their strong performance in complex reasoning and long-term planning tasks. We present a study exploring hybrid architectures that couple DDLMs with ARMs to assess whether their collaboration can yield complementary benefits. We first examine collaboration in text space, where one model plans the reasoning process and another executes the final answer based on that plan. We then extend this setup to latent-space communication, introducing a learned projector that maps DDLM latents into the ARM's embedding space, potentially bypassing some of the text-generation limitations of diffusion models. We find that shifting DDLM --> ARM communication from text space to latent space yields significant accuracy gains, for example increasing from 27.0% to 54.0% on DART-5 and from 0.0% to 14.0% on AIME24. We also find that combining a DDLM planner with an ARM executor can provide substantial computational savings with little to no impact on accuracy. For example, the latent-space pipeline, using 64 tokens for planning and roughly 5 for execution, surpasses Qwen3.1-7B on DART-5 and AIME, despite Qwen using 44 times more tokens. Overall, our study offers new insights into reasoning with DDLMs and highlights their potential in hybrid architectures.
• Abstract（参考訳）: 現在の自己回帰言語モデル(ARM)は精度が高いが、長いトークンシーケンスを必要とするため、コストがかかる。 離散拡散言語モデル(DDLM)は、固定されたステップで並列かつ柔軟な生成を可能にする。 本稿では, DDLMとARMを結合したハイブリッドアーキテクチャについて検討し, 協調が相補的利益をもたらすかどうかを検証した。 まず1つのモデルが推論過程を計画し、もう1つのモデルがその計画に基づいて最終回答を実行するテキスト空間における協調について検討する。 次に、このセットアップをラテントスペース通信に拡張し、DDLMラテントをARMの埋め込み空間にマッピングする学習プロジェクタを導入し、拡散モデルのテキスト生成制限を回避します。 例えば、DART-5では27.0%から54.0%、AIME24では0.0%から14.0%に増加する。 また, DDLMプランナとARMエグゼキュータを組み合わせることで, 精度にほとんど影響を与えず, 計算コストを大幅に削減できることがわかった。 例えば、64トークンを計画に使用し、約5トークンを実行に使用した潜在空間パイプラインは、Qwenが44倍のトークンを使用するにもかかわらず、DART-5とAIMEでQwen3.1-7Bを上回っている。 全体として、本研究ではDDLMによる推論に関する新たな洞察を提供し、ハイブリッドアーキテクチャにおけるその可能性を強調している。

関連論文リスト

• Beyond Next-Token Prediction: A Performance Characterization of Diffusion versus Autoregressive Language Models [82.87985794856803]
  大規模言語モデル(LLM)は、幅広い自然言語処理(NLP)タスクにおいて最先端のパフォーマンスを達成した。 最近、Diffusion Language Models (DLM) が有望な代替アーキテクチャとして登場した。
  論文  参考訳（メタデータ） (2025-10-05T10:50:52Z)
• TL;DR: Too Long, Do Re-weighting for Efficient LLM Reasoning Compression [55.37723860832064]
  高度なデータアノテーションに依存しない動的比に基づくトレーニングパイプラインを提案する。 我々は、DeepSeek-R1-Distill-7BとDeepSeek-R1-Distill-14Bのモデルと、様々な難易度を持つ様々なベンチマークのモデルに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2025-06-03T09:23:41Z)
• Reviving Any-Subset Autoregressive Models with Principled Parallel Sampling and Speculative Decoding [55.2480439325792]
  任意の順序言語モデルでは、正しい関節分布からトークンを並列にサンプリングする方法がオープンな問題である。 我々は,任意のサブセット自動回帰モデル (AS-ARM) という,異なるモデルのクラスが解を持っていることを発見した。 我々は,AS-ARMがベンチマークタスクを埋め込んだ200M未満のパラメータモデル間で最先端の性能を実現し,コード生成における50倍のモデルの性能とほぼ一致していることを示す。
  論文  参考訳（メタデータ） (2025-04-29T06:33:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。