論文の概要: Beyond the Sequentiality Bottleneck: A Hybrid Diffusion-Autoregressive Framework for Efficient Multimodal Reasoning
- arxiv url: http://arxiv.org/abs/2610.28584v1
- Date: Tue, 20 Oct 2026 17:39:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.952331
- Title: Beyond the Sequentiality Bottleneck: A Hybrid Diffusion-Autoregressive Framework for Efficient Multimodal Reasoning
- Title（参考訳）: 逐次性ボトルネックを超えて:効率的なマルチモーダル推論のためのハイブリッド拡散自己回帰フレームワーク
- Abstract要約: CoRAL(Collaborative Reasoning Asymmetric Learning)は、非対称プランナー-実行アーキテクチャによるハイブリッドフレームワークである。
大きなARMエグゼクタが最適なプランを選択し、最終回答を合成する。
視覚言語ベンチマークの実験では、Coralは従来の拡散法よりも大幅に優れていた。
- 参考スコア（独自算出の注目度）: 51.455584007179226
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Autoregressive models (ARMs) face a "Sequentiality Bottleneck" in reasoning, while diffusion language models (DLMs) offer parallelism but lack semantic coherence. To addresses both limitations, we propose Collaborative Reasoning Asymmetric Learning (CoRAL), a hybrid framework via an Asymmetric Planner-Executor (APE) architecture: a DLM Planner generates K diverse reasoning trajectories in parallel, while a large ARM Executor selects the optimal plan and synthesizes the final answer. To train the Planner effectively, we introduce Reward-Guided Denoising for CoT (RDC), which integrates outcome-based rewards into the diffusion process to steer it toward goal-directed reasoning. Experiments on vision-language benchmarks show that CoRAL significantly outperforms prior diffusion-based methods and achieves competitive performance against strong ARMs, achieving both superior efficiency and quality.
- Abstract（参考訳）: 自己回帰モデル(ARM)は推論において「逐次ボトルネック」(Sequentiality Bottleneck)に直面し、拡散言語モデル(DLM)は並列性を提供するがセマンティックコヒーレンスを持たない。
両制約に対処するため,協調推論非対称学習(CoRAL)を提案する。Asymmetric Planner-Executor (APE)アーキテクチャによるハイブリッドフレームワークである。DLM PlannerはKの多種多様な推論軌道を並列に生成し,大きなARM Executorは最適な計画を選択し,最終回答を合成する。
そこで我々は,CoT(Reward-Guided Denoising for CoT)を効果的に訓練するために,結果に基づく報酬を拡散プロセスに統合し,目標指向推論に向けて学習する手法を提案する。
ビジョン言語ベンチマークの実験では、Coralは従来の拡散ベースの手法よりも大幅に優れ、強力なARMと競合する性能を達成し、優れた効率と品質の両方を達成することが示されている。
関連論文リスト
- FLARE: Diffusion for Hybrid Language Model [72.60770374799634]
FLAREは、ハイブリッドアテンションな大規模言語モデルのための体系的な変換フレームワークである。
トークン平等なAR/拡散目標、ハードウェア対応カーネル、統一推論を組み合わせることで、ひとつのチェックポイントがARスタイルの検証された復号化と拡散スタイルの並列復号化の両方をサポートすることができる。
この結果から,実際のdLLMは復号化アルゴリズムだけでなく,データ品質や現在のブロック拡散目標のトレーニング非効率によって制限されていることが示唆された。
論文 参考訳（メタデータ） (2026-06-01T06:58:15Z) - DiffusionOPD: A Unified Perspective of On-Policy Distillation in Diffusion Models [55.01951088768769]
DiffusionOPDはオンライン政策蒸留(OPD)に基づく拡散モデルのための新しいマルチタスクトレーニングパラダイムである
本研究では,DiffusionOPDがトレーニング効率と最終性能において,マルチリワードRLとカスケードRLのベースラインを一貫して上回っていることを示す。
論文 参考訳（メタデータ） (2026-05-14T16:49:09Z) - Thoughts-as-Planning: Latent World Models for Chain-of-Thoughts Optimization via Reinforcement Planning [40.65153547415224]
Thoughts-as-Planningは、シーケンシャルな意思決定プロセスとして推論チェーン最適化を形式化する新しいフレームワークである。
本手法はマルチスケールの抽象化をサポートし,トークン,セグメント,命令レベルでの推論チェーンの編集を統一プランナに統合する。
論文 参考訳（メタデータ） (2026-04-27T08:18:12Z) - HAD: Combining Hierarchical Diffusion with Metric-Decoupled RL for End-to-End Driving [51.268878540511054]
我々は階層的拡散政策を備えたエンドツーエンドの計画フレームワークであるHADを提案する。
我々は,NAVSIMとHUGSIMの両方でHADが新たな最先端性能を実現することを示す。
論文 参考訳（メタデータ） (2026-04-04T04:12:47Z) - Discovering Process-Outcome Credit in Multi-Step LLM Reasoning [3.584086358722852]
強化学習(RL)は、大規模言語モデル(LLM)における推論能力を高めるための強力なパラダイムとして機能する。
本稿では,連続的な報酬信号を提供するための新しいフレームワークを提案する。
本モデルでは, 予測できない, 難解な推論タスクに対して, ゼロショット転送能力を実証し, より優れた配当性を示す。
論文 参考訳（メタデータ） (2026-02-01T05:44:09Z) - Causal Autoregressive Diffusion Language Model [70.7353007255797]
CARDは厳密な因果注意マスク内の拡散過程を再構成し、単一の前方通過で密集した1対1の監視を可能にする。
我々の結果は,CARDが並列生成のレイテンシの利点を解放しつつ,ARMレベルのデータ効率を実現することを示す。
論文 参考訳（メタデータ） (2026-01-29T17:38:29Z) - Auto-Regressive Masked Diffusion Models [9.239507801466322]
仮面拡散モデル (MDM) は言語モデリングの有望なアプローチとして登場している。
自動回帰モデル(ARM)と比較してパフォーマンスのギャップがあり、より多くのトレーニングイテレーションが必要です。
本稿では,自己回帰型マスケッド拡散モデルを提案する。これは,自己回帰型モデルのトレーニング効率と,拡散型モデルの並列生成能力を統一するものである。
論文 参考訳（メタデータ） (2026-01-23T18:42:30Z) - PlannerRFT: Reinforcing Diffusion Planners through Closed-Loop and Sample-Efficient Fine-Tuning [17.21182051618103]
拡散に基づくプランナーは、自動運転における人間のような軌道生成の有望なアプローチとして現れてきた。
最近の研究は拡散プランナーの堅牢性を高めるために強化微調整を取り入れている。
拡散型プランナのための試料効率強化微調整フレームワークPlannerRFTを提案する。
論文 参考訳（メタデータ） (2026-01-19T09:56:05Z) - MMaDA-Parallel: Multimodal Large Diffusion Language Models for Thinking-Aware Editing and Generation [86.82285754460491]
テキストと画像の出力モダリティの両方を評価するための新しいベンチマークを提案する。
この性能劣化は、生成した推論と最終画像との整合性に強く相関する。
本稿では,テキストと画像間の双方向の連続的相互作用を可能にする並列多モード拡散フレームワークMMaDA-Parallelを提案する。
論文 参考訳（メタデータ） (2025-11-12T18:58:21Z) - Taming Masked Diffusion Language Models via Consistency Trajectory Reinforcement Learning with Fewer Decoding Step [28.12392773921128]
マスケッド拡散言語モデルは、並列復号化、フレキシブルな生成順序、推論ステップの少ないポテンシャルなどの特性を提供する。
直感的なアプローチは、自己回帰(AR)言語モデルのために確立された技術を直接MDLMに転送することである。
本稿では,EOS Early Rejection (EOSER) と Ascending Step-Size (ASS) デコードスケジューラを提案する。
論文 参考訳（メタデータ） (2025-09-28T15:01:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。