論文の概要: ELF-REG: Scaling Continuous Diffusion Language Models to Reasoning Tasks
- arxiv url: http://arxiv.org/abs/2609.29102v1
- Date: Thu, 24 Sep 2026 06:33:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 21:10:09.753025
- Title: ELF-REG: Scaling Continuous Diffusion Language Models to Reasoning Tasks
- Title（参考訳）: ELF-REG: タスクの推論に継続的拡散言語モデルを拡張
- Abstract要約: 我々は,GSM8K,MATH-500,HumanEval,MBPPの数学的推論とコード生成に組込み言語フローを拡張した。
ELF-REG-Lは、64ネットワーク関数評価(NFE)でGSM8Kで55.96%、MATH-500で13.39%、HumanEvalで22.56%を達成している。
GSM8Kとコードで評価されたpass@1のスケールdLMよりも優れており、ERF-Lベースラインで10.55%のMATH-500pass@1を、ELF-REG-Lで13.39%に改善している。
- 参考スコア（独自算出の注目度）: 7.571659074013451
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Fully continuous diffusion language models (dLMs) denoise continuous representations without intermediate discretization, then decode all response tokens in parallel at the final step. Their performance on challenging reasoning tasks remains less established than that of autoregressive (AR) LLMs and masked dLMs. We scale Embedded Language Flows (ELF) to mathematical reasoning and code generation on GSM8K, MATH-500, HumanEval, and MBPP. We introduce ELF-REG, which improves learning with representation alignment and entanglement (REPA+REG), where a frozen AR teacher supervises intermediate denoiser features and supplies a global representation that is jointly denoised with the response. ELF-REG-L achieves 55.96% pass@1 on GSM8K at 64 network function evaluations (NFE), and 13.39% on MATH-500 and 22.56% on HumanEval at 128 NFE. It outperforms the evaluated comparable-scale dLMs in pass@1 on GSM8K and code, and improves MATH-500 pass@1 from 10.55% for the ELF-L baseline to 13.39% with ELF-REG-L. Without few-step training, the same task-specific checkpoints support strong low-NFE performance through early-stop, which decodes an intermediate clean prediction without completing the denoising trajectory. At 16 NFE, ELF-REG-L reaches 41.21% HumanEval pass@10, outperforming recent continuous dLMs of comparable scale.
- Abstract（参考訳）: 完全な連続拡散言語モデル(dLM)は、中間離散化なしで連続表現を識別し、最後のステップで全ての応答トークンを並列に復号する。
課題推論タスクにおけるそれらの性能は、自己回帰(AR)LLMやマスキングdLMよりも確立されていない。
我々は,GSM8K,MATH-500,HumanEval,MBPPの数学的推論とコード生成に組込み言語フロー(ELF)を拡張した。
本稿では,表現アライメントと絡み合い(REPA+REG)による学習を改善するELF-REGを紹介する。
ELF-REG-Lは、64ネットワーク関数評価(NFE)でGSM8Kで55.96%、MATH-500で13.39%、HumanEvalで22.56%を達成している。
GSM8Kとコードで評価されたpass@1のスケールdLMよりも優れており、ERF-Lベースラインで10.55%のMATH-500pass@1を、ELF-REG-Lで13.39%に改善している。
数ステップのトレーニングなしに、同じタスク固有のチェックポイントは、早期停止を通じて強力な低NFEパフォーマンスをサポートし、デノイング軌道を完了せずに中間的クリーン予測をデコードする。
16 NFEでは、ELF-REG-Lが41.21%のHumanEval pass@10に達する。
関連論文リスト
- Seeing the End at Step Zero: Accelerating Diffusion MLLMs via MLP Sparsity-Aware Truncation [6.796779304354568]
Seerはトレーニング不要のフレームワークで、アクティベーション空間のシフトを通じて、第1ステップで有効なセマンティック境界を検出する。
実験の結果,Seerは水田廃棄物を効果的に除去し,スループットを最大$sim$31$times$に向上することがわかった。
論文 参考訳（メタデータ） (2026-07-16T04:37:02Z) - Improved Large Language Diffusion Models [115.83169414681767]
8Bマスク付き拡散言語モデルである EmphiLLaDA について検討した。
iLLaDAは、事前トレーニングと教師付き微調整(SFT)、12Tトークンへの事前トレーニング、および12エポックのための25Bトークン命令コーパスの微調整を通じて、マスク付き拡散目標を維持している。
論文 参考訳（メタデータ） (2026-06-24T02:51:36Z) - Continual LLM Upcycling: A Predictor-Gated Bank-Wise Sparsity Training Recipe for Dense-to-Sparse LLMs [6.139520479768688]
重度チェックポイントからチャネルスパースな大言語モデルを構築する方法として、密度から疎度への連続的なトレーニングについて検討する。
我々は,64チャネルバンク毎に16チャネルを保持するために,バンクワイドのトップkルールを適用し,FFN中間活性化において4倍の間隔を生じる。
アーキテクチャ、トレーニングレシピ、ベンチマークパフォーマンス、トレーニングレッスンを報告します。
論文 参考訳（メタデータ） (2026-06-09T11:32:58Z) - End-to-End Training for Discrete Token LLM based TTS System [12.016326342176319]
本稿では,音声トークン化装置,大規模言語モデル,フローマッチングモデルのトレーニングを統一する完全エンドツーエンド(E2E)最適化フレームワークを提案する。
実験結果から,我々のフレームワークは,連続的にカスケードベースラインを上回っていることがわかった。
論文 参考訳（メタデータ） (2026-06-08T09:07:23Z) - ELF: Embedded Language Flows [76.80499600969769]
連続言語モデルは離散領域への最小適応で有効にすることができることを示す。
連続埋め込み空間における拡散モデルのクラスである埋め込み言語フロー(ELF)を提案する。
ELFは離散的かつ連続的なDLMよりも大幅に優れ、サンプリングステップを少なくして生成品質が向上する。
論文 参考訳（メタデータ） (2026-05-11T17:59:29Z) - Balancing Understanding and Generation in Discrete Diffusion Models [58.62235340638143]
Masked Diffusion Language Models (MDLM) は意味理解とゼロショットの一般化に優れる。
UDLM(Uniform-Noise Diffusion Language Models)は、強力な数ステップ生成品質を実現する。
定常雑音カーネルを介して2つのパラダイムをブリッジするXDLMを提案する。
論文 参考訳（メタデータ） (2026-02-01T18:00:35Z) - Learning Hierarchical Procedural Memory for LLM Agents through Bayesian Selection and Contrastive Refinement [23.31711942240935]
本稿では,外部階層型手続き型メモリにおいて,すべての適応を実行しながら,凍結した大言語モデルを維持することにより,推論を学習から切り離すフレームワークMACLAを提案する。
MACLAは、トラジェクトリーから再利用可能な手順を抽出し、ベイジアン後部を通して信頼性を追跡し、期待される実用性スコアリングを通じてアクションを選択し、成功と失敗を対比して手順を洗練する。
4つのベンチマーク(ALFWorld、WebShop、TravelPlanner、InterCode)でMACLAの平均パフォーマンスは78.1%で、すべてのベースラインを上回っている。
論文 参考訳（メタデータ） (2025-12-22T01:56:28Z) - Principled RL for Diffusion LLMs Emerges from a Sequence-Level Perspective [85.06838178922791]
強化学習(RL)は自己回帰言語モデルに非常に効果的であることが証明されている。
しかし、これらの手法を拡散大言語モデル(dLLM)に適応させることは、根本的な課題を提起する。
本稿では,全シーケンス生成を単一アクションとして扱い,ELBOを抽出可能なシークエンスレベル確率プロキシとして利用する,原則的RLフレームワークを提案する。
論文 参考訳（メタデータ） (2025-12-03T13:05:32Z) - Beyond Single LLMs: Enhanced Code Generation via Multi-Stage Performance-Guided LLM Orchestration [12.674888937998086]
大規模言語モデル(LLM)は、自動コード生成の主要なパラダイムとなっている。
本稿では,マルチステージなパフォーマンス誘導オーケストレーションフレームワークを導入することで,シングルモデルコンベンションに挑戦する。
Perchは、ステージワイドバリデーションとロールバックメカニズムを通じて、各タスクコンテキストでトップパフォーマンスのLLMをオーケストレーションする。
論文 参考訳（メタデータ） (2025-10-01T19:07:16Z) - FlowTS: Time Series Generation via Rectified Flow [67.41208519939626]
FlowTSは、確率空間における直線輸送を伴う整流フローを利用するODEベースのモデルである。
非条件設定では、FlowTSは最先端のパフォーマンスを達成し、コンテキストFIDスコアはStockとETThデータセットで0.019と0.011である。
条件設定では、太陽予測において優れた性能を達成している。
論文 参考訳（メタデータ） (2024-11-12T03:03:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。