論文の概要: Evo: Autoregressive-Diffusion Large Language Models with Evolving Balance
- arxiv url: http://arxiv.org/abs/2603.06617v1
- Date: Fri, 20 Feb 2026 15:26:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-15 16:38:22.442218
- Title: Evo: Autoregressive-Diffusion Large Language Models with Evolving Balance
- Title（参考訳）: Evo: バランスの進化を伴う自己回帰拡散型大規模言語モデル
- Abstract要約: 自己回帰(AR)と拡散に基づく言語生成を橋渡しする二元性潜在軌道モデルである textbfEvo を導入する。
各トークンはベクトル値の埋め込みと関連付けられ、[0, 1]$の進行変数$t_iで進化し、その意味的な成熟度を示す。
Evo 8Bは15種類のベンチマークで最先端または高度に競合する結果を得る。
- 参考スコア（独自算出の注目度）: 29.902058862315915
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce \textbf{Evo}, a duality latent trajectory model that bridges autoregressive (AR) and diffusion-based language generation within a continuous evolutionary generative framework. Rather than treating AR decoding and diffusion generation as separate paradigms, Evo reconceptualizes text generation as a latent flow: each token is associated with a vector-valued embedding that evolves over a progression variable $t_i \in [0, 1]$, indicating its semantic maturity. Low $t_i$ values correspond to confident AR-like refinement, while high values invoke diffusion-style planning, allowing the model to adaptively balance AR and diffusion based on uncertainty. Theoretically, we show that both AR and diffusion models emerge as discretizations of a shared probability flow, and we derive Evo's training objective from a unified variational ELBO. The model is implemented as a time-conditioned Transformer governed by a shared vector field, trained end-to-end to jointly infer latent codes and their progression times. During decoding, Evo performs efficient, semantics-aware refinement, achieving high-quality outputs without sacrificing speed. Empirically, Evo 8B achieves state-of-the-art or highly competitive results on 15 diverse benchmarks, including reasoning (GSM8K, ARC-C), code generation (HumanEval, MBPP), and general language understanding, while maintaining fast inference speed. Our results demonstrate that Evo delivers a new paradigm for LLM design with strong generation quality, robust symbolic reasoning, and decoding efficiency.
- Abstract（参考訳）: 本稿では,自己回帰(AR)と拡散に基づく言語生成を連続的進化生成フレームワーク内にブリッジする,双対性潜在軌道モデルである「textbf{Evo}」を紹介する。
それぞれのトークンは、進行変数$t_i \in [0, 1]$上で進化するベクトル値の埋め込みと関連付けられ、その意味的な成熟度を示す。
低い$t_i$値は自信あるARライクな改善に対応し、高い値は拡散スタイルの計画を呼び起こし、不確実性に基づいたARと拡散の適応的バランスを可能にする。
理論的には、ARモデルと拡散モデルの両方が共有確率フローの離散化として出現し、Evoのトレーニング目標を統一変動型ELBOから導出する。
このモデルは、共有ベクトルフィールドが支配する時間条件変換器として実装され、遅延コードとその進行時間を共同で推論するように訓練されたエンドツーエンドである。
復号化中、Evoは効率よくセマンティクスを意識した改良を行い、速度を犠牲にすることなく高品質な出力を達成する。
実証的には、Evo 8Bは推論(GSM8K, ARC-C)、コード生成(HumanEval, MBPP)、一般的な言語理解を含む15の様々なベンチマークにおいて、高速な推論速度を維持しながら、最先端または高い競争力を発揮する。
以上の結果から,EvoはLLM設計のパラダイムとして,優れた生成品質,ロバストなシンボル推論,復号効率を実現している。
関連論文リスト
- Forward-Free Diffusion Language Models [12.961496586646708]
拡散言語モデルは反復的記述を通じてテキストを生成する。
本研究では,手作業で設計した前方処理を必要としない前方自由拡散言語モデルFReDAを提案する。
FReDAは近傍に非依存で、モデル複雑度を意識し、フレキシブルリファインメントパラメータ化と互換性がある。
論文 参考訳（メタデータ） (2026-06-06T22:10:46Z) - Towards Faster Language Model Inference Using Mixture-of-Experts Flow Matching [1.4653929698362125]
我々は,Transformer と Mamba アーキテクチャを併用した非自己回帰型 (NAR) 言語モデリング手法 YAN を開発した。
複数の下流タスク全体で、YANは自動回帰(AR)と拡散ベースのNAR言語モデルの両方に匹敵する生成品質を達成し、サンプリングステップはわずか3ステップで済む。
これにより、ARベースラインよりも40倍のスピードアップ、拡散言語モデルよりも最大103倍のスピードアップが得られる。
論文 参考訳（メタデータ） (2026-04-16T13:36:04Z) - Auto-Regressive Masked Diffusion Models [9.239507801466322]
仮面拡散モデル (MDM) は言語モデリングの有望なアプローチとして登場している。
自動回帰モデル(ARM)と比較してパフォーマンスのギャップがあり、より多くのトレーニングイテレーションが必要です。
本稿では,自己回帰型マスケッド拡散モデルを提案する。これは,自己回帰型モデルのトレーニング効率と,拡散型モデルの並列生成能力を統一するものである。
論文 参考訳（メタデータ） (2026-01-23T18:42:30Z) - Bridging the Discrete-Continuous Gap: Unified Multimodal Generation via Coupled Manifold Discrete Absorbing Diffusion [60.186310080523135]
離散データ(テキスト)に対する自己回帰的アプローチと連続データ(画像)に対する拡散的アプローチへの生成的モデリングの分岐は、真に統一されたマルチモーダルシステムの開発を妨げる。
階層的二重プロセスとしてマルチモーダル生成を再構成する新しい確率的フレームワークである textbfCoM-DAD を提案する。
提案手法は、標準的なマスキングモデルよりも優れた安定性を示し、スケーラブルで統一されたテキスト画像生成のための新しいパラダイムを確立する。
論文 参考訳（メタデータ） (2026-01-07T16:21:19Z) - MammothModa2: A Unified AR-Diffusion Framework for Multimodal Understanding and Generation [20.14002849273559]
統一マルチモーダルモデルは、単一のフレームワーク内で理解と生成を統合することを目的としている。
本稿では,自己回帰拡散(AR-Diffusion)フレームワークであるMammothModa2(Mammoth2)を紹介する。
Mammoth2は、公開ベンチマークで強力なテキスト・ツー・イメージと命令ベースの編集性能を提供する。
論文 参考訳（メタデータ） (2025-11-23T03:25:39Z) - SDAR: A Synergistic Diffusion-AutoRegression Paradigm for Scalable Sequence Generation [62.14510717860079]
本稿では, 自己回帰モデルの学習効率を, 拡散の並列推論能力で統一するSynergistic Diffusion-Autoregressionパラダイムを提案する。
SDARは、十分に訓練された自己回帰モデル(AR)を、簡潔でデータ効率のよい適応を通じてブロックワイズ拡散モデルに変換する、軽量なパラダイム変換を実行する。
この知見に基づいて、SDARは最小コストで効率的なAR-拡散変換を実現し、並列生成を可能にしながら、ARレベルのパフォーマンスを維持する。
論文 参考訳（メタデータ） (2025-10-07T17:29:28Z) - Muddit: Liberating Generation Beyond Text-to-Image with a Unified Discrete Diffusion Model [118.52589065972795]
テキストと画像の両モードをまたいで高速かつ並列に生成できる,統一的な離散拡散変換器であるMudditを導入する。
Mudditは、スクラッチからトレーニングされた以前の統一拡散モデルとは異なり、トレーニング済みのテキストからイメージまでのバックボーンから、強力な視覚的事前情報を軽量のテキストデコーダに統合する。
論文 参考訳（メタデータ） (2025-05-29T16:15:48Z) - FUDOKI: Discrete Flow-based Unified Understanding and Generation via Kinetic-Optimal Velocities [76.46448367752944]
MLLM(Multimodal large language model)は、単一のフレームワーク内で視覚的理解と画像生成を統一する言語である。
ほとんどの既存のMLLMはAutore(AR)アーキテクチャに依存しており、将来の開発に固有の制限を課している。
本稿では,離散フローマッチングに基づく統一マルチモーダルモデルであるFUDOKIを紹介する。
論文 参考訳（メタデータ） (2025-05-26T15:46:53Z) - Energy-Based Diffusion Language Models for Text Generation [126.23425882687195]
エネルギーベース拡散言語モデル(Energy-based Diffusion Language Model, EDLM)は、拡散ステップごとに全シーケンスレベルで動作するエネルギーベースモデルである。
我々のフレームワークは、既存の拡散モデルよりも1.3$times$のサンプリングスピードアップを提供する。
論文 参考訳（メタデータ） (2024-10-28T17:25:56Z) - Improve Variational Autoencoder for Text Generationwith Discrete Latent
Bottleneck [52.08901549360262]
変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。
VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。
よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
論文 参考訳（メタデータ） (2020-04-22T14:41:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。