論文の概要: Zarya: A Hybrid Autoregressive--Masked Diffusion Language Model with Flexible Training and Dual-Mode Inference

• arxiv url: http://arxiv.org/abs/2609.19868v1
• Date: Thu, 17 Sep 2026 08:21:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:54.162839
• Title: Zarya: A Hybrid Autoregressive--Masked Diffusion Language Model with Flexible Training and Dual-Mode Inference
• Title（参考訳）: Zarya: フレキシブルトレーニングとデュアルモード推論を備えたハイブリッド自動回帰型拡散言語モデル
• Abstract要約: Zaryaは、自己回帰(AR)目標とマスク拡散目標を共同で最適化するハイブリッド言語モデルのファミリーである。 我々はZaryaモデルを0.6B、1.7B、4Bで公開し、標準ベンチマークのパフォーマンスを示す。
• 参考スコア（独自算出の注目度）: 0.2139259260303741
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Autoregressive language models (ARMs) are constrained by sequential, left-to-right generation, while masked diffusion models (MDMs) enable parallel decoding but suffer from high computational overhead due to the inability to reuse Key-Value (KV) cache and from incoherent generation arising from learning dependencies over an intractable space of token combinations. We introduce Zarya, a family of hybrid language models that jointly optimizes an autoregressive (AR) objective and a masked-diffusion objective within a single architecture. Zarya structures training data into variable-size slots and employs a curriculum that gradually increases slot granularity, enabling a smooth transition from fine-grained AR learning to coarse-grained diffusion learning. At inference, Zarya provides two distinct decoding paradigms through a unified interface: (i) MDM sampling with first-hitting denoising, and (ii) slotted speculative decoding that interleaves inter-slot diffusion-based selection with intra-slot autoregressive infilling, achieving full KV cache reuse. The training and inference regimes are fully decoupled, allowing a model trained with any configuration to be deployed in either mode. Extensive configurability --- including grouped noise patterns (Prefix Completion, Fill-In-the-Prefix, Fill-In-the-Middle), ordered sampling schedules, and noise-level permutation strategies --- enables flexible research exploration. We release Zarya models publicly in sizes 0.6B, 1.7B, and 4B, demonstrating performance on standard benchmarks while offering a principled integration of autoregressive and diffusion paradigms.
• Abstract（参考訳）: 自動回帰言語モデル(ARM)は逐次、左から右への生成によって制約される一方、マスク付き拡散モデル(MDM)は並列デコードを可能にするが、キーバリュー(KV)キャッシュの再利用が不可能なことや、トークンの組み合わせの難解な空間における学習依存性から生じる一貫性のない生成によって、高い計算オーバーヘッドに悩まされる。 本稿では,自己回帰(AR)目標とマスク拡散目標をひとつのアーキテクチャ内で共同で最適化するハイブリッド言語モデルのファミリであるZaryaを紹介する。 Zaryaは、データを可変サイズのスロットに構造化し、徐々にスロットの粒度を増し、きめ細かいAR学習から粗い拡散学習へのスムーズな移行を可能にするカリキュラムを使用している。 推論において、Zaryaは2つの異なるデコードパラダイムを統一インターフェースを通して提供する。 一 ファーストハイチングによるMDMサンプリング、及び (II)スロット内自己回帰埋め込みによりスロット間拡散に基づく選択をインターリーブするスロット付き投機的復号化を行い,完全なKVキャッシュ再利用を実現する。 トレーニングと推論の仕組みは完全に分離されており、任意の設定でトレーニングされたモデルがどちらのモードでもデプロイできる。 グループ化されたノイズパターン(Prefix Completion、Fill-In-Prefix、Fill-In-Middle)、順序付きサンプリングスケジュール、ノイズレベルの置換戦略などを含む広範な構成性は、柔軟な調査を可能にする。 我々はZaryaモデルを0.6B、1.7B、4Bで公開し、標準ベンチマークのパフォーマンスを示しながら、自己回帰と拡散のパラダイムを原則的に統合した。

関連論文リスト

• AURORA-LM: Autoencoding Unified Representation for Continuous-Latent Diffusion Language Modeling [60.04959047453115]
  AURORA-LMは、デオード可能なテキスト表現の構築と、その分布のモデル化を分離した連続ラテント言語モデルである。 AURORA-LM は OpenWebText のフリージェネレーションと XSum の要約で評価された連続および拡散に基づく言語モデルの中で最も高い性能を達成している。
  論文  参考訳（メタデータ） (2026-08-03T17:59:50Z)
• FLARE: Diffusion for Hybrid Language Model [72.60770374799634]
  FLAREは、ハイブリッドアテンションな大規模言語モデルのための体系的な変換フレームワークである。 トークン平等なAR/拡散目標、ハードウェア対応カーネル、統一推論を組み合わせることで、ひとつのチェックポイントがARスタイルの検証された復号化と拡散スタイルの並列復号化の両方をサポートすることができる。 この結果から,実際のdLLMは復号化アルゴリズムだけでなく,データ品質や現在のブロック拡散目標のトレーニング非効率によって制限されていることが示唆された。
  論文  参考訳（メタデータ） (2026-06-01T06:58:15Z)
• DARE: Diffusion Large Language Models Alignment and Reinforcement Executor [36.88819250898739]
  textbfDARE (textbfdLLMs textbfAlignment and textbfReinforcement textbfExecutor) は,dLLMの訓練後評価を行うオープンフレームワークである。
  論文  参考訳（メタデータ） (2026-04-05T18:13:19Z)
• Auto-Regressive Masked Diffusion Models [9.239507801466322]
  仮面拡散モデル (MDM) は言語モデリングの有望なアプローチとして登場している。 自動回帰モデル(ARM)と比較してパフォーマンスのギャップがあり、より多くのトレーニングイテレーションが必要です。 本稿では,自己回帰型マスケッド拡散モデルを提案する。これは,自己回帰型モデルのトレーニング効率と,拡散型モデルの並列生成能力を統一するものである。
  論文  参考訳（メタデータ） (2026-01-23T18:42:30Z)
• Bridging the Discrete-Continuous Gap: Unified Multimodal Generation via Coupled Manifold Discrete Absorbing Diffusion [60.186310080523135]
  離散データ(テキスト)に対する自己回帰的アプローチと連続データ(画像)に対する拡散的アプローチへの生成的モデリングの分岐は、真に統一されたマルチモーダルシステムの開発を妨げる。 階層的二重プロセスとしてマルチモーダル生成を再構成する新しい確率的フレームワークである textbfCoM-DAD を提案する。 提案手法は、標準的なマスキングモデルよりも優れた安定性を示し、スケーラブルで統一されたテキスト画像生成のための新しいパラダイムを確立する。
  論文  参考訳（メタデータ） (2026-01-07T16:21:19Z)
• Efficient Autoregressive Inference for Transformer Probabilistic Models [24.106729589790465]
  両パラダイムの利点を保った因果自己回帰バッファを導入する。 統合されたトレーニング戦略により、セットベースと自動回帰モードのシームレスな統合が可能になる。 提案手法は,強いベースラインの予測精度と最大20倍の高速な関節サンプリングを実現する。
  論文  参考訳（メタデータ） (2025-10-10T15:32:58Z)
• Reviving Any-Subset Autoregressive Models with Principled Parallel Sampling and Speculative Decoding [55.2480439325792]
  任意の順序言語モデルでは、正しい関節分布からトークンを並列にサンプリングする方法がオープンな問題である。 我々は,任意のサブセット自動回帰モデル (AS-ARM) という,異なるモデルのクラスが解を持っていることを発見した。 我々は,AS-ARMがベンチマークタスクを埋め込んだ200M未満のパラメータモデル間で最先端の性能を実現し,コード生成における50倍のモデルの性能とほぼ一致していることを示す。
  論文  参考訳（メタデータ） (2025-04-29T06:33:13Z)
• Unifying Autoregressive and Diffusion-Based Sequence Generation [3.1853022872760186]
  拡散に基づくシーケンス生成モデルに対して,自己回帰型言語モデルで行を曖昧にする重要な拡張を提示する。 個別のトークン位置に異なるノイズスケジュールを割り当てるハイパースケジューリングを導入する。 第二に,吸収過程と一様過程の間に介在する2つのハイブリッドトークン単位のノイズ発生過程を提案し,過去の誤りを解消する。
  論文  参考訳（メタデータ） (2025-04-08T20:32:10Z)
• Model Inversion Attacks Through Target-Specific Conditional Diffusion Models [54.69008212790426]
  モデル反転攻撃(MIA)は、ターゲット分類器のトレーニングセットからプライベートイメージを再構築することを目的としており、それによってAIアプリケーションにおけるプライバシー上の懸念が高まる。 従来のGANベースのMIAは、GANの固有の欠陥と潜伏空間における最適化の偏りにより、劣った遺伝子的忠実度に悩まされる傾向にある。 これらの問題を緩和するために拡散モデル反転(Diff-MI)攻撃を提案する。
  論文  参考訳（メタデータ） (2024-07-16T06:38:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。