論文の概要: BYOD: Build Your Own DLM - Efficient Autoregressive-to-Diffusion Language Model Conversion

• arxiv url: http://arxiv.org/abs/2610.41574v1
• Date: Fri, 30 Oct 2026 11:04:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.688989
• Title: BYOD: Build Your Own DLM - Efficient Autoregressive-to-Diffusion Language Model Conversion
• Title（参考訳）: BYOD: 自分のDLMを構築する - 効率的な自己回帰型から拡散型言語モデル変換
• Abstract要約: パラメータ効率のよいAR-to-DLM変換法であるBuild Your Own DLM(BYOD)を提案する。 アーキテクチャ固有のチューニングがなければ、BYODはGemma 2 9B、Llama 3.1 8B、Qwen2.5 7B、Ministral 8Bの拡散生成を誘導する。 25,000項目の変換には102.4Mトークンが必要で、1つのGoogle Colab GPUで3.1-4.0時間処理される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Unlike autoregressive (AR) models, diffusion language models (DLMs) permit parallel token updates, flexible generation, and bidirectional attention, but leading systems rely on costly pretraining or full-model fine-tuning. We present Build Your Own DLM (BYOD), a generalizable LoRA-only recipe for parameter-efficient AR-to-DLM conversion. Without architecture-specific tuning, BYOD induces diffusion generation in Gemma 2 9B, Llama 3.1 8B, Qwen2.5 7B, and Ministral 8B; to our knowledge, this is the first reported AR-to-DLM conversion of a Mistral model. The adapters comprise 4.1-5.8% of final parameters while every base-model parameter remains frozen; each 25,000-iteration conversion needs at most 102.4M tokens, processed in 3.1-4.0 hours on one Google Colab GPU. All four models generate from fully masked sequences, use bidirectional context in a controlled attention test, and retain substantial parent-model knowledge. BYOD-Gemma is the strongest BYOD conversion on our nine-task evaluation, reaching 50.6% average accuracy compared with 51.9% for LLaDA 8B Instruct in the same harness. Open-generation quality at low network function evaluation (NFE) budgets remains the principal limitation: BYOD perplexity is 8.3-11.1 versus 4.1 for LLaDA and 2.2-3.0 for the AR parents when generating 128 tokens in 64 steps. To enable further experimentation and inspection, we provide a standalone training and evaluation implementation and interactive demos for all four conversions. BYOD thus provides a practical route for extending diffusion generation to other existing model families while identifying the gap that efficient conversion must next close.
• Abstract（参考訳）: 自己回帰(AR)モデルとは異なり、拡散言語モデル(DLM)は並列トークンのアップデート、フレキシブルな生成、双方向の注意を許容するが、主要なシステムは高価な事前訓練やフルモデルの微調整に依存している。 パラメータ効率のよいAR-to-DLM変換のための一般化可能なLoRA専用レシピであるBuild Your Own DLM(BYOD)を提案する。 アーキテクチャ固有のチューニングがなければ,BYODはGemma 2 9B,Llama 3.1 8B,Qwen2.5 7B,Ministral 8Bの拡散生成を誘導する。 アダプタは最終パラメータの4.1-5.8%を構成し、基本モデルのパラメータは凍結されている。 4つのモデルは全て、完全にマスキングされたシーケンスから生成され、制御された注意テストで双方向コンテキストを使用し、親モデル知識をかなり保持する。 BYOD-Gemmaは我々の9タスク評価において最も強力なBYOD変換であり、LLaDA 8Bインストラクションの51.9%と比較して平均精度は50.6%に達した。 BYOD Perplexityは8.3-11.1、LLaDAは4.1、AR親は2.2-3.0であり、64ステップで128個のトークンを生成する。 さらなる実験と検査を可能にするため、我々は4つの変換すべてに対してスタンドアロンのトレーニングと評価の実装とインタラクティブなデモを提供する。 これにより、BYODは、効率的な変換が次に閉じなければならないギャップを特定しながら、他の既存のモデルファミリへの拡散生成を拡張するための実用的な経路を提供する。

関連論文リスト

• Nemotron 3.5 Super and Lightning: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Models for Agentic AI [305.64163943247576]
  我々はNemotron 3.5 Super and Nemotron 3.5 Lightning, Open and efficient Mixture-of-Experts Hybrid Mamba-Transformer Modelを紹介する。 どちらのモデルも、大規模な蒸留、長期のコンテキストトレーニング、ネイティブ投機的復号化を組み合わせたものである。
  論文  参考訳（メタデータ） (2026-10-28T00:28:08Z)
• On-Policy Residual Learning for Diffusion Language Models [44.61221631155474]
  拡散言語モデルにおけるオンライン残差学習のためのフレームワークORLを紹介する。 我々は,非同期残差キャプチャとトランスポート,特殊ブロック拡散アテンション,計算平衡トレーニングを併用してアルゴリズムを設計する。 Qwen3-4Bから変換された4B DLMでは、ORLは転送当たりトークン(TPF)を最大6.2倍改善します。
  論文  参考訳（メタデータ） (2026-10-14T17:13:17Z)
• DiffusionGemma Technical Report [72.10570774996219]
  DiffusionGemma(ディフュージョン・ジェマ)は、離散拡散を用いてテキストを生成する言語モデルである。 DiffusionGemmaは、一度に1つのトークンをデコードする代わりに、256個のトークンのブロックを並列に繰り返し洗練する。 私たちの計算効率の良い2段階トレーニングパイプラインは、開始したARモデルの総トレーニングトークン予算の10%未満を使用します。
  論文  参考訳（メタデータ） (2026-07-31T16:11:46Z)
• TimeROME-DLM: Temporal Causal Tracing and Low-Rank Inference-Time Knowledge Editing for Masked Diffusion Language Models [7.556462661029354]
  TimeROME-DLMはMDLMのためのトレーニングなし、勾配なし、推論時知識編集フレームワークである。 TimeROME-DLMは、計算コストのごく一部で、AR LLMとMDLMの配置と編集のギャップを埋める。
  論文  参考訳（メタデータ） (2026-06-11T03:09:57Z)
• Llamion Technical Report [17.983567146196254]
  我々はOrion-14Bを標準化されたLlamaファミリーアーキテクチャに変換する。 ラミオンは、H6、MT-Bench、KoMMLU上のオリオンの挙動を回復し、A100のトークンはわずか123Mで4日で回復する。
  論文  参考訳（メタデータ） (2026-05-25T10:27:07Z)
• Introspective Diffusion Language Models [58.91876345013321]
  イントロスペクティブ拡散言語モデル(Introspective Diffusion Language Model, I-DLM)は、ARトレーニングのイントロスペクティブ一貫性を継承しながら並列デコードを維持するパラダイムである。 I-DLMは、新しいintrospective strided decoding (ISD)アルゴリズムを使用しており、モデルは同じ前方パスで新しいトークンを前進させながら、以前に生成されたトークンを検証することができる。 I-DLMは、同規模のARの質に匹敵する最初のDLMであり、モデル品質と15ベンチマークでの実用効率の両方において、以前のDLMよりも優れていた。
  論文  参考訳（メタデータ） (2026-04-13T06:01:01Z)
• LLaDA2.0: Scaling Up Diffusion Language Models to 100B [96.84156938318931]
  LLaDA2.0 - 離散拡散大言語モデル(dLLM)を100億の総パラメータにスケールアップする。 LLaDA2.0は知識継承、進歩的適応、効率性に配慮した設計原則を支持している。 LLaDA2.0-mini (16B) と LLaDA2.0-flash (100B) の2つの命令調整型Mixture-of-Experts (MoE) が実用的展開に最適化されている。
  論文  参考訳（メタデータ） (2025-12-10T09:26:18Z)
• Language Models are Super Mario: Absorbing Abilities from Homologous Models as a Free Lunch [72.97553348776425]
  スーパーバイザード・ファインチューニング (SFT) LMの能力に影響を与えることなく、ほとんどのデルタパラメータを設定するためにDAREを導入する。 次に、DAREを汎用プラグインとして使用し、複数のSFTモデルのデルタパラメータを分散し、それらを単一のモデルにマージする。 また、DAREを使用して、Open Leaderboardで70億のパラメータを持つモデルの中で、第1位にランクインした統合LMを作成します。
  論文  参考訳（メタデータ） (2023-11-06T13:43:07Z)
• Alexa Teacher Model: Pretraining and Distilling Multi-Billion-Parameter Encoders for Natural Language Understanding Systems [63.713297451300086]
  本研究では,700Mから9.3Bまでの非埋め込みパラメータ数を持つ事前学習エンコーダの大規模実験結果について述べる。 その後、17M-170Mパラメータからより小さなモデルに蒸留し、仮想アシスタントシステムの自然言語理解(NLU)コンポーネントに応用した。
  論文  参考訳（メタデータ） (2022-06-15T20:44:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。