論文の概要: Context-Tower Conversion Preserves Generation While Freezing Retains Knowledge: Low-Budget AR-to-Diffusion Conversion of MoE LLMs

• arxiv url: http://arxiv.org/abs/2610.02657v2
• Date: Mon, 05 Oct 2026 00:36:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 04:43:28.534022
• Title: Context-Tower Conversion Preserves Generation While Freezing Retains Knowledge: Low-Budget AR-to-Diffusion Conversion of MoE LLMs
• Title（参考訳）: 低予算AR-拡散変換によるMoE LLMの生成
• Abstract要約: コーパス, 教師付き予算, トレーニング可能なパラメータセット, 評価ハーネスを固定して, 同一の30Bmixture-of-Experts(MoE)親の2つの変換を比較した。 1Bトレーニングトークンでは、HumanEval pass@10でフリーズトウワーモデルが71.60、インプレースモデルが6.19、インプレースモデルが11.6倍改善された。
• 参考スコア（独自算出の注目度）: 1.8303866360394607
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Converting a pretrained autoregressive (AR) model to a diffusion language model (dLLM) enables parallel generation without pretraining a new model. Published conversion methods differ by roughly three orders of magnitude in training data and have not been compared under a common protocol. We compare two conversions of the same 30B Mixture-of-Experts (MoE) parent, holding the corpus, supervised-token budget, trainable parameter set and evaluation harness fixed, each under its own training recipe. The in-place model updates a subset of the parent's weights using denoising and representation-alignment losses; the frozen-tower model instead conditions through cross-attention on a frozen causal copy of the parent. With 1B training tokens, the frozen-tower model scores 71.60 on HumanEval pass@10 against 6.19 for the in-place model, an 11.6x improvement. At the same budget it also keeps 95% of the parent's GSM8K score and 99% of its MMLU-Pro score. A dense-parent experiment reproduces the HumanEval separation. Within the two-tower design at about 500M tokens, freezing the context tower retains substantially more MMLU-Pro performance than training it, while both give similar observed HumanEval scores. Our theoretical analysis establishes that both conversion classes contain an exact sampler for the AR parent under a hard attention mask and left-to-right commitment of one position per round. Under a shared loss, freezing removes the gradient contribution through the context states. Furthermore, evaluation protocol substantially affects a published 500B-token conversion's scores in both directions across tasks, while its AR parent's scores vary by less than three points, so comparing dLLMs needs a common protocol. These results show that, in the tested low-budget regime, the frozen-tower configuration retains substantially more of the parent's generation performance than in-place conversion.
• Abstract（参考訳）: 事前学習された自己回帰モデル(AR)を拡散言語モデル(dLLM)に変換することにより、新しいモデルを事前学習することなく並列生成が可能となる。 公開変換法は、トレーニングデータにおいておよそ3桁の規模で異なり、共通のプロトコルでは比較されていない。 同じ30BMixture-of-Experts(MoE)親の2つの変換を比較し、コーパス、教師付きトーケン予算、トレーニング可能なパラメータセット、評価ハーネスをそれぞれ独自のトレーニングレシピで保持する。 インプレースモデルは、デノイングと表現調整損失を使用して親の重みのサブセットを更新する。 1Bトレーニングトークンでは、HumanEval pass@10でフリーズトウワーモデルが71.60、インプレースモデルが6.19、インプレースモデルが11.6倍改善された。 同じ予算で、親のGSM8Kスコアの95%、MMLU-Proスコアの99%を保持する。 親密な実験は、HumanEval分離を再現する。 約500万トークンの2tower設計では、コンテクストタワーの凍結は、トレーニングよりもMMLU-Proのパフォーマンスをかなり高く保ち、どちらも同様に観察されたHumanEvalスコアを与えている。 我々の理論的分析により、両変換クラスは、ハードアテンションマスクの下でAR親の正確なサンプリングと、1ラウンドあたりの1位置の左から右へのコミットメントを含むことが判明した。 共有損失の下では、凍結は文脈状態を通して勾配の寄与を除去する。 さらに、評価プロトコルはタスク間の両方向の500Bトークン変換のスコアに大きく影響するが、AR親のスコアは3ポイント以下であるため、dLLMの比較には共通プロトコルが必要である。 これらの結果から, 試験された低予算体制下では, 凍結トウワー構成は, 室内変換よりも, 親の世代性能を著しく向上させることがわかった。

関連論文リスト

• Architecture-Dependent Causal Transfer of Activation States Across Large Language Models [51.56484100374058]
  内部言語アクティベーション状態は、異なる大きな言語モデル間で因果的に転送することができる。 生成中に投影された活性化をターゲットモデルに注入すると、統計的に有意で事前登録された因果効果が生じる。 現在実装されているLCM間のエンド・ツー・エンドのアクティベーション・ステート・トランスファーは、ユニバーサルではなくアーキテクチャに依存していると結論付けている。
  論文  参考訳（メタデータ） (2026-08-17T09:53:27Z)
• UNIFUSION: Adapting Autoregressive Language Models into Discrete Diffusion under a Unified Reverse-Rate Objective [17.48959208263029]
  本稿では,事前学習したGPT2チェックポイントを均一な雑音拡散に適応させるための,簡易な事前学習手法を提案する。 我々の研究は、サンプリング予算の増加に伴い、生成的複雑度(GenPPL)とユニグラムエントロピーのトレードオフを着実に改善する。 両スケールで比較した拡散モデルの中で,WinoGrande,SIQA,BBHの精度が最も高い。
  論文  参考訳（メタデータ） (2026-07-27T14:40:26Z)
• MixSD: Mixed Contextual Self-Distillation for Knowledge Injection [29.7616760417696]
  Supervised Fine-tuning (SFT) は言語モデルに新しい知識を注入するために広く使われている。 このことは、人間や外部システムからの微調整対象が、モデルの自動回帰分布から逸脱するためである、と我々は主張する。 分布整合型知識注入のための簡易な外部教師なし手法であるMixSDを提案する。
  論文  参考訳（メタデータ） (2026-05-16T07:57:09Z)
• EDIT: Early Diffusion Inference Termination for dLLMs Based on Dynamics of Training Gradients [6.736735746633275]
  拡散に基づく大規模言語モデル (dLLMs) は反復的妄想を通じてトークン生成を洗練させるが、全てのステップが完了する前に答えは安定することが多い。 本稿では,トレーニング時推論に対する十分な推論安定性が検出された場合に,適応的にデノイングを停止する推論時基準であるEDITを提案する。
  論文  参考訳（メタデータ） (2025-11-29T23:47:47Z)
• Diffusion Language Models are Super Data Learners [61.721441061210896]
  ユニークなデータが限られている場合、拡散言語モデル(DLM)は、よりエポックなトレーニングによって、常に自己回帰モデル(AR)を上回ります。 本研究の目的は,(1) 任意の次数モデリング,(2) 反復的双方向 denoising からの超高次計算,(3) モンテカルロ増分という3つの複合的要因に起因する。
  論文  参考訳（メタデータ） (2025-11-05T08:17:42Z)
• The Trickle-down Impact of Reward (In-)consistency on RLHF [71.37987812944971]
  報酬の不整合性は、人間のフィードバックプロセスから下流の強化学習に悪影響を及ぼすことを示す。 RMの一貫性のベンチマーク戦略であるContrast Instructionsを提案する。 より一貫したRMでトレーニングしたRLHFモデルにより,より有用な応答が得られることを示す。
  論文  参考訳（メタデータ） (2023-09-28T04:05:13Z)
• Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be Consistent [97.64313409741614]
  本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。 CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
  論文  参考訳（メタデータ） (2023-02-17T18:45:04Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Analyzing and Mitigating Interference in Neural Architecture Search [96.60805562853153]
  本研究では、異なる子モデルをサンプリングし、共有演算子の勾配類似度を計算することで干渉問題を解明する。 これら2つの観測から着想を得て、干渉を緩和するための2つのアプローチを提案する。 検索したアーキテクチャは、RoBERTa$_rmbase$が1.1、0.6、ELECTRA$_rmbase$が1.6、テストセットであるGLUEベンチマークで1.1より優れています。
  論文  参考訳（メタデータ） (2021-08-29T11:07:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。