論文の概要: Data-Efficient Autoregressive-to-Diffusion Language Models via On-Policy Distillation

• arxiv url: http://arxiv.org/abs/2606.06712v1
• Date: Thu, 04 Jun 2026 20:58:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-08 14:33:29.443649
• Title: Data-Efficient Autoregressive-to-Diffusion Language Models via On-Policy Distillation
• Title（参考訳）: オンライン蒸留によるデータ効率の良い自己回帰-拡散言語モデル
• Authors: Xingyu Su, Jacob Helwig, Shubham Parashar, Atharv Chagi, Lakshmi Jotsna, Degui Zhi, James Caverlee, Dileep Kalathil, Shuiwang Ji,
• Abstract要約: 自己回帰モデル(ARLM)の拡散言語モデル(DLM)への変換について検討する。 本稿では,ALLM-to-DLM変換にOPD(On-Policy Diffusion Language Model)を用いる,OPDLM(On-Policy Diffusion Language Model)を提案する。
• 参考スコア（独自算出の注目度）: 50.27099285181793
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the transformation of autoregressive models (ARLMs) into diffusion language models (DLMs). Rather than pretraining from scratch, prior work replaces the causal attention in ARLMs with bidirectional attention and then trains the resulting model using a DLM objective. However, these approaches incur two distribution shifts. First, transitioning from a next-token prediction objective to a DLM objective can discard knowledge acquired by the ARLM during training. Second, standard DLMs suffer from a train-inference mismatch, as the training loss is defined on randomly masked sequences rather than the trajectories encountered at inference produced by confidence-based decoding. To address both challenges, we introduce an On-Policy Diffusion Language Model (OPDLM) in which On-Policy Distillation (OPD) is employed for ARLM-to-DLM transformation. Specifically, OPDLM is trained via self-OPD, where the student, an ARLM with bidirectional attention, generates its own trajectories, and the teacher, the original frozen ARLM, distills its knowledge by providing target logits on these trajectories. By training directly in an on-policy manner, OPDLM eliminates the train-inference mismatch in DLMs, while distillation from the original model enhances knowledge retention from the ARLM. Empirical results demonstrate that OPDLM requires 15x to 7,000x fewer training tokens with strong performance across a wide variety of tasks. OPDLM avoids the prohibitive cost of DLM pretraining and positions DLM transformation as a form of ARLM post-training.
• Abstract（参考訳）: 本研究では,自己回帰モデル(ARLM)の拡散言語モデル(DLM)への変換について検討する。 スクラッチから事前訓練する代わりに、先行作業はARLMの因果的注意を双方向の注意に置き換え、DLMの目的を使って結果のモデルを訓練する。 しかし、これらのアプローチは2つの分布シフトを引き起こす。 第一に、次に注意すべき予測目標からDLM目標への移行は、トレーニング中にARLMが取得した知識を破棄することができる。 第二に、標準のDLMは、信頼に基づく復号化によって生じる推論で発生する軌道ではなく、ランダムにマスキングされたシーケンスでトレーニング損失が定義されるため、列車推論ミスマッチに悩まされる。 両課題に対処するため,ALLM-to-DLM変換にOPD(On-Policy Diffusion Language Model)を用いるOPDLM(On-Policy Diffusion Language Model)を導入する。 特に、PDLMは自己学習を通して訓練され、学生は双方向の注意を持つARLMが独自の軌跡を発生させ、教師は元の凍ったARLMがこれらの軌跡に目標ロジットを提供することで知識を蒸留する。 オンラインで直接訓練することで、PDLMはDLMの列車干渉ミスマッチを排除し、オリジナルのモデルからの蒸留はARLMからの知識保持を高める。 OPDLMは15倍から7000倍のトレーニングトークンを必要とせず、さまざまなタスクに対して高いパフォーマンスで実行可能であることを示す実験結果が得られた。 OPDLMは、DLM事前訓練の禁止コストを回避し、ARLM後訓練の一形態としてDLM変換を配置する。

関連論文リスト

• BadDLM: Backdooring Diffusion Language Models with Diverse Targets [35.316538349611406]
  拡散言語モデル(DLM)は、最近、自己回帰(AR)言語モデルに代わるモデリングパラダイムとして登場した。 我々は,多種多様なターゲットを持つDLMに対するバックドア攻撃を研究するための統合フレームワークであるBadDLMを提案する。 本研究は,拡散型言語生成における新たなセキュリティリスクのクラスを明らかにし,DLMに合わせた防衛を呼びかけることを目的とした。
  論文  参考訳（メタデータ） (2026-05-10T07:50:02Z)
• Don't Retrain, Align: Adapting Autoregressive LMs to Diffusion LMs via Representation Alignment [46.75006425771645]
  拡散言語モデル(DLM)は、最近、標準自己回帰(AR)モデルを補完する機能を実証した。 我々は,AR-to-DLM変換中に,次点予測によって学習した内部表現幾何を明示的に保存できるかを問う。 本稿では,事前訓練されたARモデルから表現を再利用するために,双方向マスク拡散モデルを適用する表現アライメント対象であるREPR-ALIGNを紹介する。
  論文  参考訳（メタデータ） (2026-05-07T19:35:48Z)
• Efficient-DLM: From Autoregressive to Diffusion Language Models, and Beyond in Speed [76.49335677120031]
  拡散言語モデル(dLM)は、並列で非自己回帰的な生成を可能にする有望なパラダイムとして登場した。 我々は,ARモデルのタスク精度を保ちながら,ARモデルからDLMへの変換を高速なDLMに変換することを検討した。
  論文  参考訳（メタデータ） (2025-12-16T04:12:17Z)
• Training LLM-Based Agents with Synthetic Self-Reflected Trajectories and Partial Masking [61.61356842567952]
  LLMに基づくエージェントトレーニングを改善するための新しい手法STePを提案する。 誤差ステップの反射や補正を含む自己反射軌道を合成する。 実験により,提案手法は3つの代表的なタスクにおいてエージェント性能を向上させることが示された。
  論文  参考訳（メタデータ） (2025-05-26T14:11:12Z)
• Harnessing Large Language Models for Training-free Video Anomaly Detection [34.76811491190446]
  ビデオ異常検出(VAD)は、ビデオ内の異常事象を時間的に検出することを目的としている。 トレーニングベースのメソッドはドメイン固有のものになりがちなので、実践的なデプロイメントにはコストがかかる。 Language-based VAD (LAVAD)を提案する。
  論文  参考訳（メタデータ） (2024-04-01T09:34:55Z)
• Alpaca against Vicuna: Using LLMs to Uncover Memorization of LLMs [61.04246774006429]
  本稿では,攻撃者によるLSMエージェントを用いたブラックボックスプロンプト最適化手法を提案する。 ベースラインプレフィックス・サフィックス測定と比較すると,命令ベースのプロンプトは,トレーニングデータと23.7%のオーバラップで出力を生成する。 以上の結果から,命令調整モデルでは,ベースモデルと同等に事前学習データを公開することが可能であり,他のLSMが提案する命令を用いることで,新たな自動攻撃の道を開くことが可能であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-05T19:32:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。