論文の概要: EDIT: Early Diffusion Inference Termination for dLLMs Based on Dynamics of Training Gradients

• arxiv url: http://arxiv.org/abs/2512.00670v1
• Date: Sat, 29 Nov 2025 23:47:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-02 19:46:34.35113
• Title: EDIT: Early Diffusion Inference Termination for dLLMs Based on Dynamics of Training Gradients
• Title（参考訳）: EDIT:訓練勾配のダイナミクスに基づくdLLMの早期拡散推定
• Authors: He-Yen Hsieh, Hong Wang, H. T. Kung,
• Abstract要約: 拡散に基づく大規模言語モデル (dLLMs) は反復的妄想を通じてトークン生成を洗練させるが、全てのステップが完了する前に答えは安定することが多い。 本稿では,トレーニング時推論に対する十分な推論安定性が検出された場合に,適応的にデノイングを停止する推論時基準であるEDITを提案する。
• 参考スコア（独自算出の注目度）: 6.736735746633275
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion-based large language models (dLLMs) refine token generations through iterative denoising, but answers often stabilize before all steps complete. We propose EDIT (Early Diffusion Inference Termination), an inference-time criterion that adaptively stops denoising once sufficient reasoning stability relative to training-time reasoning is detected. EDIT monitors the alignment between token activations and a reasoning map derived from AdamW-aggregated LoRA updates captured during supervised fine-tuning (SFT). During training, optimization dynamics generate rich metadata about parameter importance that in prior methods is typically discarded upon model release. We preserve this information as a compact representation of learned reasoning pathways. During inference, alignment scores are converted to a distribution over the tokens already unmasked at the current denoising step, and convergence is detected when KL divergence between consecutive steps falls below a threshold on the matched unmasked (visible) tokens. Across reasoning benchmarks, EDIT reduces diffusion steps by 11.8% to 68.3% while preserving or improving accuracy in most settings, with approximately 0.02% storage overhead (about 1.5-2 MB for all QKV modules across 32 blocks in an 8 GB model). By utilizing training-gradient dynamics, our work opens a new research direction for reducing dLLM inference time and cost.
• Abstract（参考訳）: 拡散に基づく大規模言語モデル (dLLMs) は反復的妄想を通じてトークン生成を洗練させるが、全てのステップが完了する前に答えは安定することが多い。 EDIT(Early Diffusion Inference Termination)は,トレーニング時推論に対する十分な推論安定性が検出された場合に,適応的にdenoisingを停止する推論時基準である。 EDITは、トークンのアクティベーションと、監督された微調整(SFT)中にキャプチャされたAdamW集約LoRA更新に由来する推論マップのアライメントを監視する。 トレーニング中、最適化ダイナミクスはパラメータの重要性に関する豊富なメタデータを生成します。 我々はこの情報を学習した推論経路のコンパクトな表現として保存する。 推論中、アライメントスコアは、現在のデノナイジングステップで既にマッシュされていないトークン上の分布に変換され、マッチした未マッシュ(可視)トークンのしきい値以下に連続ステップ間のKLばらつきが発生したときに収束を検出する。 推論ベンチマーク全体を通じて、EDITは拡散ステップを11.8%から68.3%削減し、ほとんどの設定では精度を保留または改善し、約0.02%のストレージオーバーヘッド(8GBモデルでは32ブロックにわたるQKVモジュールの約1.5-2 MB)を持つ。 学習段階のダイナミクスを活用することで,dLLMの推論時間とコストを削減するための新たな研究の方向性を開拓する。

関連論文リスト

• Cross-Attention with Confidence Weighting for Multi-Channel Audio Alignment [5.380078543698624]
  マルチチャンネルオーディオアライメントは、生体音響モニタリング、空間オーディオシステム、音響ローカライゼーションにおいて重要な要件である。 マルチチャンネル音声同期を改善するために,クロスアテンション機構と信頼度重み付けスコアリングを組み合わせた手法を提案する。 提案手法は,BioDCASE 2025 Task 1 チャレンジにおいて,ディープラーニングベースラインの 0.58 に対して,テストデータセットの平均 0.30 MSE で1位となった。
  論文  参考訳（メタデータ） (2025-09-21T05:14:06Z)
• Time Is a Feature: Exploiting Temporal Dynamics in Diffusion Language Models [57.474294329887236]
  拡散大言語モデル (dLLMs) は反復的 denoising を通じてテキストを生成する。 現在のデコード戦略は、最終的な出力に有利なリッチな中間予測を捨てている。 時間的整合性を利用する2つの相補的手法を導入する。
  論文  参考訳（メタデータ） (2025-08-12T17:59:57Z)
• Beyond Freezing: Sparse Tuning Enhances Plasticity in Continual Learning with Pre-Trained Models [10.904981532789824]
  事前訓練されたモデルによる継続的な学習は、シーケンシャルなタスクにまたがる効率的な適応を大いに約束する。 既存のアプローチはPTMを凍結し、プロンプトやアダプタのような補助モジュールに依存している。 MIST(Mutual Information-Guided Sparse Tuning)は,PTMパラメータのサブセットを選択的に更新するプラグイン・アンド・プレイ方式である。
  論文  参考訳（メタデータ） (2025-05-26T13:09:25Z)
• Robust Representation Consistency Model via Contrastive Denoising [83.47584074390842]
  ランダムな平滑化は、敵の摂動に対する堅牢性を証明する理論的保証を提供する。 拡散モデルは、ノイズ摂動サンプルを浄化するためにランダムな平滑化に成功している。 我々は,画素空間における拡散軌跡に沿った生成的モデリングタスクを,潜在空間における識別的タスクとして再構成する。
  論文  参考訳（メタデータ） (2025-01-22T18:52:06Z)
• Latent Class-Conditional Noise Model [54.56899309997246]
  本稿では,ベイズ的枠組みの下での雑音遷移をパラメータ化するためのLatent Class-Conditional Noise Model (LCCN)を提案する。 次に、Gibs sampler を用いて遅延真のラベルを効率的に推測できる LCCN の動的ラベル回帰法を導出する。 提案手法は,サンプルのミニバッチから事前の任意チューニングを回避するため,ノイズ遷移の安定な更新を保護している。
  論文  参考訳（メタデータ） (2023-02-19T15:24:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。