論文の概要: Optimizing Denoising Trajectories in dLLMs: A Lightweight Evolutionary Heuristic Approach

• arxiv url: http://arxiv.org/abs/2609.26052v1
• Date: Wed, 15 Jul 2026 07:52:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.847613
• Title: Optimizing Denoising Trajectories in dLLMs: A Lightweight Evolutionary Heuristic Approach
• Title（参考訳）: dLLMにおけるデノイング軌道の最適化:軽量進化的ヒューリスティックアプローチ
• Abstract要約: Diffusion Large Language Models (dLLMs) は、最近、従来のAuto-Regressive (AR) Large Language Models (EOS) に代わる有望な代替品として登場した。 共分散行列適応進化戦略(CMA-ES)を用いて最適化された軽量進化スケジューラを提案する。 スケジューラは,393個のトレーニング可能なパラメータのみを必要としながら,コンテキスト平均場埋め込みと動的に統合する。
• 参考スコア（独自算出の注目度）: 22.20872446620515
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion Large Language Models (dLLMs) have recently emerged as a promising alternative to conventional Auto-Regressive (AR) Large Language Models (LLMs). By leveraging bidirectional attention and parallel decoding, dLLMs enable more efficient generation. However, they require a carefully designed denoising scheduler at inference time (absent during training) whose choice significantly impacts generation quality. While confidence-based heuristic schedulers have shown strong empirical performance, they suffer from two critical failure modes: EOS Overflow and Proximal Bias. Through in-depth analysis of the Transformer's attention patterns, we reveal that these failures stem from certain positions assigning disproportionately high attention weights to invalid tokens (e.g., [MASK] and [EOS]), which produce misleading confidence signals. Building on this insight, empirical evidence shows that valid attention scores can provide complementary guidance to conventional confidence-based heuristics, yet no single metric consistently excels across all scenarios, implying that the optimal denoising trajectory is highly context-dependent. To address this problem, we propose a lightweight evolutionary heuristic scheduler optimized using the Covariance Matrix Adaptation Evolution Strategy (CMA-ES). Our scheduler dynamically integrates multiple heuristic features with a contextual mean-field embedding, while requiring only 393 trainable parameters. Evaluated on LLaDA and Dream across four reasoning and planning benchmarks, our method consistently outperforms strong baselines, including conventional heuristics, block auto-regressive methods, and recent State-Of-The-Art (SOTA) approaches. To the best of our knowledge, it represents the most parameter-efficient neural scheduler to date. Our code is available at https://github.com/RS2002/Evo-Denoise .
• Abstract（参考訳）: Diffusion Large Language Models (dLLMs) は、最近、従来のAuto-Regressive (AR) Large Language Models (LLMs) に代わる有望な代替品として登場した。 双方向の注意と並列デコーディングを活用することで、dLLMはより効率的な生成を可能にする。 しかし、それらは、生成品質に大きな影響を及ぼす推論時間(トレーニング中に存在する)において、慎重に設計されたデノナイジングスケジューラを必要とする。 信頼性ベースのヒューリスティックスケジューラは、強い経験的なパフォーマンスを示しているが、EOS OverflowとPrximal Biasの2つの重要な障害モードに悩まされている。 トランスフォーマーの注意パターンの詳細な分析を通して、これらの故障は不正トークン(例えば、[MASK]、[EOS])に不均等に高い注意重みを割り当てる位置から発生し、誤った信頼信号を生成する。 この知見に基づいて、実証的な証拠は、有効な注意スコアが従来の信頼に基づくヒューリスティックスに相補的なガイダンスを与えることができることを示しているが、全てのシナリオに一貫して一貫したメートル法は存在せず、最適偏差軌跡は文脈に依存していることを示唆している。 この問題に対処するために,共分散行列適応進化戦略(CMA-ES)を用いて最適化された軽量な進化的ヒューリスティックスケジューラを提案する。 スケジューラは,393個のトレーニング可能なパラメータしか必要とせず,複数のヒューリスティック特徴と文脈平均場埋め込みを動的に統合する。 LLaDAとDreamを4つの推論および計画ベンチマークで評価し、従来のヒューリスティックス、ブロック自動回帰法、最近のステートオフ・ザ・アート(SOTA)アプローチなど、強いベースラインを一貫して上回ります。 我々の知る限りでは、これまでで最もパラメータ効率の良いニューラルスケジューラを表している。 私たちのコードはhttps://github.com/RS2002/Evo-Denoise で利用可能です。

関連論文リスト

• Beyond Fully Random Masking: Attention-Guided Denoising and Optimization for Diffusion Language Models [129.8880969196575]
  拡散大言語モデル(dLLM)における注意の実証分析について述べる。 我々は,未成熟の文脈に強く参加するトークンがより世代安定性を示し,推論において重要な役割を担っていることを示す。 これらの知見に触発され,注意誘導型分極最適化フレームワーク AGDO を提案する。
  論文  参考訳（メタデータ） (2026-06-10T16:14:23Z)
• FLARE: Diffusion for Hybrid Language Model [72.60770374799634]
  FLAREは、ハイブリッドアテンションな大規模言語モデルのための体系的な変換フレームワークである。 トークン平等なAR/拡散目標、ハードウェア対応カーネル、統一推論を組み合わせることで、ひとつのチェックポイントがARスタイルの検証された復号化と拡散スタイルの並列復号化の両方をサポートすることができる。 この結果から,実際のdLLMは復号化アルゴリズムだけでなく,データ品質や現在のブロック拡散目標のトレーニング非効率によって制限されていることが示唆された。
  論文  参考訳（メタデータ） (2026-06-01T06:58:15Z)
• Ada2MS: A Hybrid Optimization Algorithm Based on Exponential Mixing of Elementwise and Global Second-Moment Estimates [13.40796672049436]
  本稿では,AdamW-like挙動と運動量-SGD-like挙動のスムーズな遷移を実現する最適化アルゴリズムであるAda2MSを提案する。 本研究で評価された視覚的タスクについて,Ada2MSは統合比較プロトコルの下で競合する結果を得る。
  論文  参考訳（メタデータ） (2026-05-19T22:11:04Z)
• OmniVL-Guard: Towards Unified Vision-Language Forgery Detection and Grounding via Balanced RL [63.388513841293616]
  既存の偽造検出手法は、現実世界の誤報に多いインターリーブされたテキスト、画像、ビデオを扱うのに失敗する。 このギャップを埋めるため,本論文では,オムニバス・ビジョン言語による偽造検出と接地のための統一フレームワークの開発を目標としている。 我々は、OmniVL-Guardという、オムニバス視覚言語による偽造検出と接地のためのバランスの取れた強化学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-11T09:41:36Z)
• Dynamic Rank Reinforcement Learning for Adaptive Low-Rank Multi-Head Self Attention in Large Language Models [0.0]
  大規模言語モデル(LLM)におけるマルチヘッド自己認識(MHSA)の低ランク分解を適応的に最適化する新しいフレームワークである動的ランク強化学習(DR-RL)を提案する。 DR-RLは、浮動小数点演算(FLOP)を著しく低減しつつ、フルランクアテンションと統計的に等価な下流精度を維持している この研究は、MHSAの適応効率と理論的厳密さのギャップを埋め、リソース制約の深層学習におけるランク低減技術に代えて、原理的に数学的に基礎付けられた代替手段を提供する。
  論文  参考訳（メタデータ） (2025-12-17T21:09:19Z)
• Modeling Uncertainty Trends for Timely Retrieval in Dynamic RAG [35.96258615258145]
  本稿では,トークンレベルの不確実性のダイナミクスをモデル化し,最適検索タイミングを決定するトレーニングフリーな手法であるEntropy-Trend Constraint(ETC)を紹介する。 ETCは、検索周波数を減少させながら、強いベースラインを一貫して上回る。 プラグアンドプレイで、モデルに依存しず、既存のデコードパイプラインに簡単に統合できる。
  論文  参考訳（メタデータ） (2025-11-13T05:28:02Z)
• Attention, Please! Revisiting Attentive Probing Through the Lens of Efficiency [20.320991233039965]
  微調整が大規模で非現実的になると、好ましい評価プロトコルとして探索が出現する。 これは注意力を使ってパッチレベルの機能を選択的に集約する代替手段である注意力調査の必要性を動機付けている。 本稿では,既存の手法を総合的に検討し,その設計選択を解析し,性能をベンチマークする。
  論文  参考訳（メタデータ） (2025-06-11T21:10:26Z)
• Advancing the Robustness of Large Language Models through Self-Denoised Smoothing [50.54276872204319]
  大規模言語モデル(LLM)は大きな成功を収めたが、敵の摂動に対する脆弱性は大きな懸念を引き起こしている。 本稿では,LLMのマルチタスク特性を活用して,まずノイズの入力を識別し,次にこれらの復号化バージョンに基づいて予測を行う。 LLMのロバスト性を高めるために個別のモデルを訓練する必要がある従来のコンピュータビジョンのスムース化技術とは異なり、本手法は効率と柔軟性を著しく向上させる。
  論文  参考訳（メタデータ） (2024-04-18T15:47:00Z)
• Conditional Denoising Diffusion for Sequential Recommendation [62.127862728308045]
  GAN(Generative Adversarial Networks)とVAE(VAE)の2つの顕著な生成モデル GANは不安定な最適化に苦しむ一方、VAEは後続の崩壊と過度に平らな世代である。 本稿では,シーケンスエンコーダ,クロスアテンティブデノナイジングデコーダ,ステップワイズディフューザを含む条件付きデノナイジング拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-04-22T15:32:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。