論文の概要: Elucidating Representation Degradation Problem in Diffusion Model Training

• arxiv url: http://arxiv.org/abs/2605.10790v1
• Date: Mon, 11 May 2026 16:21:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.978501
• Title: Elucidating Representation Degradation Problem in Diffusion Model Training
• Title（参考訳）: 拡散モデル学習における表現劣化問題の解明
• Authors: Zhipeng Yao, Dazhou Li, Zitong Zhang, Durude Mahee, Fan Zhu, Wenbin Zhang, Xinwei He, Yeying Jin, Rui Yu,
• Abstract要約: Elucidated Representation Diffusion (ERD) は、効率的な回復性に応じて最適化作業を動的に再配置するプラグイン・アンド・プレイフレームワークである。 外部の監督なしに表現学習を安定化させることにより、EDRは収束を加速し、拡散バックボーン間の強い経験的性能を達成する。
• 参考スコア（独自算出の注目度）: 16.02291234220539
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models have achieved remarkable success, yet their training remains inefficient due to a severe optimization bottleneck, which we term Representation Degradation. As noise levels increase, the outputs of the trained model exhibit progressive structural distortion, which can destabilize training and impair generation quality. Our analysis suggests that this instability is driven by mismatched target recoverability, which is associated with Neural Tangent Kernel (NTK) spectral weakening and effective low-rank behavior. To address this, we propose Elucidated Representation Diffusion (ERD), a plug-and-play framework that dynamically reallocates optimization effort according to effective recoverability. By stabilizing representation learning without external supervision, ERD accelerates convergence and achieves strong empirical performance across diffusion backbones.
• Abstract（参考訳）: 拡散モデルは非常に成功したが、その訓練は厳密な最適化のボトルネックのために効率が悪く、表現劣化(Representation Degradation)と呼ばれる。 ノイズレベルが増加するにつれて、トレーニングされたモデルの出力は進行的な構造歪みを示し、トレーニングや生成品質を不安定にすることができる。 解析の結果,この不安定性はニューラルタンジェントカーネル(NTK)スペクトルの弱化と効果的な低ランク動作に関連する不一致な目標回復性によって引き起こされていることが示唆された。 そこで我々は,効率的な回復性に応じて最適化作業を動的に再配置するプラグイン・アンド・プレイ・フレームワークであるEucidated Representation Diffusion (ERD)を提案する。 外部の監督なしに表現学習を安定化させることにより、EDRは収束を加速し、拡散バックボーン間の強い経験的性能を達成する。

関連論文リスト

• Mitigating Error Amplification in Fast Adversarial Training [58.74042726356826]
  FAT(Fast Adversarial Training)は、ネットワークに摂動不変表現の学習を促すことによって、モデルロバスト性の向上に有効であることが証明されている。 FATは、しばしば破滅的なオーバーフィッティング(CO)に悩まされ、モデルがトレーニングアタックに過度に適合し、目に見えないものへの一般化に失敗する。 本稿では、摂動予算と監視信号の両方を動的に調整する分散対応動的ガイダンス(DDG)戦略を提案する。
  論文  参考訳（メタデータ） (2026-04-27T11:23:18Z)
• Boosting Fidelity for Pre-Trained-Diffusion-Based Low-Light Image Enhancement via Condition Refinement [63.54516423266521]
  事前学習拡散ベース(PTDB)法は、しばしばコンテンツ忠実さを犠牲にして知覚的リアリズムを高める。 本稿では,事前学習した拡散モデルにおける条件付けのための新しい最適化手法を提案する。 我々のアプローチはプラグアンドプレイであり、より効率的な制御を提供するために既存の拡散ネットワークにシームレスに統合される。
  論文  参考訳（メタデータ） (2025-10-20T02:40:06Z)
• Adversarial Diffusion for Robust Reinforcement Learning [46.44328012099217]
  我々はロバスト強化学習(AD-RRL)のための逆拡散を導入する。 AD-RRLは拡散過程を導出し、トレーニング中に最悪の場合の軌跡を生成し、累積リターンの条件値(CVaR)を効果的に最適化する。 標準ベンチマークにおける実験結果から、AD-RRLは既存のロバストなRL法と比較して、優れたロバスト性と性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-09-28T12:34:35Z)
• Improved Immiscible Diffusion: Accelerate Diffusion Training by Reducing Its Miscibility [62.272571285823595]
  不和がいかに軽視し、効率を向上するかを示す。 そこで本稿では,K-nearest neighbor (KNN) ノイズ選択や画像スケーリングなどの実装のファミリを提案する。 この研究は、今後の高効率拡散訓練研究の新たな方向性を確立する。
  論文  参考訳（メタデータ） (2025-05-24T05:38:35Z)
• VARD: Efficient and Dense Fine-Tuning for Diffusion Models with Value-based RL [28.95582264086289]
  VAlue-based Reinforced Diffusion (VARD) は、中間状態から報酬の期待を予測する値関数を初めて学習する新しい手法である。 提案手法は,バックプロパゲーションによる効果的な,安定したトレーニングを可能にしつつ,事前訓練されたモデルに近づき続ける。
  論文  参考訳（メタデータ） (2025-05-21T17:44:37Z)
• Efficient Diffusion as Low Light Enhancer [63.789138528062225]
  RATR(Reflectance-Aware Trajectory Refinement)は、イメージの反射成分を用いて教師の軌跡を洗練するための、シンプルで効果的なモジュールである。 textbfReDDiT (textbfDistilled textbfTrajectory) は低照度画像強調(LLIE)に適した効率的で柔軟な蒸留フレームワークである。
  論文  参考訳（メタデータ） (2024-10-16T08:07:18Z)
• Text Diffusion with Reinforced Conditioning [92.17397504834825]
  本稿では,テキスト拡散モデルを完全に解析し,トレーニング中の自己条件の劣化と,トレーニングとサンプリングのミスアライメントの2つの重要な限界を明らかにする。 そこで本研究では, TRECと呼ばれる新しいテキスト拡散モデルを提案する。
  論文  参考訳（メタデータ） (2024-02-19T09:24:02Z)
• Low-Light Image Enhancement with Wavelet-based Diffusion Models [50.632343822790006]
  拡散モデルは画像復元作業において有望な結果を得たが、時間を要する、過剰な計算資源消費、不安定な復元に悩まされている。 本稿では,DiffLLと呼ばれる高能率かつ高能率な拡散型低光画像強調手法を提案する。
  論文  参考訳（メタデータ） (2023-06-01T03:08:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。