論文の概要: Denoising Task Difficulty-based Curriculum for Training Diffusion Models

• arxiv url: http://arxiv.org/abs/2403.10348v2
• Date: Mon, 15 Jul 2024 13:46:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-17 01:35:33.461286
• Title: Denoising Task Difficulty-based Curriculum for Training Diffusion Models
• Title（参考訳）: タスク難易度に基づく拡散モデルの学習カリキュラム
• Authors: Jin-Young Kim, Hyojun Go, Soonwoo Kwon, Hyun-Gyoon Kim,
• Abstract要約: 拡散に基づく生成モデルは、生成モデリングの領域において強力なツールとして登場した。 様々な時間経過と騒音レベルを横断する認知度に関する広範な研究にもかかわらず、認知度タスクの相対的困難に関する紛争が続いている。 本稿では,拡散モデルの学習過程を改善するため,カリキュラム学習から手書きの学習手法を導入する。
• 参考スコア（独自算出の注目度）: 7.423832224867545
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion-based generative models have emerged as powerful tools in the realm of generative modeling. Despite extensive research on denoising across various timesteps and noise levels, a conflict persists regarding the relative difficulties of the denoising tasks. While various studies argue that lower timesteps present more challenging tasks, others contend that higher timesteps are more difficult. To address this conflict, our study undertakes a comprehensive examination of task difficulties, focusing on convergence behavior and changes in relative entropy between consecutive probability distributions across timesteps. Our observational study reveals that denoising at earlier timesteps poses challenges characterized by slower convergence and higher relative entropy, indicating increased task difficulty at these lower timesteps. Building on these observations, we introduce an easy-to-hard learning scheme, drawing from curriculum learning, to enhance the training process of diffusion models. By organizing timesteps or noise levels into clusters and training models with ascending orders of difficulty, we facilitate an order-aware training regime, progressing from easier to harder denoising tasks, thereby deviating from the conventional approach of training diffusion models simultaneously across all timesteps. Our approach leads to improved performance and faster convergence by leveraging benefits of curriculum learning, while maintaining orthogonality with existing improvements in diffusion training techniques. We validate these advantages through comprehensive experiments in image generation tasks, including unconditional, class-conditional, and text-to-image generation.
• Abstract（参考訳）: 拡散に基づく生成モデルは、生成モデリングの領域において強力なツールとして登場した。 様々な時間経過と騒音レベルを横断する認知度に関する広範な研究にもかかわらず、認知度タスクの相対的困難に関する紛争が続いている。 様々な研究が、より低いタイムステップはより困難なタスクをもたらすと主張する一方で、より高いタイムステップはより困難であると主張する者もいる。 この対立に対処するため,本研究では,時間経過間の連続確率分布間の収束挙動と相対エントロピーの変化に着目し,タスクの難易度を総合的に検討した。 以上の結果から, 早期の認知障害は, 緩やかな収束と高い相対エントロピーを特徴とする課題を呈し, より低い時間でのタスクの難易度の増加が示唆された。 本研究は,これらの観察に基づいて,拡散モデルの学習プロセスを強化するため,カリキュラム学習からの学習方法を提案する。 時間ステップやノイズレベルをクラスタに整理し,より難易度の高いトレーニングモデルを構築することにより,オーダーアウェアなトレーニング体制の促進と,より容易なタスクからより難しいタスクへと進むこと,これにより,すべてのタイムステップで同時に拡散モデルのトレーニングを行う従来のアプローチから逸脱することが可能になる。 提案手法は,カリキュラム学習の利点を活用しつつ,既存の拡散学習技術の改良と直交性を維持しながら,性能の向上と収束の高速化につながる。 非条件,クラス条件,テキスト・ツー・イメージ生成など,画像生成タスクの総合的な実験を通じて,これらの利点を検証する。

関連論文リスト

• Adv-KD: Adversarial Knowledge Distillation for Faster Diffusion Sampling [2.91204440475204]
  拡散確率モデル(DPM)は、深層生成モデルの強力なクラスとして登場した。 それらは、サンプル生成中にシーケンシャルなデノイングステップに依存している。 モデルアーキテクチャに直接位相を分解する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-31T08:19:44Z)
• Not All Steps are Equal: Efficient Generation with Progressive Diffusion Models [62.155612146799314]
  ステップ適応トレーニングと呼ばれる新しい2段階のトレーニング戦略を提案する。 初期段階では、ベース・デノナイジング・モデルはすべてのタイムステップを包含するように訓練される。 タイムステップを別々のグループに分割し、各グループ内でモデルを微調整して、特殊な認知機能を実現します。
  論文  参考訳（メタデータ） (2023-12-20T03:32:58Z)
• Unsupervised Temporal Action Localization via Self-paced Incremental Learning [57.55765505856969]
  本稿では,クラスタリングとローカライズトレーニングを同時に行うための,自己ペースの漸進学習モデルを提案する。 我々は,2つの段階的なインスタンス学習戦略を設計し,ビデオ擬似ラベルの信頼性を確保する。
  論文  参考訳（メタデータ） (2023-12-12T16:00:55Z)
• Seismic Data Interpolation based on Denoising Diffusion Implicit Models with Resampling [8.806557897730137]
  そこで本稿では,再サンプリングによる暗黙的拡散モデルを提案する。 モデル推論は、既知のトレースの条件付けである拡散暗黙モデルを利用して、拡散ステップの少ない高品質な定量化を可能にする。
  論文  参考訳（メタデータ） (2023-07-09T16:37:47Z)
• Improving Long-Horizon Imitation Through Instruction Prediction [93.47416552953075]
  本研究では、しばしば使われない補助的監督源である言語の使用について検討する。 近年のトランスフォーマーモデルの発展にインスパイアされたエージェントは,高レベルの抽象化で動作する時間拡張表現の学習を促す命令予測損失を持つエージェントを訓練する。 さらなる分析では、複雑な推論を必要とするタスクにおいて、命令モデリングが最も重要であり、単純な計画を必要とする環境において、より小さなゲインを提供する。
  論文  参考訳（メタデータ） (2023-06-21T20:47:23Z)
• Visual Adversarial Imitation Learning using Variational Models [60.69745540036375]
  逆関数仕様は、深い強化学習を通しての学習行動にとって大きな障害であり続けている。 望ましい行動の視覚的なデモンストレーションは、エージェントを教えるためのより簡単で自然な方法を示すことが多い。 変動モデルに基づく対向的模倣学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-07-16T00:15:18Z)
• Improving Model Robustness by Adaptively Correcting Perturbation Levels with Active Queries [43.98198697182858]
  モデルが人間の専門家から正しい摂動レベルを対話的に照会できるように,新しいアクティブラーニングフレームワークを提案する。 理論的解析と実験的研究の両方が提案手法の有効性を検証した。
  論文  参考訳（メタデータ） (2021-03-27T07:09:01Z)
• Learning Temporal Dynamics from Cycles in Narrated Video [85.89096034281694]
  時が経つにつれて世界がどのように変化するかをモデル化する学習問題に対する自己監督型ソリューションを提案します。 私たちのモデルは、前方および後方の時間を予測するためにモダリティに依存しない関数を学習します。 将来的な動作の予測や画像の時間的順序付けなど,様々なタスクに対して,学習されたダイナミクスモデルを適用する。
  論文  参考訳（メタデータ） (2021-01-07T02:41:32Z)
• Bridging the Imitation Gap by Adaptive Insubordination [88.35564081175642]
  教官が特権情報にアクセスして意思決定を行う場合、この情報は模倣学習中に疎外されることを示す。 本稿では,このギャップに対処するため,適応的不規則化(ADVISOR)を提案する。 ADVISORは、トレーニング中の模倣と報酬に基づく強化学習損失を動的に重み付け、模倣と探索をオンザフライで切り替えることを可能にする。
  論文  参考訳（メタデータ） (2020-07-23T17:59:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。