論文の概要: Information-Guided Noise Allocation for Efficient Diffusion Training

• arxiv url: http://arxiv.org/abs/2602.18647v1
• Date: Fri, 20 Feb 2026 22:45:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-24 17:42:02.219548
• Title: Information-Guided Noise Allocation for Efficient Diffusion Training
• Title（参考訳）: 効率的な拡散訓練のための情報誘導型ノイズアロケーション
• Authors: Gabriel Raya, Bac Nguyen, Georgios Batzolis, Yuhta Takida, Dejan Stancevic, Naoki Murata, Chieh-Hsin Lai, Yuki Mitsufuji, Luca Ambrogioni,
• Abstract要約: InfoNoiseはデータ適応型トレーニングノイズスケジュールであり、スケジュール設計を情報誘導型ノイズサンプリング分布に置き換える。 自然画像のベンチマーク全体において、InfoNoiseはEDMスタイルのスケジュールにマッチするか、あるいは超えている。 全体としてInfoNoiseは、ノイズスケジューリングをデータ適応化し、拡散モデルがドメイン全体に広がるにつれて、データセットごとのスケジュール設計の必要性を減らす。
• 参考スコア（独自算出の注目度）: 50.49440376762109
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training diffusion models typically relies on manually tuned noise schedules, which can waste computation on weakly informative noise regions and limit transfer across datasets, resolutions, and representations. We revisit noise schedule allocation through an information-theoretic lens and propose the conditional entropy rate of the forward process as a theoretically grounded, data-dependent diagnostic for identifying suboptimal noise-level allocation in existing schedules. Based on these insight, we introduce InfoNoise, a principled data-adaptive training noise schedule that replaces heuristic schedule design with an information-guided noise sampling distribution derived from entropy-reduction rates estimated from denoising losses already computed during training. Across natural-image benchmarks, InfoNoise matches or surpasses tuned EDM-style schedules, in some cases with a substantial training speedup (about $1.4\times$ on CIFAR-10). On discrete datasets, where standard image-tuned schedules exhibit significant mismatch, it reaches superior quality in up to $3\times$ fewer training steps. Overall, InfoNoise makes noise scheduling data-adaptive, reducing the need for per-dataset schedule design as diffusion models expand across domains.
• Abstract（参考訳）: トレーニング拡散モデルは手動で調整されたノイズスケジュールに依存しており、弱い情報のあるノイズ領域の計算を無駄にし、データセット、解像度、表現間の転送を制限することができる。 我々は,情報理論レンズによるノイズアロケーションを再検討し,既存のスケジュールにおける最適なノイズレベルアロケーションを特定するための理論的根拠付きデータ依存診断法として,フォワードプロセスの条件エントロピー率を提案する。 これらの知見に基づき,本論文では,経験的スケジュール設計の代替として,学習中に既に計算された損失のデノベーションから推定されるエントロピー低減率から推定される情報誘導ノイズサンプリング分布を用いた,データ適応型トレーニングノイズスケジュールであるInfoNoiseを紹介した。 自然画像のベンチマーク全体では、InfoNoiseはEDMスタイルのスケジュールにマッチするか、あるいは超えている。 標準のイメージチューニングスケジュールが大きなミスマッチを示す個別データセットでは、最大3ドル以上のトレーニングステップで優れた品質に達する。 全体としてInfoNoiseは、ノイズスケジューリングをデータ適応化し、拡散モデルがドメイン全体に広がるにつれて、データセットごとのスケジュール設計の必要性を減らす。

関連論文リスト

• Score-Optimal Diffusion Schedules [29.062842062257918]
  高品質なサンプルを得るためには、適切な離散化スケジュールが不可欠である。 本稿では,最適な離散化スケジュールを適応的に選択するための新しいアルゴリズムを提案する。 学習したスケジュールは、これまで手動検索でのみ発見されていたパフォーマンススケジュールを復元する。
  論文  参考訳（メタデータ） (2024-12-10T19:26:51Z)
• Constant Rate Scheduling: Constant-Rate Distributional Change for Efficient Training and Sampling in Diffusion Models [16.863038973001483]
  拡散モデルにおける学習とサンプリングのためのノイズスケジュールを最適化する一般的な手法を提案する。 非条件およびクラス条件の画像生成タスクに対するアプローチの有効性を評価する。 トレーニングとサンプリングのスケジュールを最適化するために,本手法を用いることで,最先端のFIDスコア2.03を達成できた。
  論文  参考訳（メタデータ） (2024-11-19T03:02:39Z)
• Improved Noise Schedule for Diffusion Training [51.849746576387375]
  本稿では,拡散モデルのトレーニングを強化するため,ノイズスケジュールを設計するための新しい手法を提案する。 我々は,標準のコサインスケジュールよりもノイズスケジュールの方が優れていることを実証的に示す。
  論文  参考訳（メタデータ） (2024-07-03T17:34:55Z)
• Impact of Noisy Supervision in Foundation Model Learning [91.56591923244943]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks [91.15120211190519]
  本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。 雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T06:18:15Z)
• Perception Prioritized Training of Diffusion Models [34.674477039333475]
  ある種のノイズレベルで破損したデータを復元することは、モデルがリッチな視覚概念を学習するための適切な前提を提供することを示す。 目的関数の重み付け方式を再設計することにより、トレーニング中の他のレベルよりも騒音レベルを優先することを提案する。
  論文  参考訳（メタデータ） (2022-04-01T06:22:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。