論文の概要: Learning What Matters: Steering Diffusion via Spectrally Anisotropic Forward Noise

• arxiv url: http://arxiv.org/abs/2510.09660v2
• Date: Fri, 17 Oct 2025 14:04:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-20 13:49:08.759677
• Title: Learning What Matters: Steering Diffusion via Spectrally Anisotropic Forward Noise
• Title（参考訳）: 学習とは何か: スペクトル異方性フォワードノイズによるステアリング拡散
• Authors: Luca Scimeca, Thomas Jiralerspong, Berton Earnshaw, Jason Hartford, Yoshua Bengio,
• Abstract要約: Diffusion Probabilistic Models (DPM) は強力な生成性能を達成しているが、その帰納的バイアスは大半が暗黙的である。 本研究では,拡散モデルのトレーニングとサンプリングに帰納的バイアスを組み込むことにより,モデルの目的とするデータ分布をよりよく適応することを目的とする。 異方性前方共分散を周波数対角共分散に置き換えることで、これらのバイアスを形作る異方性雑音演算子を導入する。
• 参考スコア（独自算出の注目度）: 43.07594740645669
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion Probabilistic Models (DPMs) have achieved strong generative performance, yet their inductive biases remain largely implicit. In this work, we aim to build inductive biases into the training and sampling of diffusion models to better accommodate the target distribution of the data to model. We introduce an anisotropic noise operator that shapes these biases by replacing the isotropic forward covariance with a structured, frequency-diagonal covariance. This operator unifies band-pass masks and power-law weightings, allowing us to emphasize or suppress designated frequency bands, while keeping the forward process Gaussian. We refer to this as spectrally anisotropic Gaussian diffusion (SAGD). In this work, we derive the score relation for anisotropic covariances and show that, under full support, the learned score converges to the true data score as $t\!\to\!0$, while anisotropy reshapes the probability-flow path from noise to data. Empirically, we show the induced anisotropy outperforms standard diffusion across several vision datasets, and enables selective omission: learning while ignoring known corruptions confined to specific bands. Together, these results demonstrate that carefully designed anisotropic forward noise provides a simple, yet principled, handle to tailor inductive bias in DPMs.
• Abstract（参考訳）: 拡散確率モデル (DPM) は強力な生成性能を達成しているが、誘導バイアスはほとんど暗黙的である。 本研究では,拡散モデルのトレーニングとサンプリングに帰納的バイアスを組み込むことにより,モデルの目的とするデータ分布をよりよく適応することを目的とする。 異方性前方共分散を周波数対角共分散に置き換えることで、これらのバイアスを形作る異方性雑音演算子を導入する。 この演算子は、バンドパスマスクとパワー則重み付けを統一し、フォワードプロセスのガウスを保ちながら、指定された周波数帯域を強調または抑制することができる。 これをスペクトル異方性ガウス拡散(SAGD)と呼ぶ。 本研究では,異方性共変のスコア関係を導出し,学習したスコアが真のデータスコアに$t\!と収束することを示す。 やれ! 一方、異方性はノイズからデータへの確率フロー経路を想起する。 実験的に、誘導異方性は複数の視覚データセットの標準拡散よりも優れており、特定の帯域に制限された既知の汚職を無視しながら学習する選択的な省略を可能にする。 これらの結果は、慎重に設計された異方性前方ノイズが、DPMの誘導バイアスを調整するための単純かつ原則化された処理を提供することを示した。

関連論文リスト

• Kernel-Smoothed Scores for Denoising Diffusion: A Bias-Variance Study [3.265950484493743]
  拡散モデルは暗記しがちである。 スコアの正規化は、トレーニングデータセットのサイズを増やすのと同じ効果がある。 この視点は、拡散をデノナイズする2つの規則化機構を強調する。
  論文  参考訳（メタデータ） (2025-05-28T20:22:18Z)
• Shaping Inductive Bias in Diffusion Models through Frequency-Based Noise Control [43.87692887705523]
  我々は拡散確率モデル(DPM)のトレーニングとサンプリングに誘導バイアスを組み込む。 本研究は,各データセットが異なる誘導バイアスを必要とすること,および適切な周波数ベースノイズ制御により,標準拡散よりも生成性能が向上することを示す。
  論文  参考訳（メタデータ） (2025-02-14T15:46:37Z)
• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  一般のスコアミスマッチ拡散サンプリング器に対する明示的な次元依存性を持つ最初の性能保証を示す。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• On the Relation Between Linear Diffusion and Power Iteration [42.158089783398616]
  相関機械として生成過程を研究する」 生成過程の早い段階で低周波が出現し, 固有値に依存する速度で, 偏極基底ベクトルが真のデータにより整合していることが示される。 このモデルにより、線形拡散モデルが、一般的な電力反復法と同様に、基礎データの先頭固有ベクトルに平均的に収束することを示すことができる。
  論文  参考訳（メタデータ） (2024-10-16T07:33:12Z)
• Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian Mixture Models [59.331993845831946]
  拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。 本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
  論文  参考訳（メタデータ） (2024-03-03T23:15:48Z)
• Diffusion-GAN: Training GANs with Diffusion [135.24433011977874]
  GAN(Generative Adversarial Network)は、安定してトレーニングすることが難しい。 フォワード拡散チェーンを利用してインスタンスノイズを生成する新しいGANフレームワークであるDiffusion-GANを提案する。 我々は,Diffusion-GANにより,最先端のGANよりも高い安定性とデータ効率で,よりリアルな画像を生成することができることを示す。
  論文  参考訳（メタデータ） (2022-06-05T20:45:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。