論文の概要: Selective Underfitting in Diffusion Models

• arxiv url: http://arxiv.org/abs/2510.01378v1
• Date: Wed, 01 Oct 2025 19:06:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.834007
• Title: Selective Underfitting in Diffusion Models
• Title（参考訳）: 拡散モデルにおける選択的不適合
• Authors: Kiwhan Song, Jaeyeon Kim, Sitan Chen, Yilun Du, Sham Kakade, Vincent Sitzmann,
• Abstract要約: 拡散モデルは,学習時間の帰納バイアスによる経験的スコアに不適合である。 スコアを至る所で不適合にする代わりに、より良い拡散モデルは入力空間の特定の領域のスコアをより正確に近似し、他の領域では不適合にする。 その結果, 拡散モデルを理解するためには選択的不適合性が不可欠であることが確認され, 一般化と生成性能に関する新たな検証可能な知見が得られた。
• 参考スコア（独自算出の注目度）: 62.51850508420274
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models have emerged as the principal paradigm for generative modeling across various domains. During training, they learn the score function, which in turn is used to generate samples at inference. They raise a basic yet unsolved question: which score do they actually learn? In principle, a diffusion model that matches the empirical score in the entire data space would simply reproduce the training data, failing to generate novel samples. Recent work addresses this question by arguing that diffusion models underfit the empirical score due to training-time inductive biases. In this work, we refine this perspective, introducing the notion of selective underfitting: instead of underfitting the score everywhere, better diffusion models more accurately approximate the score in certain regions of input space, while underfitting it in others. We characterize these regions and design empirical interventions to validate our perspective. Our results establish that selective underfitting is essential for understanding diffusion models, yielding new, testable insights into their generalization and generative performance.
• Abstract（参考訳）: 拡散モデルは、様々な領域にわたる生成モデリングの主要なパラダイムとして現れてきた。 トレーニング中、スコア関数を学習し、次に推論時にサンプルを生成する。 彼らは基本的な未解決の疑問を提起します。 原則として、データ空間全体の経験的スコアと一致する拡散モデルは、トレーニングデータを単純に再現し、新しいサンプルを生成するのに失敗する。 最近の研究は、拡散モデルは訓練時帰納バイアスによる経験的スコアに合わないという議論によってこの問題に対処している。 本研究では,この視点を洗練させ,選択的不適合の概念を導入し,各所のスコアを不適合にするのではなく,より正確な拡散モデルにより入力空間の特定の領域のスコアをより正確に近似し,他の領域に不適合にする。 これらの領域を特徴付け、我々の視点を検証するための経験的介入を設計する。 その結果, 拡散モデルを理解するためには選択的不適合性が不可欠であることが確認され, 一般化と生成性能に関する新たな検証可能な知見が得られた。

関連論文リスト

• Generalization through variance: how noise shapes inductive biases in diffusion models [0.0]
  我々は「分散による一般化」現象を部分的に説明できる数学的理論を開発した。 分布拡散モデルでは, トレーニング分布に類似したサンプルを効果的に学習する。 また、この帰納バイアスが特徴に関連した帰納バイアスとどのように相互作用するかを特徴付ける。
  論文  参考訳（メタデータ） (2025-04-16T23:41:10Z)
• Diffusion Attribution Score: Evaluating Training Data Influence in Diffusion Models [22.39558434131574]
  拡散モデルに対する既存のデータ帰属法は、典型的にはトレーニングサンプルの寄与を定量化する。 拡散損失の直接的利用は,拡散損失の計算により,そのような貢献を正確に表すことはできない。 本研究では,予測分布と属性スコアとの直接比較を行うために拡散属性スコア(textitDAS)を提案する。
  論文  参考訳（メタデータ） (2024-10-24T10:58:17Z)
• Data Attribution for Diffusion Models: Timestep-induced Bias in Influence Estimation [53.27596811146316]
  拡散モデルは、以前の文脈における瞬間的な入出力関係ではなく、一連のタイムステップで操作する。 本稿では、この時間的ダイナミクスを取り入れた拡散トラクInについて、サンプルの損失勾配ノルムが時間ステップに大きく依存していることを確認する。 そこで我々はDiffusion-ReTracを再正規化適応として導入し、興味のあるサンプルを対象にしたトレーニングサンプルの検索を可能にする。
  論文  参考訳（メタデータ） (2024-01-17T07:58:18Z)
• Guided Diffusion from Self-Supervised Diffusion Features [49.78673164423208]
  ガイダンスは拡散モデルにおいて重要な概念として機能するが、その効果は追加のデータアノテーションや事前学習の必要性によって制限されることが多い。 本稿では,拡散モデルからガイダンスを抽出するフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-14T11:19:11Z)
• How Much is Enough? A Study on Diffusion Times in Score-based Generative Models [76.76860707897413]
  現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。 本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
  論文  参考訳（メタデータ） (2022-06-10T15:09:46Z)
• Right for the Right Latent Factors: Debiasing Generative Models via Disentanglement [20.41752850243945]
  統計機械学習手法の主要な前提は、テスト時に遭遇したデータの分布から独立したサンプルにアクセスすることである。 特に、機械学習モデルは、Clever-Hansのような振る舞いを示すことが示されている。 本稿では,人的フィードバックによって達成される内部表現を解消し,生成モデルをデバイアス化する手法を提案する。
  論文  参考訳（メタデータ） (2022-02-01T13:16:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。