論文の概要: Can Diffusion Models Learn Hidden Inter-Feature Rules Behind Images?

• arxiv url: http://arxiv.org/abs/2502.04725v1
• Date: Fri, 07 Feb 2025 07:49:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-10 14:58:05.214334
• Title: Can Diffusion Models Learn Hidden Inter-Feature Rules Behind Images?
• Title（参考訳）: 拡散モデルは画像に隠れた機能間規則を学習できるか?
• Authors: Yujin Han, Andi Han, Wei Huang, Chaochao Lu, Difan Zou,
• Abstract要約: 画像特徴間の隠れルールを学習する拡散モデル(DM)の能力に焦点を当てる。 DMが機能間規則(p(mathbfy|mathbfx)$)を正確にキャプチャできるかどうかを検討する。 我々は、DMのルール学習能力を評価するために、強く相関した特徴を持つ4つの合成タスクを設計する。
• 参考スコア（独自算出の注目度）: 21.600998338094794
• License:
• Abstract: Despite the remarkable success of diffusion models (DMs) in data generation, they exhibit specific failure cases with unsatisfactory outputs. We focus on one such limitation: the ability of DMs to learn hidden rules between image features. Specifically, for image data with dependent features ($\mathbf{x}$) and ($\mathbf{y}$) (e.g., the height of the sun ($\mathbf{x}$) and the length of the shadow ($\mathbf{y}$)), we investigate whether DMs can accurately capture the inter-feature rule ($p(\mathbf{y}|\mathbf{x})$). Empirical evaluations on mainstream DMs (e.g., Stable Diffusion 3.5) reveal consistent failures, such as inconsistent lighting-shadow relationships and mismatched object-mirror reflections. Inspired by these findings, we design four synthetic tasks with strongly correlated features to assess DMs' rule-learning abilities. Extensive experiments show that while DMs can identify coarse-grained rules, they struggle with fine-grained ones. Our theoretical analysis demonstrates that DMs trained via denoising score matching (DSM) exhibit constant errors in learning hidden rules, as the DSM objective is not compatible with rule conformity. To mitigate this, we introduce a common technique - incorporating additional classifier guidance during sampling, which achieves (limited) improvements. Our analysis reveals that the subtle signals of fine-grained rules are challenging for the classifier to capture, providing insights for future exploration.
• Abstract（参考訳）: データ生成における拡散モデル(DM)の顕著な成功にもかかわらず、不満足な出力を持つ特定の障害事例を示す。 我々は、画像特徴間の隠れルールを学習するDMの能力という、そのような制限に焦点をあてる。 具体的には、依存した特徴 (\mathbf{x}$) および (e g , the height of the sun (\mathbf{x}$) and the length of the shadow (\mathbf{y}$) の画像データに対して、DMs が機能間規則 (p(\mathbf{y}|\mathbf{x}$) を正確に捉えることができるかどうかを検討する。 主流DM(例えば、安定拡散3.5)に対する実証的な評価は、一貫性のない照明と影の関係や、不一致な物体と鏡の反射など、一貫した失敗を明らかにしている。 これらの知見に触発されて、DMのルール学習能力を評価するために、強く相関した特徴を持つ4つの合成タスクを設計した。 大規模な実験では、DMは粗い粒度の規則を識別できるが、細かい粒度の規則と戦うことが示されている。 我々の理論的分析は,DSMの目的が規則適合性に相容れないため,DSM(Denoising score matching)を用いて訓練したDMが隠れルールの学習において一定の誤りを示すことを示した。 これを緩和するために、サンプリング中に分類器のガイダンスを追加し、(限定的に)改善する、共通の手法を導入する。 分析の結果,粒度の細かい規則の微妙な信号は,分類器の捕捉が困難であり,今後の探索の手がかりとなることが明らかとなった。

関連論文リスト

• DebiasDiff: Debiasing Text-to-image Diffusion Models with Self-discovering Latent Attribute Directions [16.748044041907367]
  DebiasDiffは、自己発見方法で属性潜在方向を学習するプラグイン・アンド・プレイ方式である。 本手法は,他のDMと軽量かつ容易に統合可能でありながら,DMの複数の属性を同時にデバイアスすることが可能である。
  論文  参考訳（メタデータ） (2024-12-25T07:30:20Z)
• What happens to diffusion model likelihood when your model is conditional? [1.643629306994231]
  拡散モデル(DM)は、ランダムサンプルを反復的に識別して高品質なデータを生成する。 DMは非条件DMのランク付けやドメイン外の分類に使われてきた。 条件付きタスクにDMを適用すると、不整合が明らかになり、DMの特性が不明であるという主張が強まる。
  論文  参考訳（メタデータ） (2024-09-10T09:42:58Z)
• Amortizing intractable inference in diffusion models for vision, language, and control [89.65631572949702]
  本稿では,p(mathbfx)$以前の拡散生成モデルとブラックボックス制約,あるいは関数$r(mathbfx)$からなるモデルにおいて,データ上の後部サンプルである $mathbfxsim prm post(mathbfx)propto p(mathbfx)r(mathbfx)$について検討する。 我々は,データフリー学習目標である相対軌道バランスの正しさを,サンプルから抽出した拡散モデルの訓練のために証明する。
  論文  参考訳（メタデータ） (2024-05-31T16:18:46Z)
• Slight Corruption in Pre-training Data Makes Better Diffusion Models [71.90034201302397]
  拡散モデル(DM)は、高品質な画像、オーディオ、ビデオを生成する際、顕著な能力を示している。 DMは大規模なデータセットでの広範な事前トレーニングの恩恵を受ける。 しかしながら、事前トレーニングデータセットは、しばしば、データを正確に記述しないような、破損したペアを含んでいる。 本稿では,DMの事前学習データにそのような汚職が及ぼす影響について,初めて包括的研究を行った。
  論文  参考訳（メタデータ） (2024-05-30T21:35:48Z)
• Long-Horizon Rollout via Dynamics Diffusion for Offline Reinforcement Learning [31.11084939047226]
  我々はDyDiffと略してDynamics Diffusionを提案し、学習ポリシーからDMに情報を反復的に注入することができる。 DyDiffはポリシーの一貫性を維持しながら、長時間のロールアウトの精度を確保し、モデルフリーのアルゴリズムに容易にデプロイできる。
  論文  参考訳（メタデータ） (2024-05-29T15:29:46Z)
• Exploring Diffusion Time-steps for Unsupervised Representation Learning [72.43246871893936]
  拡散時間ステップと隠れ属性を結合する理論的枠組みを構築する。 CelebA、FFHQ、Bedroomのデータセットでは、学習された機能は分類を大幅に改善する。
  論文  参考訳（メタデータ） (2024-01-21T08:35:25Z)
• On Error Propagation of Diffusion Models [77.91480554418048]
  DMのアーキテクチャにおける誤り伝播を数学的に定式化するための理論的枠組みを開発する。 累積誤差を正規化項として適用して誤差伝搬を低減する。 提案した正規化はエラーの伝播を低減し,バニラDMを大幅に改善し,以前のベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2023-08-09T15:31:17Z)
• Understanding the Latent Space of Diffusion Models through the Lens of Riemannian Geometry [14.401252409755084]
  幾何的視点から、mathcalX$ の潜在空間 $mathbfx_t を解析する。 我々のアプローチでは、プルバック計量を利用して$mathcalX$内の局所潜伏基底を導出する。 注目すべきは、我々の発見した局所潜伏基底は、画像編集機能を実現することである。
  論文  参考訳（メタデータ） (2023-07-24T15:06:42Z)
• Unsupervised Discovery of Semantic Latent Directions in Diffusion Models [6.107812768939554]
  本論文では,mathcalX$ of DMsにおける潜伏変数 $mathbfx_t の解釈可能な編集方向を検出するための教師なし手法を提案する。 発見されたセマンティック潜伏方向は、主に不整合な属性変化をもたらし、異なるサンプル間でグローバルに一貫性がある。
  論文  参考訳（メタデータ） (2023-02-24T05:54:34Z)
• Hard-label Manifolds: Unexpected Advantages of Query Efficiency for Finding On-manifold Adversarial Examples [67.23103682776049]
  画像分類モデルに対する最近のゼロオーダーのハードラベル攻撃は、ファーストオーダーのグラデーションレベルの代替品に匹敵する性能を示している。 最近、グラデーションレベルの設定では、通常の敵対的な例がデータ多様体から離れ、オンマニホールドの例が実際には一般化エラーであることが示されている。 雑音の多い多様体距離オラクルに基づく情報理論論的議論を提案し、敵の勾配推定を通じて多様体情報を漏洩させる。
  論文  参考訳（メタデータ） (2021-03-04T20:53:06Z)
• A Sober Look at the Unsupervised Learning of Disentangled Representations and their Evaluation [63.042651834453544]
  モデルとデータの両方に帰納的バイアスを伴わずに,非教師なしの非教師付き表現学習は不可能であることを示す。 異なる手法は、対応する損失によって「強化」された特性を効果的に強制するが、よく見分けられたモデルは監督なしでは特定できないように見える。 以上の結果から,遠絡学習における今後の研究は,帰納的バイアスと(単純に)監督の役割を明確化すべきであることが示唆された。
  論文  参考訳（メタデータ） (2020-10-27T10:17:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。