論文の概要: Do Diffusion Models Learn Semantically Meaningful and Efficient Representations?

• arxiv url: http://arxiv.org/abs/2402.03305v2
• Date: Tue, 30 Apr 2024 14:32:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-01 19:18:28.799363
• Title: Do Diffusion Models Learn Semantically Meaningful and Efficient Representations?
• Title（参考訳）: 拡散モデルは意味的かつ効率的な表現を学習するか?
• Authors: Qiyao Liang, Ziming Liu, Ila Fiete,
• Abstract要約: 条件付きDDPMの学習実験を行い、2次元球面ガウスバンプを所定の$x$-および$y$-ポジションで生成する。 以上の結果から,意味的に意味のある潜在表現の出現は,高い性能を達成するための鍵であることが示唆された。
• 参考スコア（独自算出の注目度）: 15.470940905898757
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models are capable of impressive feats of image generation with uncommon juxtapositions such as astronauts riding horses on the moon with properly placed shadows. These outputs indicate the ability to perform compositional generalization, but how do the models do so? We perform controlled experiments on conditional DDPMs learning to generate 2D spherical Gaussian bumps centered at specified $x$- and $y$-positions. Our results show that the emergence of semantically meaningful latent representations is key to achieving high performance. En route to successful performance over learning, the model traverses three distinct phases of latent representations: (phase A) no latent structure, (phase B) a 2D manifold of disordered states, and (phase C) a 2D ordered manifold. Corresponding to each of these phases, we identify qualitatively different generation behaviors: 1) multiple bumps are generated, 2) one bump is generated but at inaccurate $x$ and $y$ locations, 3) a bump is generated at the correct $x$ and y location. Furthermore, we show that even under imbalanced datasets where features ($x$- versus $y$-positions) are represented with skewed frequencies, the learning process for $x$ and $y$ is coupled rather than factorized, demonstrating that simple vanilla-flavored diffusion models cannot learn efficient representations in which localization in $x$ and $y$ are factorized into separate 1D tasks. These findings suggest the need for future work to find inductive biases that will push generative models to discover and exploit factorizable independent structures in their inputs, which will be required to vault these models into more data-efficient regimes.
• Abstract（参考訳）: 拡散モデルは、うまく配置された影で月面に馬に乗る宇宙飛行士のような、珍しい並外れたジャキスタポジションで、画像生成の印象的な偉業を達成できる。 これらの出力は、構成的一般化を行う能力を示しているが、モデルはどうすればよいのか? 条件付きDDPM学習の制御実験を行い、2次元球面ガウスバンプを所定の$x$-および$y$-ポジションで生成する。 以上の結果から,意味的に意味のある潜在表現の出現が,高い性能を達成するための鍵であることが示唆された。 学習よりもパフォーマンスを成功させるために、このモデルは、(フェーズA)潜在構造、(フェーズB)乱状態の2次元多様体、(フェーズC)2次元順序多様体の3つの異なる位相を横切る。 これら各段階に対応して、定性的に異なる世代行動を特定する。 1)複数のバンプが生成される。 2) 1つのバンプが生成されるが、不正確な$x$と$y$のロケーションが生成される。 3) 正しい$x$とyロケーションでバンプが生成される。 さらに、機能(x$-と$y$-positions)が歪んだ周波数で表される不均衡データセットであっても、$x$と$y$の学習プロセスは分解されるのではなく結合されていることを示し、単純なバニラ風味拡散モデルでは、$x$と$y$のローカライズが別個の1Dタスクに分解されるような効率的な表現を学習できないことを示した。 これらの知見は、生成モデルに入力中の分解可能な独立構造を発見し、活用するよう促す帰納的バイアスを見つけるための将来の研究の必要性を示唆している。

関連論文リスト

• Monge-Ampere Regularization for Learning Arbitrary Shapes from Point Clouds [69.69726932986923]
  任意の曲面型をモデル化するための新しい暗黙曲面表現であるスケールド2乗距離関数 (S$2$DF) を提案する。 S$2$DFは、ゼロレベルセットでのUDFの非微分可能性問題に効果的に対処しながら、内部領域と外部領域を区別しない。 S$2$DF はモンゲ・アンペア型の二次偏微分方程式を満たすことを示した。
  論文  参考訳（メタデータ） (2024-10-24T06:56:34Z)
• GSD: View-Guided Gaussian Splatting Diffusion for 3D Reconstruction [52.04103235260539]
  単一視点からの3次元オブジェクト再構成のためのガウススプティング表現に基づく拡散モデル手法を提案する。 モデルはGS楕円体の集合で表される3Dオブジェクトを生成することを学習する。 最終的な再構成されたオブジェクトは、高品質な3D構造とテクスチャを持ち、任意のビューで効率的にレンダリングできる。
  論文  参考訳（メタデータ） (2024-07-05T03:43:08Z)
• Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution [67.9215891673174]
  離散空間に対するスコアマッチングを自然に拡張する新たな損失として,スコアエントロピーを提案する。 標準言語モデリングタスク上で,Score Entropy Discrete Diffusionモデルをテストする。
  論文  参考訳（メタデータ） (2023-10-25T17:59:12Z)
• DiffComplete: Diffusion-based Generative 3D Shape Completion [114.43353365917015]
  3次元レンジスキャンにおける形状完成のための拡散に基づく新しいアプローチを提案する。 私たちはリアリズム、マルチモダリティ、高忠実さのバランスを取ります。 DiffCompleteは2つの大規模3次元形状補完ベンチマークに新しいSOTA性能を設定する。
  論文  参考訳（メタデータ） (2023-06-28T16:07:36Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)
• Two Independent Teachers are Better Role Model [7.001845833295753]
  我々は3D-DenseUNetと呼ばれる新しいディープラーニングモデルを提案する。 ダウンサンプリングにおけるグローバルアグリゲーションブロックとして機能し、空間情報損失の問題を解決する。 また,ラベル予測の代わりにモデル重みを要約した「2つの独立教師」という手法を提案する。
  論文  参考訳（メタデータ） (2023-06-09T08:22:41Z)
• Diff-Instruct: A Universal Approach for Transferring Knowledge From Pre-trained Diffusion Models [77.83923746319498]
  本稿では,任意の生成モデルの学習を指導するDiff-Instructというフレームワークを提案する。 Diff-Instructは、最先端の単一ステップ拡散モデルであることを示す。 GANモデルの精製実験により、Diff-InstructはGANモデルの事前訓練されたジェネレータを一貫して改善できることが示されている。
  論文  参考訳（メタデータ） (2023-05-29T04:22:57Z)
• Learning Sparsity of Representations with Discrete Latent Variables [15.05207849434673]
  本稿では,スパース深部潜伏生成モデルSDLGMを提案する。 表現の空間性は固定されていないが、事前に定義された制限の下で観察そのものに適合する。 推論と学習のために,MC勾配推定器をベースとした補正変分法を開発した。
  論文  参考訳（メタデータ） (2023-04-03T12:47:18Z)
• PFGM++: Unlocking the Potential of Physics-Inspired Generative Models [14.708385906024546]
  PFGM++と呼ばれる物理に着想を得た新しい生成モデルを導入する。 これらのモデルは、$N+D$次元空間に経路を埋め込むことにより、$N$次元データの生成軌道を実現する。 有限$D$のモデルは、従来の最先端拡散モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-08T18:58:02Z)
• Analysis of ODE2VAE with Examples [0.0]
  通常微分方程式変分オートエンコーダ(ODE2VAE)は、潜時変分モデルである。 モデルが意味のある潜在表現をある程度学習できることを示す。
  論文  参考訳（メタデータ） (2021-08-10T20:12:26Z)
• Characterizing and Avoiding Problematic Global Optima of Variational Autoencoders [28.36260646471421]
  変分自動エンコーダ(VAEs)は、深部生成潜在変数モデルである。 最近の研究は、伝統的な訓練手法がデシダラタに反する解決策をもたらす傾向があることを示している。 どちらの問題も、VAEトレーニング目標のグローバルな最適度が望ましくない解決策とよく一致するという事実に起因していることを示す。
  論文  参考訳（メタデータ） (2020-03-17T15:14:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。