論文の概要: Compositional Abilities Emerge Multiplicatively: Exploring Diffusion
Models on a Synthetic Task
- arxiv url: http://arxiv.org/abs/2310.09336v4
- Date: Fri, 16 Feb 2024 22:22:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-21 05:20:51.752602
- Title: Compositional Abilities Emerge Multiplicatively: Exploring Diffusion
Models on a Synthetic Task
- Title（参考訳）: 合成能力の多重化:合成課題における拡散モデルの探索
- Authors: Maya Okawa, Ekdeep Singh Lubana, Robert P. Dick, Hidenori Tanaka
- Abstract要約: 合成環境における条件拡散モデルにおける合成一般化について検討する。
サンプルを生成する能力が出現する順番は、基礎となるデータ生成プロセスの構造によって制御される。
本研究は、データ中心の観点から、生成モデルにおける能力と構成性を理解するための基礎を築いた。
- 参考スコア（独自算出の注目度）: 20.749514363389878
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern generative models exhibit unprecedented capabilities to generate
extremely realistic data. However, given the inherent compositionality of the
real world, reliable use of these models in practical applications requires
that they exhibit the capability to compose a novel set of concepts to generate
outputs not seen in the training data set. Prior work demonstrates that recent
diffusion models do exhibit intriguing compositional generalization abilities,
but also fail unpredictably. Motivated by this, we perform a controlled study
for understanding compositional generalization in conditional diffusion models
in a synthetic setting, varying different attributes of the training data and
measuring the model's ability to generate samples out-of-distribution. Our
results show: (i) the order in which the ability to generate samples from a
concept and compose them emerges is governed by the structure of the underlying
data-generating process; (ii) performance on compositional tasks exhibits a
sudden "emergence" due to multiplicative reliance on the performance of
constituent tasks, partially explaining emergent phenomena seen in generative
models; and (iii) composing concepts with lower frequency in the training data
to generate out-of-distribution samples requires considerably more optimization
steps compared to generating in-distribution samples. Overall, our study lays a
foundation for understanding capabilities and compositionality in generative
models from a data-centric perspective.
- Abstract（参考訳）: 現代の生成モデルは、非常に現実的なデータを生成する前例のない能力を示している。
しかし、実世界の本質的な構成性を考えると、これらのモデルの実用的利用には、トレーニングデータセットにない出力を生成するための新しい概念セットを構成する能力を示す必要がある。
先行研究は、最近の拡散モデルが興味深い組成一般化能力を示すが、予測不能に失敗することを示した。
そこで本研究では, 条件付き拡散モデルにおける合成拡散モデルの構成一般化の理解, 学習データの属性の相違, サンプルアウトオブディストリビューション生成能力の測定について検討した。
結果はこう示しています
i) 概念からサンプルを生成し,それらを構成する能力が出現する順序は,基礎となるデータ生成プロセスの構造によって支配される。
二 構成的課題における演出は、構成的課題の性能に依拠し、部分的には生成モデルにみられる創発的な現象を説明するため、突然の「緊急」を示す。
(iii) 分布サンプルを生成するためのトレーニングデータの頻度が低い概念を構成するには、分布サンプルを生成するよりもかなり多くの最適化ステップが必要となる。
本研究は、データ中心の観点から、生成モデルにおける能力と構成性を理解するための基礎を築いた。
関連論文リスト
- Dynamics of Concept Learning and Compositional Generalization [23.43600409313907]
本稿では,モデルが学習し,構造的に整理されたセントロイドとガウス混合体上でのアイデンティティマッピングを学習するSIMタスクを提案する。
我々は、このSIMタスクでトレーニングされたニューラルネットワークの学習力学を数学的に解析し、その単純さにもかかわらず、SIMの学習力学が重要な経験的観察を捉え、説明するのに役立っていることを示す。
私たちの理論はまた、トレーニングの初期段階におけるテスト損失の非単調学習ダイナミクスの新しいメカニズムを見つけるなど、いくつかの新しい洞察を提供する。
論文 参考訳（メタデータ） (2024-10-10T18:58:29Z) - Constrained Diffusion Models via Dual Training [80.03953599062365]
拡散プロセスは、トレーニングデータセットのバイアスを反映したサンプルを生成する傾向がある。
所望の分布に基づいて拡散制約を付与し,制約付き拡散モデルを構築する。
本稿では,制約付き拡散モデルを用いて,目的と制約の最適なトレードオフを実現する混合データ分布から新しいデータを生成することを示す。
論文 参考訳（メタデータ） (2024-08-27T14:25:42Z) - How Diffusion Models Learn to Factorize and Compose [14.161975556325796]
拡散モデルは、トレーニングセットに表示されない可能性のある要素を組み合わせた、フォトリアリスティックな画像を生成することができる。
本研究では,拡散モデルが構成可能な特徴の意味的意味的・要因的表現を学習するかどうかを考察する。
論文 参考訳（メタデータ） (2024-08-23T17:59:03Z) - The Extrapolation Power of Implicit Models [2.3526338188342653]
暗黙のモデルは、アウト・オブ・ディストリビューション、地理的、時間的シフトといった様々な外挿シナリオでテストに投入される。
我々の実験は暗黙のモデルで常に大きな性能上の優位性を証明している。
論文 参考訳（メタデータ） (2024-07-19T16:01:37Z) - Provable Statistical Rates for Consistency Diffusion Models [87.28777947976573]
最先端の性能にもかかわらず、拡散モデルは、多くのステップが伴うため、遅いサンプル生成で知られている。
本稿では, 整合性モデルに関する最初の統計理論に寄与し, 分散不整合最小化問題としてトレーニングを定式化している。
論文 参考訳（メタデータ） (2024-06-23T20:34:18Z) - DetDiffusion: Synergizing Generative and Perceptive Models for Enhanced Data Generation and Perception [78.26734070960886]
現在の知覚モデルは、リソース集約的なデータセットに大きく依存している。
セグメンテーションを通じて知覚認識損失(P.A.損失)を導入し、品質と制御性の両方を改善した。
本手法は,世代間における知覚認識属性(P.A. Attr)の抽出と利用により,データ拡張をカスタマイズする。
論文 参考訳（メタデータ） (2024-03-20T04:58:03Z) - Unveil Conditional Diffusion Models with Classifier-free Guidance: A Sharp Statistical Theory [87.00653989457834]
条件付き拡散モデルは現代の画像合成の基礎となり、計算生物学や強化学習などの分野に広く応用されている。
経験的成功にもかかわらず、条件拡散モデルの理論はほとんど欠落している。
本稿では,条件拡散モデルを用いた分布推定の急激な統計的理論を提示することにより,ギャップを埋める。
論文 参考訳（メタデータ） (2024-03-18T17:08:24Z) - On the Limitation of Diffusion Models for Synthesizing Training Datasets [5.384630221560811]
本稿では, 実試料から再構成した合成試料を拡散・逆過程により解析することにより, 合成試料と実試料とのギャップを解明する。
その結果, 合成データセットは, 最先端拡散モデルを用いても, 実際のデータセットの分類性能を低下させることがわかった。
論文 参考訳（メタデータ） (2023-11-22T01:42:23Z) - Diffusing Gaussian Mixtures for Generating Categorical Data [21.43283907118157]
本稿では,高品質なサンプル生成に着目した拡散モデルに基づく分類データの生成モデルを提案する。
評価手法は、分類データを生成するための異なる生成モデルの能力と限界を強調した。
論文 参考訳（メタデータ） (2023-03-08T14:55:32Z) - Reduce, Reuse, Recycle: Compositional Generation with Energy-Based Diffusion Models and MCMC [102.64648158034568]
拡散モデルは、多くの領域において、生成モデリングの一般的なアプローチとなっている。
本稿では,新しい構成演算子の利用を可能にする拡散モデルのエネルギーベースパラメータ化を提案する。
これらのサンプルは、幅広い問題にまたがって構成生成の顕著な改善につながっている。
論文 参考訳（メタデータ） (2023-02-22T18:48:46Z) - Closed-form Continuous-Depth Models [99.40335716948101]
連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。
我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
論文 参考訳（メタデータ） (2021-06-25T22:08:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。