論文の概要: Mechanisms of Projective Composition of Diffusion Models

• arxiv url: http://arxiv.org/abs/2502.04549v1
• Date: Thu, 06 Feb 2025 22:59:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-10 14:56:09.033909
• Title: Mechanisms of Projective Composition of Diffusion Models
• Title（参考訳）: 拡散モデルの射影構成のメカニズム
• Authors: Arwen Bradley, Preetum Nakkiran, David Berthelot, James Thornton, Joshua M. Susskind,
• Abstract要約: 本研究では,拡散モデルにおける構成の理論的基礎について考察し,分布外分布と長さ一般化に着目した。 作文が「仕事」を意味するかは明らかになっていない。 本研究では,(1)線形スコアの組み合わせが射影合成を確実に達成した場合,(2)逆拡散サンプリングが所望の合成を生成できるか否か,(3)合成が失敗する条件について検討する。
• 参考スコア（独自算出の注目度）: 18.766875024265993
• License:
• Abstract: We study the theoretical foundations of composition in diffusion models, with a particular focus on out-of-distribution extrapolation and length-generalization. Prior work has shown that composing distributions via linear score combination can achieve promising results, including length-generalization in some cases (Du et al., 2023; Liu et al., 2022). However, our theoretical understanding of how and why such compositions work remains incomplete. In fact, it is not even entirely clear what it means for composition to "work". This paper starts to address these fundamental gaps. We begin by precisely defining one possible desired result of composition, which we call projective composition. Then, we investigate: (1) when linear score combinations provably achieve projective composition, (2) whether reverse-diffusion sampling can generate the desired composition, and (3) the conditions under which composition fails. Finally, we connect our theoretical analysis to prior empirical observations where composition has either worked or failed, for reasons that were unclear at the time.
• Abstract（参考訳）: 本研究では,拡散モデルにおける構成の理論的基礎について考察し,分布外挿法と長さ一般化に着目した。 以前の研究は、線形スコアの組み合わせによる構成分布は、いくつかのケース(Du et al , 2023; Liu et al , 2022)における長さ一般化を含む有望な結果が得られることを示した。 しかし、そのような構成がなぜ機能するのかという理論的理解はいまだに不完全である。 実際、作曲が「働く」ということの意味が完全には明確ではない。 本稿はこれらの根本的なギャップに対処し始める。 まず、射影合成と呼ばれる合成の可能な結果の1つを正確に定義することから始める。 次に,(1)線形スコアの組み合わせが射影合成を確実に達成した場合,(2)逆拡散サンプリングが所望の合成を生成できるか否か,(3)合成が失敗する条件について検討する。 最後に、我々の理論分析を、当時不明であった理由から、組成が機能したか失敗したかの先例的な観察に結びつける。

関連論文リスト

• Towards Understanding Extrapolation: a Causal Lens [53.15488984371969]
  我々は、外挿がいつ可能かを理論的に理解し、それを実現するための原則的な方法を提供する。 この定式化の下では、外挿問題を潜在変数識別問題にキャストする。 この理論は、基礎となる多様体の滑らかさとシフト特性の間の複雑な相互作用を明らかにする。
  論文  参考訳（メタデータ） (2025-01-15T21:29:29Z)
• A Complexity-Based Theory of Compositionality [53.025566128892066]
  AIでは、構成表現は配布外一般化の強力な形式を可能にすることができる。 ここでは、構成性に関する直観を考慮し、拡張する構成性の公式な定義を提案する。 この定義は概念的には単純で量的であり、アルゴリズム情報理論に基礎を置いており、あらゆる表現に適用できる。
  論文  参考訳（メタデータ） (2024-10-18T18:37:27Z)
• How Diffusion Models Learn to Factorize and Compose [14.161975556325796]
  拡散モデルは、トレーニングセットに表示されない可能性のある要素を組み合わせた、フォトリアリスティックな画像を生成することができる。 本研究では,拡散モデルが構成可能な特徴の意味的意味的・要因的表現を学習するかどうかを考察する。
  論文  参考訳（メタデータ） (2024-08-23T17:59:03Z)
• Graph Stochastic Neural Process for Inductive Few-shot Knowledge Graph Completion [63.68647582680998]
  I-FKGC(inductive few-shot knowledge graph completion)と呼ばれる課題に焦点をあてる。 帰納的推論(inductive reasoning)の概念に着想を得て,I-FKGCを帰納的推論問題とした。 本稿では,仮説の連成分布をモデル化したニューラルプロセスに基づく仮説抽出器を提案する。 第2のモジュールでは、この仮説に基づいて、クエリセットのトリプルが抽出された仮説と一致するかどうかをテストするグラフアテンションベースの予測器を提案する。
  論文  参考訳（メタデータ） (2024-08-03T13:37:40Z)
• When does compositional structure yield compositional generalization? A kernel theory [0.0]
  固定表現を持つカーネルモデルにおける合成一般化の理論を示す。 学習データのバイアスから生じる合成一般化における新しい障害モードを同定する。 この研究は、トレーニングデータの統計的構造が構成一般化にどのように影響するかに関する理論的視点を提供する。
  論文  参考訳（メタデータ） (2024-05-26T00:50:11Z)
• What makes Models Compositional? A Theoretical View: With Supplement [60.284698521569936]
  本稿では,構成関数の一般神経-記号的定義とその構成複雑性について述べる。 既存の汎用および特殊目的のシーケンス処理モデルがこの定義にどのように適合しているかを示し、それらを用いて構成複雑性を分析する。
  論文  参考訳（メタデータ） (2024-05-02T20:10:27Z)
• The Compositional Structure of Bayesian Inference [0.0]
  ベイズの規則は、新たな証拠に照らして私たちの信念を更新するために、因果過程を逆転する方法を教えてくれる。 本稿では, この構成規則の構造について考察し, 関数型プログラミングにおけるレンズパターンとの関係について述べる。
  論文  参考訳（メタデータ） (2023-05-10T12:57:42Z)
• Do Deep Neural Networks Capture Compositionality in Arithmetic Reasoning? [31.692400722222278]
  算術的シンボリック推論において、構成性に関するスキルツリーを導入し、階層的な複雑性レベルと3つの構成性次元(体系性、生産性、置換性)を定義する。 実験の結果, 3種類の構成のうち, モデルが最も体系性に苦慮し, 比較的単純な構成でも性能が劣っていることが明らかとなった。
  論文  参考訳（メタデータ） (2023-02-15T18:59:04Z)
• Nested Counterfactual Identification from Arbitrary Surrogate Experiments [95.48089725859298]
  観測と実験の任意の組み合わせからネスト反事実の同定について検討した。 具体的には、任意のネストされた反事実を非ネストされたものへ写像できる反ファクト的非ネスト定理(英語版)(CUT)を証明する。
  論文  参考訳（メタデータ） (2021-07-07T12:51:04Z)
• Linguistically Driven Graph Capsule Network for Visual Question Reasoning [153.76012414126643]
  我々は「言語的に駆動されるグラフカプセルネットワーク」と呼ばれる階層的構成推論モデルを提案する。 具体的には,各カプセルを最下層に結合させ,元の質問に1つの単語を埋め込んだ言語的埋め込みを視覚的証拠で橋渡しする。 CLEVRデータセット、CLEVR合成生成テスト、およびFinalQAデータセットの実験は、我々のエンドツーエンドモデルの有効性と構成一般化能力を示す。
  論文  参考訳（メタデータ） (2020-03-23T03:34:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。