論文の概要: Latent Abstractions in Generative Diffusion Models
- arxiv url: http://arxiv.org/abs/2410.03368v1
- Date: Fri, 4 Oct 2024 12:34:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-02 22:48:52.572300
- Title: Latent Abstractions in Generative Diffusion Models
- Title（参考訳）: 生成拡散モデルにおける潜在抽象化
- Authors: Giulio Franzese, Mattia Martini, Giulio Corallo, Paolo Papotti, Pietro Michiardi,
- Abstract要約: 拡散に基づく生成モデルが画像などの高次元データをどのように生成するかを,低次元の潜在抽象集合の表現に暗黙的に依存して検討する。
我々は,NLFを拡張した理論的枠組みを提案し,SDEに基づく生成モデルについて一意に考察する。
- 参考スコア（独自算出の注目度）: 13.344019183402867
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this work we study how diffusion-based generative models produce high-dimensional data, such as an image, by implicitly relying on a manifestation of a low-dimensional set of latent abstractions, that guide the generative process. We present a novel theoretical framework that extends NLF, and that offers a unique perspective on SDE-based generative models. The development of our theory relies on a novel formulation of the joint (state and measurement) dynamics, and an information-theoretic measure of the influence of the system state on the measurement process. According to our theory, diffusion models can be cast as a system of SDE, describing a non-linear filter in which the evolution of unobservable latent abstractions steers the dynamics of an observable measurement process (corresponding to the generative pathways). In addition, we present an empirical study to validate our theory and previous empirical results on the emergence of latent abstractions at different stages of the generative process.
- Abstract（参考訳）: 本研究では,拡散に基づく生成モデルが画像などの高次元データをどのように生成するかを,低次元の潜在抽象概念の表現に暗黙的に頼って検討し,生成過程を導く。
我々は,NLFを拡張した理論的枠組みを提案し,SDEに基づく生成モデルについて一意に考察する。
本理論の進展は, 関節(状態および測定)力学の新たな定式化と, システム状態が測定過程に与える影響の情報理論的尺度に依存する。
我々の理論によれば、拡散モデルはSDEのシステムとしてキャストすることができ、観測不可能な遅延抽象の進化が観測可能な測定過程(生成経路に対応する)のダイナミクスを操縦する非線形フィルタを記述することができる。
さらに、生成過程の異なる段階における潜伏抽象の出現に関する、我々の理論と過去の経験的結果を検証するための実証的研究を行った。
関連論文リスト
- Geometric Trajectory Diffusion Models [58.853975433383326]
生成モデルは3次元幾何学システムの生成において大きな可能性を示してきた。
既存のアプローチは静的構造のみで動作し、物理系は常に自然界において動的であるという事実を無視する。
本研究では3次元軌跡の時間分布をモデル化する最初の拡散モデルである幾何軌道拡散モデル(GeoTDM)を提案する。
論文 参考訳（メタデータ） (2024-10-16T20:36:41Z) - Neural Message Passing Induced by Energy-Constrained Diffusion [79.9193447649011]
本稿では,MPNNのメカニズムを理解するための原理的解釈可能なフレームワークとして,エネルギー制約付き拡散モデルを提案する。
データ構造が(グラフとして)観察されたり、部分的に観察されたり、完全に観察されなかったりした場合に、新しいモデルが有望な性能が得られることを示す。
論文 参考訳（メタデータ） (2024-09-13T17:54:41Z) - Learning Discrete Concepts in Latent Hierarchical Models [73.01229236386148]
自然の高次元データから学習する概念は、ヒューマンアライメントと解釈可能な機械学習モデルの構築の可能性を秘めている。
我々は概念を階層的因果モデルを通して関連付けられた離散潜在因果変数として定式化する。
我々は、理論的な主張を合成データ実験で裏付ける。
論文 参考訳（メタデータ） (2024-06-01T18:01:03Z) - Neural Flow Diffusion Models: Learnable Forward Process for Improved Diffusion Modelling [2.1779479916071067]
より広い範囲のプロセスをサポートすることで拡散モデルを強化する新しいフレームワークを提案する。
また,前処理を学習するための新しいパラメータ化手法を提案する。
結果はNFDMの汎用性と幅広い応用の可能性を評価する。
論文 参考訳（メタデータ） (2024-04-19T15:10:54Z) - An Overview of Diffusion Models: Applications, Guided Generation, Statistical Rates and Optimization [59.63880337156392]
拡散モデルはコンピュータビジョン、オーディオ、強化学習、計算生物学において大きな成功を収めた。
経験的成功にもかかわらず、拡散モデルの理論は非常に限定的である。
本稿では,前向きな理論や拡散モデルの手法を刺激する理論的露光について述べる。
論文 参考訳（メタデータ） (2024-04-11T14:07:25Z) - ODE-based Recurrent Model-free Reinforcement Learning for POMDPs [15.030970899252601]
我々は,POMDPを解くために,新しいODEベースのリカレントモデルとモデルレス強化学習フレームワークを組み合わせる。
様々なPO連続制御タスクとメタRLタスクにまたがる手法の有効性を実験的に実証した。
提案手法は,不規則にサンプリングされた時系列をモデル化するODEの能力のため,不規則な観測に対して頑健であることを示す。
論文 参考訳（メタデータ） (2023-09-25T12:13:56Z) - Geometric Neural Diffusion Processes [55.891428654434634]
拡散モデルの枠組みを拡張して、無限次元モデリングに一連の幾何学的先行を組み込む。
これらの条件で、生成関数モデルが同じ対称性を持つことを示す。
論文 参考訳（メタデータ） (2023-07-11T16:51:38Z) - Interpretable ODE-style Generative Diffusion Model via Force Field
Construction [0.0]
本稿では,数理的な観点からODE型生成拡散モデルを構築するのに適した様々な物理モデルを特定することを目的とする。
我々は,本手法で同定された理論モデルを用いて,新しい拡散モデル手法の開発を行うケーススタディを行う。
論文 参考訳（メタデータ） (2023-03-14T16:58:11Z) - A Reparameterized Discrete Diffusion Model for Text Generation [39.0145272152805]
本研究は, 離散拡散確率モデルと自然言語生成への応用に関する研究である。
離散拡散過程からサンプリングの代替的かつ等価な定式化を導出する。
本研究では,既存の拡散モデルに対して,テキスト生成能力を評価するための広範囲な実験を行った。
論文 参考訳（メタデータ） (2023-02-11T16:26:57Z) - An optimal control perspective on diffusion-based generative modeling [9.806130366152194]
微分方程式(SDE)に基づく最適制御と生成モデルとの接続を確立する。
特にハミルトン・ヤコビ・ベルマン方程式を導出し、基礎となるSDE限界の対数密度の進化を制御している。
非正規化密度から抽出する新しい拡散法を開発した。
論文 参考訳（メタデータ） (2022-11-02T17:59:09Z) - A Survey on Generative Diffusion Model [75.93774014861978]
拡散モデルは、深層生成モデルの新たなクラスである。
時間を要する反復生成過程や高次元ユークリッド空間への閉じ込めなど、いくつかの制限がある。
本調査では,拡散モデルの向上を目的とした高度な手法を多数提示する。
論文 参考訳（メタデータ） (2022-09-06T16:56:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。