論文の概要: On Kinetic Optimal Probability Paths for Generative Models
- arxiv url: http://arxiv.org/abs/2306.06626v1
- Date: Sun, 11 Jun 2023 08:54:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-13 17:35:40.045022
- Title: On Kinetic Optimal Probability Paths for Generative Models
- Title（参考訳）: 生成モデルに対する最適確率経路について
- Authors: Neta Shaul, Ricky T. Q. Chen, Maximilian Nickel, Matt Le, Yaron Lipman
- Abstract要約: 近年成功した生成モデルは、ニューラルネットワークを訓練例にノイズを伴って、a-prioriの定義したトラクタブル確率密度パスに適合させることで訓練される。
本稿では,拡散経路を例に含むガウス確率経路の空間を考察し,ある有用な意味での最適成分を求める。
- 参考スコア（独自算出の注目度）: 42.12806492124782
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent successful generative models are trained by fitting a neural network
to an a-priori defined tractable probability density path taking noise to
training examples. In this paper we investigate the space of Gaussian
probability paths, which includes diffusion paths as an instance, and look for
an optimal member in some useful sense. In particular, minimizing the Kinetic
Energy (KE) of a path is known to make particles' trajectories simple, hence
easier to sample, and empirically improve performance in terms of likelihood of
unseen data and sample generation quality. We investigate Kinetic Optimal (KO)
Gaussian paths and offer the following observations: (i) We show the KE takes a
simplified form on the space of Gaussian paths, where the data is incorporated
only through a single, one dimensional scalar function, called the \emph{data
separation function}. (ii) We characterize the KO solutions with a one
dimensional ODE. (iii) We approximate data-dependent KO paths by approximating
the data separation function and minimizing the KE. (iv) We prove that the data
separation function converges to $1$ in the general case of arbitrary
normalized dataset consisting of $n$ samples in $d$ dimension as
$n/\sqrt{d}\rightarrow 0$. A consequence of this result is that the Conditional
Optimal Transport (Cond-OT) path becomes \emph{kinetic optimal} as
$n/\sqrt{d}\rightarrow 0$. We further support this theory with empirical
experiments on ImageNet.
- Abstract（参考訳）: 最近の成功した生成モデルは、訓練例にノイズを取り込むa-prioriの定義された確率密度経路にニューラルネットワークを適合させることによって訓練される。
本稿では,拡散経路を例に含むガウス確率経路の空間を考察し,ある有用な意味での最適成分を求める。
特に、経路の運動エネルギー(KE)を最小化することは、粒子の軌道をシンプルにし、サンプリングしやすくし、見当たらないデータやサンプル生成品質の可能性を経験的に改善することが知られている。
運動最適(KO)ガウス経路について検討し、以下の観察結果を示す。
i) KE はガウスパスの空間上で単純化された形式をとっており、そこではデータは 1 次元スカラー関数によってのみ取り込まれ、これは \emph{data separation function} と呼ばれる。
(II) 1次元ODEで KO 解を特徴づける。
3)データ分離関数を近似し,KEを最小化することにより,データ依存の KO 経路を近似する。
(iv) 任意の正規化データセットにおいて、データ分離関数が$n/\sqrt{d}\rightarrow 0$ として$d$次元で$n$ のサンプルからなる場合、$$$ に収束することを証明する。
その結果、条件付き最適輸送路 (cond-ot) は $n/\sqrt{d}\rightarrow 0$ として \emph{kinetic optimal} となる。
我々はimagenetの実証実験により、この理論をさらに支持する。
関連論文リスト
- Straightness of Rectified Flow: A Theoretical Insight into Wasserstein Convergence [54.580605276017096]
拡散モデルは画像生成とデノナイズのための強力なツールとして登場した。
最近、Liuらは新しい代替生成モデル Rectified Flow (RF) を設計した。
RFは,一連の凸最適化問題を用いて,ノイズからデータへの直流軌跡の学習を目的としている。
論文 参考訳（メタデータ） (2024-10-19T02:36:11Z) - A Sharp Convergence Theory for The Probability Flow ODEs of Diffusion Models [45.60426164657739]
拡散型サンプリング器の非漸近収束理論を開発する。
我々は、$d/varepsilon$がターゲット分布を$varepsilon$トータル偏差距離に近似するのに十分であることを証明した。
我々の結果は、$ell$のスコア推定誤差がデータ生成プロセスの品質にどのように影響するかも特徴付ける。
論文 参考訳（メタデータ） (2024-08-05T09:02:24Z) - Gradient-Based Feature Learning under Structured Data [57.76552698981579]
異方性設定では、一般的に使用される球面勾配力学は真の方向を回復できないことがある。
バッチ正規化を連想させる適切な重み正規化は、この問題を軽減することができることを示す。
特に、スパイクモデルの下では、勾配に基づくトレーニングのサンプルの複雑さは情報指数とは独立にできる。
論文 参考訳（メタデータ） (2023-09-07T16:55:50Z) - Distribution learning via neural differential equations: a nonparametric
statistical perspective [1.4436965372953483]
この研究は、確率変換によって訓練されたODEモデルによる分布学習のための最初の一般統計収束解析を確立する。
後者はクラス $mathcal F$ の$C1$-metric entropy で定量化できることを示す。
次に、この一般フレームワークを$Ck$-smoothターゲット密度の設定に適用し、関連する2つの速度場クラスに対する最小最適収束率を$mathcal F$:$Ck$関数とニューラルネットワークに設定する。
論文 参考訳（メタデータ） (2023-09-03T00:21:37Z) - Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative
Models [49.81937966106691]
我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。
従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
論文 参考訳（メタデータ） (2023-06-15T16:30:08Z) - Achieving the Asymptotically Optimal Sample Complexity of Offline Reinforcement Learning: A DRO-Based Approach [36.88301225561535]
オフライン強化学習は、アクティブな探索なしに、事前に収集されたデータセットから学習することを目的としている。
既存のアプローチでは、不確実性に対する悲観的なスタンスを採用し、探索されていない状態-作用対の報酬を、保守的に値関数を推定する。
分散ロバスト最適化(DRO)に基づくアプローチはこれらの課題にも対処でき、漸近的に最小限の最適化であることを示す。
論文 参考訳（メタデータ） (2023-05-22T17:50:18Z) - Multisample Flow Matching: Straightening Flows with Minibatch Couplings [38.82598694134521]
連続時間生成モデルを訓練するためのシミュレーション不要な手法は、ノイズ分布と個々のデータサンプルの間の確率経路を構築する。
データとノイズサンプル間の非自明な結合を利用するより一般的なフレームワークであるMultisample Flow Matchingを提案する。
提案手法は,イメージネットデータセットのサンプル一貫性を向上し,低コストなサンプル生成に繋がることを示す。
論文 参考訳（メタデータ） (2023-04-28T11:33:08Z) - Score-based Diffusion Models in Function Space [140.792362459734]
拡散モデルは、最近、生成モデリングの強力なフレームワークとして登場した。
本稿では,関数空間における拡散モデルをトレーニングするためのDDO(Denoising Diffusion Operators)という,数学的に厳密なフレームワークを提案する。
データ解像度に依存しない固定コストで、対応する離散化アルゴリズムが正確なサンプルを生成することを示す。
論文 参考訳（メタデータ） (2023-02-14T23:50:53Z) - A Statistical Learning View of Simple Kriging [0.0]
統計的学習の観点から,簡単なKrigingタスクを解析する。
目標は、最小2次リスクで他の場所にある未知の値を予測することである。
我々は、真の最小化を模倣するプラグイン予測則の過剰なリスクに対して、$O_mathbbP (1/sqrtn)$の非漸近境界を証明した。
論文 参考訳（メタデータ） (2022-02-15T12:46:43Z) - Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。
そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
論文 参考訳（メタデータ） (2021-08-25T21:30:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。