論文の概要: Convergence analysis of OT-Flow for sample generation

• arxiv url: http://arxiv.org/abs/2403.16208v1
• Date: Sun, 24 Mar 2024 16:05:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-26 16:56:25.787269
• Title: Convergence analysis of OT-Flow for sample generation
• Title（参考訳）: 試料生成のためのOT流の収束解析
• Authors: Yang Jing, Lei Li,
• Abstract要約: 深層生成モデルは、基礎となるデータの分布を学習し、新しいデータを生成することを目的としている。 生成モデルの多様性と実際の高品質な生成性能にもかかわらず、そのほとんどは厳密な理論的収束証明を欠いている。 本研究では,深層生成モデルの1つであるOT-Flowの収束結果を確立することを目的としている。
• 参考スコア（独自算出の注目度）: 7.416150473911164
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep generative models aim to learn the underlying distribution of data and generate new ones. Despite the diversity of generative models and their high-quality generation performance in practice, most of them lack rigorous theoretical convergence proofs. In this work, we aim to establish some convergence results for OT-Flow, one of the deep generative models. First, by reformulating the framework of OT-Flow model, we establish the $\Gamma$-convergence of the formulation of OT-flow to the corresponding optimal transport (OT) problem as the regularization term parameter $\alpha$ goes to infinity. Second, since the loss function will be approximated by Monte Carlo method in training, we established the convergence between the discrete loss function and the continuous one when the sample number $N$ goes to infinity as well. Meanwhile, the approximation capability of the neural network provides an upper bound for the discrete loss function of the minimizers. The proofs in both aspects provide convincing assurances for OT-Flow.
• Abstract（参考訳）: 深層生成モデルは、基礎となるデータの分布を学習し、新しいデータを生成することを目的としている。 生成モデルの多様性と実際の高品質な生成性能にもかかわらず、そのほとんどは厳密な理論的収束証明を欠いている。 本研究では,深層生成モデルの1つであるOT-Flowの収束結果を確立することを目的としている。 まず、OT-Flowモデルの枠組みを再構築することにより、対応する最適輸送(OT)問題に対するOT-フローの定式化の$\Gamma$-convergenceを、正規化項パラメータ$\alpha$が無限に進むものとして確立する。 第二に、損失関数はモンテカルロ法によって訓練中に近似されるので、サンプル数$N$が無限大となるとき、離散損失関数と連続損失関数との収束性を確立した。 一方、ニューラルネットワークの近似能力は、最小化器の離散損失関数の上限を与える。 両方の面での証明は、OT-Flowの説得力のある保証を提供する。

関連論文リスト

• Derivative-Free Guidance in Continuous and Discrete Diffusion Models with Soft Value-Based Decoding [84.3224556294803]
  拡散モデルは、画像、分子、DNA、RNA、タンパク質配列の自然なデザイン空間を捉えるのに優れている。 これらの設計空間の自然性を保ちながら、下流の報酬関数を最適化することを目指している。 提案アルゴリズムは,中間雑音状態が将来高い報酬をもたらすことの先駆けとして,ソフトバリュー関数を統合する。
  論文  参考訳（メタデータ） (2024-08-15T16:47:59Z)
• A Sharp Convergence Theory for The Probability Flow ODEs of Diffusion Models [45.60426164657739]
  拡散型サンプリング器の非漸近収束理論を開発する。 我々は、$d/varepsilon$がターゲット分布を$varepsilon$トータル偏差距離に近似するのに十分であることを証明した。 我々の結果は、$ell$のスコア推定誤差がデータ生成プロセスの品質にどのように影響するかも特徴付ける。
  論文  参考訳（メタデータ） (2024-08-05T09:02:24Z)
• Amortizing intractable inference in diffusion models for vision, language, and control [89.65631572949702]
  本稿では,p(mathbfx)$以前の拡散生成モデルとブラックボックス制約,あるいは関数$r(mathbfx)$からなるモデルにおいて,データ上の後部サンプルである $mathbfxsim prm post(mathbfx)propto p(mathbfx)r(mathbfx)$について検討する。 我々は,データフリー学習目標である相対軌道バランスの正しさを,サンプルから抽出した拡散モデルの訓練のために証明する。
  論文  参考訳（メタデータ） (2024-05-31T16:18:46Z)
• Convergence of flow-based generative models via proximal gradient descent in Wasserstein space [20.771897445580723]
  フローベースの生成モデルは、データ生成と可能性の計算において一定の利点がある。 本研究では,進行流モデルによるデータ分布の生成を理論的に保証する。
  論文  参考訳（メタデータ） (2023-10-26T17:06:23Z)
• Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution [67.9215891673174]
  離散空間に対するスコアマッチングを自然に拡張する新たな損失として,スコアエントロピーを提案する。 標準言語モデリングタスク上で,Score Entropy Discrete Diffusionモデルをテストする。
  論文  参考訳（メタデータ） (2023-10-25T17:59:12Z)
• Distribution learning via neural differential equations: a nonparametric statistical perspective [1.4436965372953483]
  この研究は、確率変換によって訓練されたODEモデルによる分布学習のための最初の一般統計収束解析を確立する。 後者はクラス $mathcal F$ の$C1$-metric entropy で定量化できることを示す。 次に、この一般フレームワークを$Ck$-smoothターゲット密度の設定に適用し、関連する2つの速度場クラスに対する最小最適収束率を$mathcal F$:$Ck$関数とニューラルネットワークに設定する。
  論文  参考訳（メタデータ） (2023-09-03T00:21:37Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• On the Generalization Power of Overfitted Two-Layer Neural Tangent Kernel Models [42.72822331030195]
  min $ell$-norm overfitting solution for the neural tangent kernel (NTK) model of a two-layer neural network. (英語) 本研究では, 地上真理関数に応じて, NTKモデルの試験誤差は, 「二重日射」と異なる特性を示すことを示した。 このクラス以外の関数に対しては、$n$ と $p$ の両方が大きかったとしても 0 に減少しない一般化エラーの低い境界を提供します。
  論文  参考訳（メタデータ） (2021-03-09T06:24:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。