論文の概要: Convergence analysis of OT-Flow for sample generation
- arxiv url: http://arxiv.org/abs/2403.16208v1
- Date: Sun, 24 Mar 2024 16:05:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-26 16:56:25.787269
- Title: Convergence analysis of OT-Flow for sample generation
- Title(参考訳): 試料生成のためのOT流の収束解析
- Authors: Yang Jing, Lei Li,
- Abstract要約: 深層生成モデルは、基礎となるデータの分布を学習し、新しいデータを生成することを目的としている。
生成モデルの多様性と実際の高品質な生成性能にもかかわらず、そのほとんどは厳密な理論的収束証明を欠いている。
本研究では,深層生成モデルの1つであるOT-Flowの収束結果を確立することを目的としている。
- 参考スコア(独自算出の注目度): 7.416150473911164
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep generative models aim to learn the underlying distribution of data and generate new ones. Despite the diversity of generative models and their high-quality generation performance in practice, most of them lack rigorous theoretical convergence proofs. In this work, we aim to establish some convergence results for OT-Flow, one of the deep generative models. First, by reformulating the framework of OT-Flow model, we establish the $\Gamma$-convergence of the formulation of OT-flow to the corresponding optimal transport (OT) problem as the regularization term parameter $\alpha$ goes to infinity. Second, since the loss function will be approximated by Monte Carlo method in training, we established the convergence between the discrete loss function and the continuous one when the sample number $N$ goes to infinity as well. Meanwhile, the approximation capability of the neural network provides an upper bound for the discrete loss function of the minimizers. The proofs in both aspects provide convincing assurances for OT-Flow.
- Abstract(参考訳): 深層生成モデルは、基礎となるデータの分布を学習し、新しいデータを生成することを目的としている。
生成モデルの多様性と実際の高品質な生成性能にもかかわらず、そのほとんどは厳密な理論的収束証明を欠いている。
本研究では,深層生成モデルの1つであるOT-Flowの収束結果を確立することを目的としている。
まず、OT-Flowモデルの枠組みを再構築することにより、対応する最適輸送(OT)問題に対するOT-フローの定式化の$\Gamma$-convergenceを、正規化項パラメータ$\alpha$が無限に進むものとして確立する。
第二に、損失関数はモンテカルロ法によって訓練中に近似されるので、サンプル数$N$が無限大となるとき、離散損失関数と連続損失関数との収束性を確立した。
一方、ニューラルネットワークの近似能力は、最小化器の離散損失関数の上限を与える。
両方の面での証明は、OT-Flowの説得力のある保証を提供する。
関連論文リスト
- Boundary-aware Decoupled Flow Networks for Realistic Extreme Rescaling [49.215957313126324]
Invertible rescaling Network (IRN) やgenerative adversarial Network (GAN) などを含む最近の生成手法は、画像再スケーリングにおいて例外的な性能を示した。
しかし、IRNベースの手法は過度に滑らかな結果を生成する傾向にあり、一方、GANベースの手法は偽の細部を容易に生成する。
本稿では,現実的かつ視覚的に満足な結果を生成するために,境界対応デカップリングフローネットワーク(BDFlow)を提案する。
論文 参考訳(メタデータ) (2024-05-05T14:05:33Z) - Convergence of flow-based generative models via proximal gradient
descent in Wasserstein space [22.691805716358903]
フローベースの生成モデルは、データ生成と可能性の計算において一定の利点がある。
本稿では,JKOフローモデルと呼ばれるプログレッシブフローモデルを用いて,データ分布の生成を理論的に保証する。
論文 参考訳(メタデータ) (2023-10-26T17:06:23Z) - Discrete Diffusion Modeling by Estimating the Ratios of the Data
Distribution [76.33705947080871]
離散空間に対するスコアマッチングを自然に拡張する新たな損失として,スコアエントロピーを提案する。
標準言語モデリングタスク上で,Score Entropy Discrete Diffusionモデルをテストする。
論文 参考訳(メタデータ) (2023-10-25T17:59:12Z) - Distribution learning via neural differential equations: a nonparametric
statistical perspective [1.4436965372953483]
この研究は、確率変換によって訓練されたODEモデルによる分布学習のための最初の一般統計収束解析を確立する。
後者はクラス $mathcal F$ の$C1$-metric entropy で定量化できることを示す。
次に、この一般フレームワークを$Ck$-smoothターゲット密度の設定に適用し、関連する2つの速度場クラスに対する最小最適収束率を$mathcal F$:$Ck$関数とニューラルネットワークに設定する。
論文 参考訳(メタデータ) (2023-09-03T00:21:37Z) - Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative
Models [49.81937966106691]
我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。
従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
論文 参考訳(メタデータ) (2023-06-15T16:30:08Z) - A view of mini-batch SGD via generating functions: conditions of
convergence, phase transitions, benefit from negative momenta [14.857119814202754]
運動量を持つミニバッチSGDは、大きな予測モデルを学ぶための基本的なアルゴリズムである。
そこで我々は,線形モデルに対する最小バッチSGDを,異なるモータとバッチサイズで解析する新しい分析フレームワークを開発した。
論文 参考訳(メタデータ) (2022-06-22T14:15:35Z) - Deep Equilibrium Optical Flow Estimation [80.80992684796566]
最近のSOTA(State-of-the-art)光フローモデルでは、従来のアルゴリズムをエミュレートするために有限ステップの更新操作を使用する。
これらのRNNは大きな計算とメモリオーバーヘッドを課し、そのような安定した推定をモデル化するために直接訓練されていない。
暗黙的層の無限レベル固定点として直接流れを解く手法として,Deep equilibrium Flow estimatorを提案する。
論文 参考訳(メタデータ) (2022-04-18T17:53:44Z) - Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。
ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。
本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文 参考訳(メタデータ) (2021-06-06T19:08:53Z) - Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。
彼らは不利な姿勢と収束の不安定さに悩まされる。
本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
論文 参考訳(メタデータ) (2021-06-06T18:05:02Z) - On the Generalization Power of Overfitted Two-Layer Neural Tangent
Kernel Models [42.72822331030195]
min $ell$-norm overfitting solution for the neural tangent kernel (NTK) model of a two-layer neural network. (英語)
本研究では, 地上真理関数に応じて, NTKモデルの試験誤差は, 「二重日射」と異なる特性を示すことを示した。
このクラス以外の関数に対しては、$n$ と $p$ の両方が大きかったとしても 0 に減少しない一般化エラーの低い境界を提供します。
論文 参考訳(メタデータ) (2021-03-09T06:24:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。