論文の概要: A Differential Equation Approach for Wasserstein GANs and Beyond

• arxiv url: http://arxiv.org/abs/2405.16351v1
• Date: Sat, 25 May 2024 21:03:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-05-28 21:47:39.505046
• Title: A Differential Equation Approach for Wasserstein GANs and Beyond
• Title（参考訳）: ワッサーシュタイン GAN の微分方程式による解法
• Authors: Zachariah Malik, Yu-Jui Huang,
• Abstract要約: 我々は、WGAN(Wsserstein Generative Adversarial Network)を見るための新しい理論レンズを提案する。 このフレームワークでは、分布依存常微分方程式(ODE)に着想を得た離散化を定義する。 このような離散化が収束していることを示し、W1フォワード・オイラー (W1-FE) と呼ぶこの離散化を実装するための対戦訓練手法を提案する。
• 参考スコア（独自算出の注目度）: 1.2277343096128712
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a new theoretical lens to view Wasserstein generative adversarial networks (WGANs). In our framework, we define a discretization inspired by a distribution-dependent ordinary differential equation (ODE). We show that such a discretization is convergent and propose a viable class of adversarial training methods to implement this discretization, which we call W1 Forward Euler (W1-FE). In particular, the ODE framework allows us to implement persistent training, a novel training technique that cannot be applied to typical WGAN algorithms without the ODE interpretation. Remarkably, when we do not implement persistent training, we prove that our algorithms simplify to existing WGAN algorithms; when we increase the level of persistent training appropriately, our algorithms outperform existing WGAN algorithms in both low- and high-dimensional examples.
• Abstract（参考訳）: 本稿では,WGAN(Warsserstein Generative Adversarial Network)を視認する理論レンズを提案する。 本フレームワークでは,分布依存常微分方程式(ODE)に着想を得た離散化を定義する。 このような離散化が収束していることを示し、W1フォワード・オイラー (W1-FE) と呼ぶこの離散化を実装するための対戦訓練手法を提案する。 特に、ODEフレームワークは、ODE解釈なしでは一般的なWGANアルゴリズムには適用できない、新しいトレーニング技術である永続的なトレーニングを実装することができる。 注意すべきは、永続的トレーニングを実装しない場合、我々のアルゴリズムが既存のWGANアルゴリズムに単純化されることを証明し、永続的トレーニングのレベルを適切に引き上げると、我々のアルゴリズムは、低次元と高次元の両方の例において既存のWGANアルゴリズムより優れていることである。

関連論文リスト

• Parallelly Tempered Generative Adversarial Networks [7.94957965474334]
  生成的敵対ネットワーク(GAN)は、生成的人工知能(AI)における代表的バックボーンモデルである。 本研究は,モード崩壊の存在下でのトレーニングの不安定性と非効率性を,対象分布におけるマルチモーダルにリンクすることで解析する。 新たに開発したGAN目標関数により, 生成元は同時に全ての誘電分布を学習することができる。
  論文  参考訳（メタデータ） (2024-11-18T18:01:13Z)
• On the Wasserstein Convergence and Straightness of Rectified Flow [54.580605276017096]
  Rectified Flow (RF) は、ノイズからデータへの直流軌跡の学習を目的とした生成モデルである。 RFのサンプリング分布とターゲット分布とのワッサーシュタイン距離に関する理論的解析を行った。 本稿では,従来の経験的知見と一致した1-RFの特異性と直線性を保証する一般的な条件について述べる。
  論文  参考訳（メタデータ） (2024-10-19T02:36:11Z)
• Bregman-divergence-based Arimoto-Blahut algorithm [53.64687146666141]
  本稿では,Arimoto-BlahutアルゴリズムをBregman-Diversergenceシステム上で定義された一般関数に一般化する。 本稿では,古典的および量子速度歪み理論に適用可能な凸最適化自由アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-08-10T06:16:24Z)
• Generative Modeling by Minimizing the Wasserstein-2 Loss [1.2277343096128712]
  本稿では,分布依存常微分方程式(ODE)を用いて2次ワッサーシュタイン損失($W$損失)を最小化することにより,教師なし学習問題にアプローチする。 主要な結果から、ODE の時空間法則は、$W$損失に対して勾配流を形成し、真のデータ分布に指数関数的に収束することを示す。 アルゴリズムはスキームに従い、永続的なトレーニングを適用することで設計されます。
  論文  参考訳（メタデータ） (2024-06-19T15:15:00Z)
• Adaptive Federated Learning Over the Air [108.62635460744109]
  オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。 解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
  論文  参考訳（メタデータ） (2024-03-11T09:10:37Z)
• GRAWA: Gradient-based Weighted Averaging for Distributed Training of Deep Learning Models [9.377424534371727]
  時間制約環境における深層モデルの分散トレーニングについて検討する。 本稿では,労働者の平均値として計算された中心変数に対して,労働者を定期的に引き出すアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-07T04:22:34Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)
• Implementation and (Inverse Modified) Error Analysis for implicitly-templated ODE-nets [0.0]
  我々は,暗黙的な数値初期値問題解法に基づいてテンプレート化されたODE-netを用いてデータから未知のダイナミクスを学習することに焦点を当てた。 我々は,非ロール型暗黙的スキームを用いて,ODE-netの逆修正誤り解析を行い,解釈を容易にする。 我々は,誤差のレベルを監視し,暗黙的な解反復数に適応する適応アルゴリズムを定式化する。
  論文  参考訳（メタデータ） (2023-03-31T06:47:02Z)
• MonoFlow: Rethinking Divergence GANs via the Perspective of Wasserstein Gradient Flows [34.795115757545915]
  統合された生成モデリングフレームワーク、MonoFlowを紹介します。 私たちのフレームワークでは、まずMonoFlowのベクトルフィールドを取得する手順として、逆トレーニングを見ることができる。 また,変動発散最小化と逆行訓練の基本的な相違も明らかにした。
  論文  参考訳（メタデータ） (2023-02-02T13:05:27Z)
• Distributional Gradient Matching for Learning Uncertain Neural Dynamics Models [38.17499046781131]
  本稿では,数値積分ボトルネックを回避するため,不確実なニューラル・オーダを推定するための新しい手法を提案する。 我々のアルゴリズム - 分布勾配マッチング (DGM) は、よりスムーズなモデルと動的モデルを共同で訓練し、ワッサーシュタイン損失を最小化することでそれらの勾配と一致する。 数値積分に基づく従来の近似推論手法と比較して,我々の手法は訓練がより速く,これまで見つからなかった軌道の予測がより高速であり,ニューラルODEの文脈では,はるかに正確であることがわかった。
  論文  参考訳（メタデータ） (2021-06-22T08:40:51Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)
• Training Generative Adversarial Networks by Solving Ordinary Differential Equations [54.23691425062034]
  GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。 この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。 本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
  論文  参考訳（メタデータ） (2020-10-28T15:23:49Z)
• A Distributed Training Algorithm of Generative Adversarial Networks with Quantized Gradients [8.202072658184166]
  本稿では,量子化勾配を用いた分散GAN学習アルゴリズムDQGANを提案する。 この新しい方法は、OMDアルゴリズムと呼ばれる特定の単一マシンアルゴリズムに基づいてGANを訓練し、一般的な$delta$-approximate圧縮器を満たす任意の勾配圧縮手法に適用できる。 理論的には、DQGANアルゴリズムの1次定常点への非漸近収束を確立し、提案アルゴリズムが線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2020-10-26T06:06:43Z)
• Adaptive Discretization for Model-Based Reinforcement Learning [10.21634042036049]
  本稿では,適応離散化手法を導入し,効率的なモデルに基づくエピソード強化学習アルゴリズムを設計する。 我々のアルゴリズムは、空間の適応的な離散化を維持するために拡張された楽観的なワンステップ値反復に基づいている。
  論文  参考訳（メタデータ） (2020-07-01T19:36:46Z)
• STEER: Simple Temporal Regularization For Neural ODEs [80.80350769936383]
  トレーニング中のODEの終了時刻をランダムにサンプリングする新しい正規化手法を提案する。 提案された正規化は実装が簡単で、オーバーヘッドを無視でき、様々なタスクで有効である。 本稿では,フローの正規化,時系列モデル,画像認識などの実験を通じて,提案した正規化がトレーニング時間を大幅に短縮し,ベースラインモデルよりも性能を向上できることを示す。
  論文  参考訳（メタデータ） (2020-06-18T17:44:50Z)
• Cumulant GAN [17.4556035872983]
  GAN(Generative Adversarial Networks)を学習するための新しい損失関数を提案する。 対応する最適化問題は R'enyi divergence minimization と同値であることを示す。 我々は,画像生成がWasserstein GANに対してより堅牢であることを実験的に実証した。
  論文  参考訳（メタデータ） (2020-06-11T17:23:02Z)
• A Distributional Analysis of Sampling-Based Reinforcement Learning Algorithms [67.67377846416106]
  定常ステップサイズに対する強化学習アルゴリズムの理論解析に対する分布的アプローチを提案する。 本稿では,TD($lambda$)や$Q$-Learningのような値ベースの手法が,関数の分布空間で制約のある更新ルールを持つことを示す。
  論文  参考訳（メタデータ） (2020-03-27T05:13:29Z)
• Interpolation Technique to Speed Up Gradients Propagation in Neural ODEs [71.26657499537366]
  本稿では,ニューラルネットワークモデルにおける勾配の効率的な近似法を提案する。 我々は、分類、密度推定、推論近似タスクにおいて、ニューラルODEをトレーニングするリバースダイナミック手法と比較する。
  論文  参考訳（メタデータ） (2020-03-11T13:15:57Z)
• Nested-Wasserstein Self-Imitation Learning for Sequence Generation [158.19606942252284]
  分布意味マッチングのためのネスト・ワッサーシュタイン距離の概念を提案する。 ネストされたワッサーシュタインの自己想像学習フレームワークを開発し、歴史ある高次列を利用するようモデルに奨励する。
  論文  参考訳（メタデータ） (2020-01-20T02:19:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。