論文の概要: Functional Space Analysis of Local GAN Convergence
- arxiv url: http://arxiv.org/abs/2102.04448v1
- Date: Mon, 8 Feb 2021 18:59:46 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-09 15:32:11.447463
- Title: Functional Space Analysis of Local GAN Convergence
- Title(参考訳): 局所GAN収束の機能空間解析
- Authors: Valentin Khrulkov, Artem Babenko, Ivan Oseledets
- Abstract要約: 一般機能空間における対向訓練の局所的ダイナミクスについて検討する。
偏微分方程式の系としてどのように表現できるかを示す。
我々の視点では、GANの安定化によく使われる実践的なトリックについて、いくつかの洞察が得られている。
- 参考スコア(独自算出の注目度): 26.985600125290908
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent work demonstrated the benefits of studying continuous-time dynamics
governing the GAN training. However, this dynamics is analyzed in the model
parameter space, which results in finite-dimensional dynamical systems. We
propose a novel perspective where we study the local dynamics of adversarial
training in the general functional space and show how it can be represented as
a system of partial differential equations. Thus, the convergence properties
can be inferred from the eigenvalues of the resulting differential operator. We
show that these eigenvalues can be efficiently estimated from the target
dataset before training. Our perspective reveals several insights on the
practical tricks commonly used to stabilize GANs, such as gradient penalty,
data augmentation, and advanced integration schemes. As an immediate practical
benefit, we demonstrate how one can a priori select an optimal data
augmentation strategy for a particular generation task.
- Abstract(参考訳): 最近の研究は、GANトレーニングを統括する連続時間力学の研究の利点を示した。
しかし、このダイナミクスはモデルパラメータ空間で解析され、その結果有限次元のダイナミクス系となる。
本稿では,一般関数空間における逆訓練の局所的ダイナミクスを研究する新しい視点を提案し,偏微分方程式系として表現できることを示す。
したがって、収束特性は、得られた微分作用素の固有値から推定することができる。
これらの固有値は、トレーニング前にターゲットデータセットから効率的に推定できることを示す。
我々の視点では、勾配ペナルティやデータ拡張、高度な統合スキームなど、GANの安定化に一般的に使用される実践的手法に関するいくつかの知見が明らかになっている。
即効的な利点として、特定の生成タスクに対して最適なデータ拡張戦略を事前選択できることを実証する。
関連論文リスト
- Generative Modeling with Phase Stochastic Bridges [52.919600985186996]
拡散モデル(DM)は、連続入力のための最先端の生成モデルを表す。
我々はtextbfphase space dynamics に基づく新しい生成モデリングフレームワークを提案する。
我々のフレームワークは、動的伝播の初期段階において、現実的なデータポイントを生成する能力を示す。
論文 参考訳(メタデータ) (2023-10-11T18:38:28Z) - Learning invariant representations of time-homogeneous stochastic dynamical systems [27.127773672738535]
我々は,そのダイナミクスを忠実に捉えた状態の表現を学習する問題を研究する。
これは、転送演算子やシステムのジェネレータを学ぶのに役立ちます。
ニューラルネットワークに対する最適化問題として,優れた表現の探索が可能であることを示す。
論文 参考訳(メタデータ) (2023-07-19T11:32:24Z) - Inverse Dynamics Pretraining Learns Good Representations for Multitask
Imitation [66.86987509942607]
このようなパラダイムを模倣学習でどのように行うべきかを評価する。
本稿では,事前学習コーパスがマルチタスクのデモンストレーションから成り立つ環境について考察する。
逆動力学モデリングはこの設定に適していると主張する。
論文 参考訳(メタデータ) (2023-05-26T14:40:46Z) - Anamnesic Neural Differential Equations with Orthogonal Polynomial
Projections [6.345523830122166]
本稿では,長期記憶を強制し,基礎となる力学系の大域的表現を保存する定式化であるPolyODEを提案する。
提案手法は理論的保証に支えられ,過去と将来のデータの再構築において,過去の成果よりも優れていたことを実証する。
論文 参考訳(メタデータ) (2023-03-03T10:49:09Z) - Auxiliary Functions as Koopman Observables: Data-Driven Analysis of
Dynamical Systems via Polynomial Optimization [0.0]
本稿では,明示的なモデル発見を必要としないフレキシブルなデータ駆動型システム解析手法を提案する。
この手法は、データからクープマン演算子を近似する確立した手法に根ざし、数値的に解ける半定プログラムとして実装される。
論文 参考訳(メタデータ) (2023-03-02T18:44:18Z) - Semi-supervised Learning of Partial Differential Operators and Dynamical
Flows [68.77595310155365]
本稿では,超ネットワーク解法とフーリエニューラル演算子アーキテクチャを組み合わせた新しい手法を提案する。
本手法は, 1次元, 2次元, 3次元の非線形流体を含む様々な時間発展PDEを用いて実験を行った。
その結果、新しい手法は、監督点の時点における学習精度を向上し、任意の中間時間にその解を補間できることを示した。
論文 参考訳(メタデータ) (2022-07-28T19:59:14Z) - Learning Interacting Dynamical Systems with Latent Gaussian Process ODEs [13.436770170612295]
本研究では,対話対象の連続時間力学の不確実性を考慮したモデリングを初めて行った。
我々のモデルは、独立力学と信頼性のある不確実性推定との相互作用の両方を推測する。
論文 参考訳(メタデータ) (2022-05-24T08:36:25Z) - Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
平均場ランゲヴィン力学の収束速度解析について述べる。
ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
論文 参考訳(メタデータ) (2022-01-25T17:13:56Z) - Efficient Multidimensional Functional Data Analysis Using Marginal
Product Basis Systems [2.4554686192257424]
多次元関数データのサンプルから連続表現を学習するためのフレームワークを提案する。
本研究では, テンソル分解により, 得られた推定問題を効率的に解けることを示す。
我々は、ニューロイメージングにおける真のデータ応用で締めくくっている。
論文 参考訳(メタデータ) (2021-07-30T16:02:15Z) - A New Representation of Successor Features for Transfer across
Dissimilar Environments [60.813074750879615]
多くの実世界のRL問題は、異なるダイナミクスを持つ環境間での移動を必要とする。
ガウス過程を用いて後継特徴関数をモデル化する手法を提案する。
我々の理論的解析は、この手法の収束と、後続特徴関数のモデル化における有界誤差を証明している。
論文 参考訳(メタデータ) (2021-07-18T12:37:05Z) - On dissipative symplectic integration with applications to
gradient-based optimization [77.34726150561087]
本稿では,離散化を体系的に実現する幾何学的枠組みを提案する。
我々は、シンプレクティックな非保守的、特に散逸的なハミルトン系への一般化が、制御された誤差まで収束率を維持することができることを示す。
論文 参考訳(メタデータ) (2020-04-15T00:36:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。