論文の概要: Conjugate Gradient Method for Generative Adversarial Networks
- arxiv url: http://arxiv.org/abs/2203.14495v1
- Date: Mon, 28 Mar 2022 04:44:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-30 06:13:15.714765
- Title: Conjugate Gradient Method for Generative Adversarial Networks
- Title（参考訳）: 生成逆ネットワークに対する共役勾配法
- Authors: Hiroki Naganuma, Hideaki Iiduka
- Abstract要約: 深層ニューラルネットワークモデルの密度関数と密度関数のJensen-Shannon分散を計算することは不可能である。
GAN(Generative Adversarial Network)は、この問題をジェネレータと識別器という2つのモデルで識別する問題として定式化することができる。
本稿では,GANの局所的なナッシュ平衡問題の解法として共役勾配法を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While the generative model has many advantages, it is not feasible to
calculate the Jensen-Shannon divergence of the density function of the data and
the density function of the model of deep neural networks; for this reason,
various alternative approaches have been developed. Generative adversarial
networks (GANs) can be used to formulate this problem as a discriminative
problem with two models, a generator and a discriminator whose learning can be
formulated in the context of game theory and the local Nash equilibrium. Since
this optimization is more difficult than minimization of a single objective
function, we propose to apply the conjugate gradient method to solve the local
Nash equilibrium problem in GANs. We give a proof and convergence analysis
under mild assumptions showing that the proposed method converges to a local
Nash equilibrium with three different learning-rate schedules including a
constant learning rate. Furthermore, we demonstrate the convergence of a simple
toy problem to a local Nash equilibrium and compare the proposed method with
other optimization methods in experiments using real-world data, finding that
the proposed method outperforms stochastic gradient descent (SGD) and momentum
SGD.
- Abstract（参考訳）: 生成モデルには多くの利点があるが、データの密度関数とディープニューラルネットワークのモデルの密度関数のジェンセン=シャノン分散を計算することは不可能であり、そのために様々な代替手法が開発されている。
generative adversarial networks (gans) は、ゲーム理論と局所ナッシュ均衡の文脈で学習を定式化できる2つのモデル、ジェネレータと判別器による判別問題としてこの問題を定式化するために用いられる。
この最適化は単一目的関数の最小化よりも困難であるため,gansの局所ナッシュ平衡問題を解くために共役勾配法を適用することを提案する。
提案手法は,一定の学習率を含む3つの異なる学習率スケジュールを持つ局所nash平衡に収束することを示す,穏やかな仮定の下での証明と収束解析を行う。
さらに,単純な玩具問題の局所nash平衡への収束を実証し,実世界データを用いた実験において,提案手法と他の最適化手法との比較を行い,提案手法が確率勾配降下 (sgd) と運動量sgdよりも優れていることを発見した。
関連論文リスト
- Total Uncertainty Quantification in Inverse PDE Solutions Obtained with Reduced-Order Deep Learning Surrogate Models [50.90868087591973]
機械学習サロゲートモデルを用いて得られた逆PDE解の総不確かさを近似したベイズ近似法を提案する。
非線型拡散方程式に対する反復的アンサンブルスムーズおよび深層アンサンブル法との比較により,提案手法を検証した。
論文 参考訳（メタデータ） (2024-08-20T19:06:02Z) - Dynamical Measure Transport and Neural PDE Solvers for Sampling [77.38204731939273]
本研究では, 対象物へのトラクタブル密度関数の移動として, 確率密度からサンプリングする作業に取り組む。
物理インフォームドニューラルネットワーク(PINN)を用いて各偏微分方程式(PDE)の解を近似する。
PINNはシミュレーションと離散化のない最適化を可能にし、非常に効率的に訓練することができる。
論文 参考訳（メタデータ） (2024-07-10T17:39:50Z) - Distributed Markov Chain Monte Carlo Sampling based on the Alternating
Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。
我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。
シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文 参考訳（メタデータ） (2024-01-29T02:08:40Z) - A Homogenization Approach for Gradient-Dominated Stochastic Optimization [6.1144486886258065]
勾配支配を享受する関数に対する同次二階降下法(SHSOD)を提案する。
以上の結果から,SHSODMは勾配優先最適化法において,他の2次法で達成された最もよく知られたサンプルの複雑さと一致していることがわかった。
論文 参考訳（メタデータ） (2023-08-21T11:03:04Z) - Resource-Adaptive Newton's Method for Distributed Learning [16.588456212160928]
本稿では,Newtonの手法の限界を克服するRANLというアルゴリズムを提案する。
従来の一階法とは異なり、RANLは問題の条件数から著しく独立している。
論文 参考訳（メタデータ） (2023-08-20T04:01:30Z) - Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。
本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
論文 参考訳（メタデータ） (2023-06-13T01:18:16Z) - An Optimization-based Deep Equilibrium Model for Hyperspectral Image
Deconvolution with Convergence Guarantees [71.57324258813675]
本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。
新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。
導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
論文 参考訳（メタデータ） (2023-06-10T08:25:16Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳（メタデータ） (2023-03-03T08:17:47Z) - An Exponentially Converging Particle Method for the Mixed Nash
Equilibrium of Continuous Games [0.0]
我々は,2プレイヤーゼロサムゲームの混合ナッシュ平衡と,純戦略の連続的なセットと,ペイオフ関数への一次アクセスとの問題を考察する。
この問題は例えば、分散ロバスト学習のようなゲームにインスパイアされた機械学習アプリケーションで発生する。
本稿では,この問題に対する局所収束性を保証する粒子法の導入と解析を行う。
論文 参考訳（メタデータ） (2022-11-02T17:03:40Z) - Statistical optimality and stability of tangent transform algorithms in
logit models [6.9827388859232045]
我々は,データ生成過程の条件として,ロジカルオプティマによって引き起こされるリスクに対して,非漸近上界を導出する。
特に,データ生成過程の仮定なしにアルゴリズムの局所的変動を確立する。
我々は,大域収束が得られる半直交設計を含む特別な場合について検討する。
論文 参考訳（メタデータ） (2020-10-25T05:15:13Z) - SODEN: A Scalable Continuous-Time Survival Model through Ordinary
Differential Equation Networks [14.564168076456822]
本稿では、ニューラルネットワークとスケーラブルな最適化アルゴリズムを用いた生存分析のためのフレキシブルモデルを提案する。
提案手法の有効性を,既存の最先端ディープラーニングサバイバル分析モデルと比較した。
論文 参考訳（メタデータ） (2020-08-19T19:11:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。