論文の概要: A Gauss-Newton Approach for Min-Max Optimization in Generative Adversarial Networks
- arxiv url: http://arxiv.org/abs/2404.07172v1
- Date: Wed, 10 Apr 2024 17:08:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-04-11 14:01:43.077368
- Title: A Gauss-Newton Approach for Min-Max Optimization in Generative Adversarial Networks
- Title（参考訳）: 生成逆数ネットワークにおける極小最適化のためのガウスニュートンアプローチ
- Authors: Neel Mishra, Bamdev Mishra, Pratik Jawanpuria, Pawan Kumar,
- Abstract要約: GAN(Generative Adversarial Network)のトレーニングのための新しい一階法の提案
ガウス・ニュートン法を修正して min-max Hessian を近似し、シャーマン・モリソン反転公式を用いて逆を計算する。
提案手法は,複数のデータセットにまたがる多彩な高忠実度画像を生成することができる。
- 参考スコア（独自算出の注目度）: 7.217857709620766
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A novel first-order method is proposed for training generative adversarial networks (GANs). It modifies the Gauss-Newton method to approximate the min-max Hessian and uses the Sherman-Morrison inversion formula to calculate the inverse. The method corresponds to a fixed-point method that ensures necessary contraction. To evaluate its effectiveness, numerical experiments are conducted on various datasets commonly used in image generation tasks, such as MNIST, Fashion MNIST, CIFAR10, FFHQ, and LSUN. Our method is capable of generating high-fidelity images with greater diversity across multiple datasets. It also achieves the highest inception score for CIFAR10 among all compared methods, including state-of-the-art second-order methods. Additionally, its execution time is comparable to that of first-order min-max methods.
- Abstract（参考訳）: GAN(Generative Adversarial Network)を学習するための新しい一階法を提案する。
ガウス・ニュートン法を修正して min-max Hessian を近似し、シャーマン・モリソン反転公式を用いて逆を計算する。
この方法は、必要な収縮を保証する固定点法に対応する。
その効果を評価するために、MNIST、Fashion MNIST、CIFAR10、FFHQ、LSUNなどの画像生成タスクでよく使われる様々なデータセットを用いて数値実験を行った。
提案手法は,複数のデータセットにまたがる多彩な高忠実度画像を生成することができる。
また、最先端の2階法を含むすべての比較手法の中で、CIFAR10の開始点が最も高い。
さらに、その実行時間は一階のmin-maxメソッドに匹敵する。
関連論文リスト
- Ensemble Quadratic Assignment Network for Graph Matching [52.20001802006391]
グラフマッチングはコンピュータビジョンやパターン認識において一般的に用いられる技法である。
最近のデータ駆動型アプローチは、グラフマッチングの精度を著しく改善した。
データ駆動手法と従来の手法の利点を組み合わせたグラフニューラルネットワーク(GNN)に基づくアプローチを提案する。
論文 参考訳（メタデータ） (2024-03-11T06:34:05Z) - Inverse-Free Fast Natural Gradient Descent Method for Deep Learning [52.0693420699086]
本稿では,第1期における逆転のみを必要とする高速な自然勾配降下法を提案する。
FNGDは1次法の平均和と類似性を示し、FNGDの計算複雑性は1次法に匹敵する。
論文 参考訳（メタデータ） (2024-03-06T05:13:28Z) - Adaptive Consensus Optimization Method for GANs [2.1227526213206542]
本稿では,ADAMとRMSpropを併用した2次勾配法を提案する。
提案手法に対応する固定点反復法を導出し,提案手法が収束していることを示す。
提案手法は,最近提案された他の最先端2次手法と比較して,画像の質や質が向上している。
論文 参考訳（メタデータ） (2023-04-20T13:50:42Z) - Nystrom Method for Accurate and Scalable Implicit Differentiation [25.29277451838466]
我々は,Nystrom法が他の手法と同等あるいは優れた性能を連続的に達成していることを示す。
提案手法は数値的な不安定さを回避し,反復を伴わない行列演算で効率的に計算できる。
論文 参考訳（メタデータ） (2023-02-20T02:37:26Z) - A Stochastic Bundle Method for Interpolating Networks [18.313879914379008]
本稿では,実験的な損失をゼロにすることができるディープニューラルネットワークのトレーニング手法を提案する。
各イテレーションにおいて,本手法は目的学習近似のバンドルとして知られる最大線形近似を構成する。
論文 参考訳（メタデータ） (2022-01-29T23:02:30Z) - Fast Differentiable Matrix Square Root and Inverse Square Root [65.67315418971688]
微分可能な行列平方根と逆平方根を計算するためのより効率的な2つの変種を提案する。
前方伝搬には, Matrix Taylor Polynomial (MTP) を用いる方法と, Matrix Pad'e Approximants (MPA) を使用する方法がある。
一連の数値実験により、両方の手法がSVDやNSの繰り返しと比較してかなりスピードアップすることが示された。
論文 参考訳（メタデータ） (2022-01-29T10:00:35Z) - Comparison of Methods Generalizing Max- and Average-Pooling [1.693200946453174]
最大および平均プールは畳み込みニューラルネットワークにおけるダウンサンプリングの最も一般的な方法である。
本稿では,最大値と平均値の両方を一般化する異なるプール法の比較を行う。
結果は、より洗練された方法のどれでも、標準的な最大または平均プールよりもこの分類タスクで有意に優れています。
論文 参考訳（メタデータ） (2021-03-02T14:26:51Z) - Plug-And-Play Learned Gaussian-mixture Approximate Message Passing [71.74028918819046]
そこで本研究では,従来のi.i.d.ソースに適した圧縮圧縮センシング(CS)リカバリアルゴリズムを提案する。
我々のアルゴリズムは、Borgerdingの学習AMP(LAMP)に基づいて構築されるが、アルゴリズムに普遍的な復調関数を採用することにより、それを大幅に改善する。
数値評価により,L-GM-AMPアルゴリズムは事前の知識を必要とせず,最先端の性能を実現する。
論文 参考訳（メタデータ） (2020-11-18T16:40:45Z) - Optimal Randomized First-Order Methods for Least-Squares Problems [56.05635751529922]
このアルゴリズムのクラスは、最小二乗問題に対する最も高速な解法のうち、いくつかのランダム化手法を含んでいる。
我々は2つの古典的埋め込み、すなわちガウス射影とアダマール変換のサブサンプリングに焦点を当てる。
得られたアルゴリズムは条件数に依存しない最小二乗問題の解法として最も複雑である。
論文 参考訳（メタデータ） (2020-02-21T17:45:32Z) - Gaussian Mixture Reduction with Composite Transportation Divergence [15.687740538194413]
複合輸送分散(CTD)に基づく新しい最適化型GMR法を提案する。
我々は,還元混合物を計算し,その理論的収束を確立するための最大化最小化アルゴリズムを開発した。
統合されたフレームワークにより、CTDの最も適切なコスト関数を選択して、優れたパフォーマンスを実現することができる。
論文 参考訳（メタデータ） (2020-02-19T19:52:17Z) - Clustering Binary Data by Application of Combinatorial Optimization
Heuristics [52.77024349608834]
本稿では,2値データのクラスタリング手法について検討し,まず,クラスタのコンパクトさを計測するアグリゲーション基準を定義した。
近隣地域と人口動態最適化メタヒューリスティックスを用いた5つの新しいオリジナル手法が導入された。
準モンテカルロ実験によって生成された16のデータテーブルから、L1の相似性と階層的クラスタリング、k-means(メドイドやPAM)の1つのアグリゲーションの比較を行う。
論文 参考訳（メタデータ） (2020-01-06T23:33:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。