論文の概要: GANs Secretly Perform Approximate Bayesian Model Selection
- arxiv url: http://arxiv.org/abs/2507.00651v1
- Date: Tue, 01 Jul 2025 10:49:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-03 14:22:59.581506
- Title: GANs Secretly Perform Approximate Bayesian Model Selection
- Title（参考訳）: GANは、近似ベイズモデル選択を秘密裏に実行する
- Authors: Maurizio Filippone, Marius P. Linhard,
- Abstract要約: Generative Adversarial Networks (GAN) は人気があり、成功した生成モデルである。
本稿では,GANを確率的生成モデルとして解釈することで,GANの成功と限界を説明する。
- 参考スコア（独自算出の注目度）: 9.901238730488657
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Generative Adversarial Networks (GANs) are popular and successful generative models. Despite their success, optimization is notoriously challenging and they require regularization against overfitting. In this work, we explain the success and limitations of GANs by interpreting them as probabilistic generative models. This interpretation enables us to view GANs as Bayesian neural networks with partial stochasticity, allowing us to establish conditions of universal approximation. We can then cast the adversarial-style optimization of several variants of GANs as the optimization of a proxy for the marginal likelihood. Taking advantage of the connection between marginal likelihood optimization and Occam's razor, we can define regularization and optimization strategies to smooth the loss landscape and search for solutions with minimum description length, which are associated with flat minima and good generalization. The results on a wide range of experiments indicate that these strategies lead to performance improvements and pave the way to a deeper understanding of regularization strategies for GANs.
- Abstract（参考訳）: Generative Adversarial Networks (GAN) は人気があり、成功した生成モデルである。
その成功にもかかわらず、最適化は難しいことで知られており、過度な適合に対して規則化が必要である。
本稿では,GANを確率的生成モデルとして解釈することで,GANの成功と限界を説明する。
この解釈により、GANを部分確率性を持つベイズニューラルネットワークと見なすことができ、普遍近似の条件を確立することができる。
すると、いくつかの変種 GAN の逆数型最適化を、余剰確率のプロキシの最適化として適用することができる。
オッカムズ・カミソリ(Occam's razor)との接続を利用して、損失景観の平滑化と最小記述長の解の探索を行う正規化と最適化の戦略を定義することができる。
幅広い実験の結果は、これらの戦略がパフォーマンスの改善につながり、GANの正規化戦略をより深く理解する道を開くことを示唆している。
関連論文リスト
- Indirect Query Bayesian Optimization with Integrated Feedback [17.66813850517961]
我々は,未知関数の条件付き期待値$f$を最適化することで,統合されたフィードバックが与えられるような,ベイズ最適化の新たなクラスを開発する。
目的は、条件分布によって変換された空間を適応的にクエリし、観察することで、$f$のグローバルな最適値を見つけることである。
これは、プライバシ、ハードウェア、計算上の制約による直接的なフィードバックにアクセスできない現実世界のアプリケーションによって動機付けられている。
論文 参考訳（メタデータ） (2024-12-18T07:20:33Z) - Diffusion Models as Network Optimizers: Explorations and Analysis [71.69869025878856]
生成拡散モデル(GDM)は,ネットワーク最適化の新しいアプローチとして期待されている。
本研究ではまず,生成モデルの本質的な特徴について考察する。
本稿では,識別的ネットワーク最適化よりも生成モデルの利点を簡潔かつ直感的に示す。
論文 参考訳（メタデータ） (2024-11-01T09:05:47Z) - DiffSG: A Generative Solver for Network Optimization with Diffusion Model [75.27274046562806]
生成拡散モデルは、様々なクロスドメインアプリケーションで人気がある。
これらのモデルは複雑なネットワーク最適化問題に対処する上で有望である。
本稿では拡散モデルに基づく解生成という,拡散モデル生成のための新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2024-08-13T07:56:21Z) - Reducing the Need for Backpropagation and Discovering Better Optima With
Explicit Optimizations of Neural Networks [4.807347156077897]
本稿では,ニューラルネットワークの最適化のための計算効率のよい代替案を提案する。
我々は、単純なフィードフォワード言語モデルに対する明確な解決策を導出する。
実験では,明示的な解がほぼ最適であることを示す。
論文 参考訳（メタデータ） (2023-11-13T17:38:07Z) - G-TRACER: Expected Sharpness Optimization [1.2183405753834562]
G-TRACERは、平坦なミニマムを求めることによって一般化を促進し、一般化ベイズ目標の自然な漸進的な降下に基づく最適化への近似として音理論的基礎を持つ。
本手法は,非正規化対象の局所最小値近傍に収束し,多数のベンチマークコンピュータビジョンとNLPデータセット上での競合性能を示す。
論文 参考訳（メタデータ） (2023-06-24T09:28:49Z) - Revisiting GANs by Best-Response Constraint: Perspective, Methodology,
and Application [49.66088514485446]
ベストレスポンス制約(Best-Response Constraint、BRC)は、ジェネレータのディスクリミネータへの依存性を明示的に定式化する一般的な学習フレームワークである。
モチベーションや定式化の相違があっても, フレキシブルBRC法により, 様々なGANが一様に改善できることが示される。
論文 参考訳（メタデータ） (2022-05-20T12:42:41Z) - AGGLIO: Global Optimization for Locally Convex Functions [5.221860952360943]
本稿では,AGG(Accelerated Optimization Generalized LInear-model)をステージワイドでグローバルな手法として提案する。
AGGは、A-バッチSGD更新としてポイントを用いて容易に実装でき、証明可能な収束と収束実験を提供する。
論文 参考訳（メタデータ） (2021-11-06T18:15:56Z) - Prb-GAN: A Probabilistic Framework for GAN Modelling [20.181803514993778]
本稿では,ネットワークパラメータ上の分布を生成するためにドロップアウトを用いた新しいバリエーションを提案する。
我々の手法は非常にシンプルで、既存のGANアーキテクチャの変更はほとんど必要ありません。
論文 参考訳（メタデータ） (2021-07-12T08:04:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。