論文の概要: Learning Brenier Potentials with Convex Generative Adversarial Neural Networks
- arxiv url: http://arxiv.org/abs/2504.19779v1
- Date: Mon, 28 Apr 2025 13:24:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-02 19:15:54.447681
- Title: Learning Brenier Potentials with Convex Generative Adversarial Neural Networks
- Title（参考訳）: Convex Generative Adversarial Neural Networks を用いたブレニエポテンシャルの学習
- Authors: Claudia Drygala, Hanno Gottschalk, Thomas Kruse, Ségolène Martin, Annika Mütze,
- Abstract要約: ブレニエは、ある条件下では、その勾配がソースからターゲット分布への輸送写像であるような厳密な凸函数が存在することを証明した。
本稿では,ブレニエポテンシャルを学習する生成的対向ニューラルネットワークの統計的学習理論を開発する。
- 参考スコア（独自算出の注目度）: 2.5631808142941415
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Brenier proved that under certain conditions on a source and a target probability measure there exists a strictly convex function such that its gradient is a transport map from the source to the target distribution. This function is called the Brenier potential. Furthermore, detailed information on the H\"older regularity of the Brenier potential is available. In this work we develop the statistical learning theory of generative adversarial neural networks that learn the Brenier potential. As by the transformation of densities formula, the density of the generated measure depends on the second derivative of the Brenier potential, we develop the universal approximation theory of ReCU networks with cubic activation $\mathtt{ReCU}(x)=\max\{0,x\}^3$ that combines the favorable approximation properties of H\"older functions with a Lipschitz continuous density. In order to assure the convexity of such general networks, we introduce an adversarial training procedure for a potential function represented by the ReCU networks that combines the classical discriminator cross entropy loss with a penalty term that enforces (strict) convexity. We give a detailed decomposition of learning errors and show that for a suitable high penalty parameter all networks chosen in the adversarial min-max optimization problem are strictly convex. This is further exploited to prove the consistency of the learning procedure for (slowly) expanding network capacity. We also implement the described learning algorithm and apply it to a number of standard test cases from Gaussian mixture to image data as target distributions. As predicted in theory, we observe that the convexity loss becomes inactive during the training process and the potentials represented by the neural networks have learned convexity.
- Abstract（参考訳）: ブレニエは、ソース上の特定の条件とターゲット確率測度の下で、その勾配がソースからターゲット分布への輸送写像であるような厳密な凸関数が存在することを証明した。
この函数はブレニエポテンシャルと呼ばれる。
さらに、ブレニエポテンシャルのH\"古い正則性に関する詳細な情報も利用可能である。
本研究では,ブレニエポテンシャルを学習する生成的対向ニューラルネットワークの統計的学習理論を開発する。
密度公式の変換と同様に、生成した測度の密度はブレニエポテンシャルの第2の微分に依存するが、リプシッツ連続密度とH\"古関数の好ましい近似特性を組み合わせた立方活性化$\mathtt{ReCU}(x)=\max\{0,x\}^3$のReCUネットワークの普遍近似理論を開発する。
このような一般ネットワークの凸性を保証するため,古典的判別器クロスエントロピー損失と(制限的)凸性を強制するペナルティ項を組み合わせたReCUネットワークで表されるポテンシャル関数に対する対角的トレーニング手順を導入する。
本稿では,学習誤りの詳細な分解を行い,逆数 min-max 最適化問題において選択された全てのネットワークが厳密な凸であることを示す。
これは、ネットワーク容量を拡大する(ゆっくりと)学習手順の整合性を証明するためにさらに活用される。
また、記述された学習アルゴリズムを実装し、ガウス混合体からターゲット分布としてのイメージデータまで、多数の標準的なテストケースに適用する。
理論的に予測されるように、トレーニングプロセス中に凸損失が不活発になり、ニューラルネットワークが表現するポテンシャルが凸性を学んだ。
関連論文リスト
- Uncertainty propagation in feed-forward neural network models [3.987067170467799]
我々はフィードフォワードニューラルネットワークアーキテクチャのための新しい不確実性伝搬法を開発した。
ニューラルネットワーク出力の確率密度関数(PDF)の解析式を導出する。
鍵となる発見は、リークReLU活性化関数の適切な線形化が正確な統計的結果をもたらすことである。
論文 参考訳（メタデータ） (2025-03-27T00:16:36Z) - A Near Complete Nonasymptotic Generalization Theory For Multilayer Neural Networks: Beyond the Bias-Variance Tradeoff [57.25901375384457]
任意のリプシッツ活性化と一般リプシッツ損失関数を持つ多層ニューラルネットワークに対する漸近一般化理論を提案する。
特に、文献でよく見られるように、損失関数の有界性を必要としない。
回帰問題に対する多層ReLUネットワークに対する理論の極小最適性を示す。
論文 参考訳（メタデータ） (2025-03-03T23:34:12Z) - Wide Deep Neural Networks with Gaussian Weights are Very Close to
Gaussian Processes [1.0878040851638]
ネットワーク出力と対応するガウス近似との距離は、ネットワークの幅と逆向きにスケールし、中心極限定理によって提案されるネーブよりも高速な収束を示すことを示す。
また、(有限)トレーニングセットで評価されたネットワーク出力の有界リプシッツ関数である場合、ネットワークの正確な後部分布の理論的近似を求めるために境界を適用した。
論文 参考訳（メタデータ） (2023-12-18T22:29:40Z) - Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。
トラクタブル回路において,これを効率的に計算する方法を示す。
我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
論文 参考訳（メタデータ） (2023-02-28T00:04:22Z) - Learning Distributions by Generative Adversarial Networks: Approximation
and Generalization [0.6768558752130311]
本研究では,これらのモデルの収束速度を解析することにより,有限サンプルから生成逆数ネットワークがいかによく学習するかを考察する。
我々の分析は、GANの推定誤差を判別器とジェネレータの近似誤差に分解する新しい不等式オラクルに基づいている。
生成元近似誤差に対して、ニューラルネットワークは、およそ低次元のソース分布を高次元のターゲット分布に変換することができることを示す。
論文 参考訳（メタデータ） (2022-05-25T09:26:17Z) - On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。
分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
論文 参考訳（メタデータ） (2022-02-28T13:01:04Z) - Training Certifiably Robust Neural Networks with Efficient Local
Lipschitz Bounds [99.23098204458336]
認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。
提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
論文 参考訳（メタデータ） (2021-11-02T06:44:10Z) - Sobolev-type embeddings for neural network approximation spaces [5.863264019032882]
近似可能な速度に応じて関数を分類するニューラルネットワーク近似空間を考察する。
p$の異なる値に対して、これらの空間間の埋め込み定理を証明する。
古典函数空間の場合と同様、可積分性を高めるために「滑らかさ」(すなわち近似率)を交換できる。
論文 参考訳（メタデータ） (2021-10-28T17:11:38Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳（メタデータ） (2021-07-31T10:25:26Z) - Universal scaling laws in the gradient descent training of neural
networks [10.508187462682308]
学習軌跡は,大きな訓練時間に明示的な境界によって特徴づけられることを示す。
結果は,期待される損失に基づいて訓練された大規模ネットワークの進化のスペクトル解析に基づいている。
論文 参考訳（メタデータ） (2021-05-02T16:46:38Z) - A Convergence Theory Towards Practical Over-parameterized Deep Neural
Networks [56.084798078072396]
ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。
本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。
私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
論文 参考訳（メタデータ） (2021-01-12T00:40:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。