論文の概要: Solving Neural Min-Max Games: The Role of Architecture, Initialization & Dynamics

• arxiv url: http://arxiv.org/abs/2512.00389v1
• Date: Sat, 29 Nov 2025 08:37:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-02 19:46:34.214551
• Title: Solving Neural Min-Max Games: The Role of Architecture, Initialization & Dynamics
• Title（参考訳）: ニューラルミニマックスゲームの解決 - アーキテクチャ、初期化、ダイナミクスの役割
• Authors: Deep Patel, Emmanouil-Vasileios Vlatakis-Gkaragkounis,
• Abstract要約: 多くの新興アプリケーションは、ニューラルトレーニングの逆境、AIアライメント、堅牢な平衡(NE)2層ネットワークの間のゼロサムゲームとしてフレーム化することができる。 本稿では,ニューラルマトリクス理論において,隠れ凸凝縮が高い確率で成り立つことを示す。 これは、2層のmin-maxネットワークを持つゲームにとって初めての結果である。
• 参考スコア（独自算出の注目度）: 4.9757343270143854
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many emerging applications - such as adversarial training, AI alignment, and robust optimization - can be framed as zero-sum games between neural nets, with von Neumann-Nash equilibria (NE) capturing the desirable system behavior. While such games often involve non-convex non-concave objectives, empirical evidence shows that simple gradient methods frequently converge, suggesting a hidden geometric structure. In this paper, we provide a theoretical framework that explains this phenomenon through the lens of hidden convexity and overparameterization. We identify sufficient conditions - spanning initialization, training dynamics, and network width - that guarantee global convergence to a NE in a broad class of non-convex min-max games. To our knowledge, this is the first such result for games that involve two-layer neural networks. Technically, our approach is twofold: (a) we derive a novel path-length bound for the alternating gradient descent-ascent scheme in min-max games; and (b) we show that the reduction from a hidden convex-concave geometry to two-sided Polyak-Łojasiewicz (PŁ) min-max condition hold with high probability under overparameterization, using tools from random matrix theory.
• Abstract（参考訳）: 敵のトレーニング、AIアライメント、堅牢な最適化など、多くの新興アプリケーションは、ニューラルネットワーク間のゼロサムゲームとしてフレーム化され、von Neumann-Nash equilibria (NE) は望ましいシステムの振る舞いをキャプチャする。 そのようなゲームはしばしば非凸な非凸な目的を含むが、経験的証拠は単純な勾配法がしばしば収束し、隠れた幾何学的構造を示唆していることを示している。 本稿では,この現象を,隠された凸性および過パラメータ化のレンズを通して説明するための理論的枠組みを提供する。 非凸のmin-maxゲームにおいて、NEへのグローバル収束を保証する十分な条件 – 初期化、トレーニングダイナミクス、ネットワーク幅 – を識別する。 私たちの知る限り、これは二層ニューラルネットワークを含むゲームにとって初めての結果です。 技術的には、私たちのアプローチは2つあります。 (a)min-maxゲームにおける交互勾配降下指数スキームのための新しい経路長界を導出する。 b) 隠れ凸凹形状から両側のポリアック・ジョジャシエヴィチ(P) min-max条件への還元は, 過パラメータ化下で高い確率で保持され, ランダム行列理論のツールを用いた。

関連論文リスト

• Unrolled Graph Neural Networks for Constrained Optimization [83.29547301151177]
  2つの結合グラフニューラルネットワーク(GNN)における双対昇降アルゴリズムのダイナミクスについて検討する。 予備的ネットワークと二重ネットワークの更新を交互に行う共同学習手法を提案する。 我々の数値実験は、我々のアプローチがほぼ最適に近いほぼ実現可能な解をもたらすことを示す。
  論文  参考訳（メタデータ） (2025-09-21T16:55:41Z)
• Deep Loss Convexification for Learning Iterative Models [11.36644967267829]
  点雲登録のための反復的最近点(ICP)のような反復的手法は、しばしば悪い局所最適性に悩まされる。 我々は,各地真実の周囲に凸景観を形成する学習を提案する。
  論文  参考訳（メタデータ） (2024-11-16T01:13:04Z)
• The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
  ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。 本稿では,凸型神経回復モデルについて検討する。 定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。 また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
  論文  参考訳（メタデータ） (2023-12-19T23:04:56Z)
• Can Decentralized Stochastic Minimax Optimization Algorithms Converge Linearly for Finite-Sum Nonconvex-Nonconcave Problems? [56.62372517641597]
  分散化されたミニマックス最適化は、幅広い機械学習に応用されているため、ここ数年で活発に研究されている。 本稿では,非コンカブ問題に対する2つの新しい分散化ミニマックス最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-24T02:19:39Z)
• A Unified Algebraic Perspective on Lipschitz Neural Networks [88.14073994459586]
  本稿では,様々なタイプの1-Lipschitzニューラルネットワークを統一する新しい視点を提案する。 そこで本研究では,SDP(Common semidefinite Programming)条件の解析解を求めることによって,既存の多くの手法を導出し,一般化することができることを示す。 SDPベースのLipschitz Layers (SLL) と呼ばれる我々のアプローチは、非自明で効率的な凸ポテンシャル層の一般化を設計できる。
  論文  参考訳（メタデータ） (2023-03-06T14:31:09Z)
• Iterative Minimax Games with Coupled Linear Constraints [3.4683309709605328]
  非マックスミニゲームを扱う限界は、機械学習コミュニティで大きな勢いを増している。 批判的批判的敵戦略に対処するこの種のゲームの最初の分析を行う。 -2 であることを示す。
  論文  参考訳（メタデータ） (2022-12-09T05:32:30Z)
• LEAD: Min-Max Optimization from a Physical Perspective [11.808346987640855]
  GAN(Generative Adversarial Network)のような敵の定式化は、2プレイヤーのmin-maxゲームへの関心を再燃させた。 そのようなゲームの最適化における中心的な障害は、それらの収束を妨げる回転力学である。 ゲーム最適化は,複数の力の対象となる粒子システムと動的特性を共有できることを示す。
  論文  参考訳（メタデータ） (2020-10-26T19:01:49Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• Solving Non-Convex Non-Differentiable Min-Max Games using Proximal Gradient Method [10.819408603463426]
  ミニマックスサドル点降下器は、機械の傾きと信号処理において幅広い用途に現れる。 単純な多段階LA-Ascentアルゴリズムは文献上の既存アルゴリズムよりも強いことを示す。
  論文  参考訳（メタデータ） (2020-03-18T08:38:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。