論文の概要: Primal and Dual Analysis of Entropic Fictitious Play for Finite-sum Problems

• arxiv url: http://arxiv.org/abs/2303.02957v1
• Date: Mon, 6 Mar 2023 08:05:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-07 16:53:09.054872
• Title: Primal and Dual Analysis of Entropic Fictitious Play for Finite-sum Problems
• Title（参考訳）: 有限サム問題に対するエントロピー的架空の遊びの原始的・双対的解析
• Authors: Atsushi Nitanda, Kazusato Oko, Denny Wu, Nobuhito Takenouchi, Taiji Suzuki
• Abstract要約: エントロピック・フィクション・プレイ(英語: Entropic fictitious Play, EFP)は、測度空間における凸関数とエントロピーの和を最小化するアルゴリズムである。 学習問題が有限サム構造を示すような環境では、EFPの簡潔な原始双対解析を行う。
• 参考スコア（独自算出の注目度）: 42.375903320536715
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The entropic fictitious play (EFP) is a recently proposed algorithm that minimizes the sum of a convex functional and entropy in the space of measures -- such an objective naturally arises in the optimization of a two-layer neural network in the mean-field regime. In this work, we provide a concise primal-dual analysis of EFP in the setting where the learning problem exhibits a finite-sum structure. We establish quantitative global convergence guarantees for both the continuous-time and discrete-time dynamics based on properties of a proximal Gibbs measure introduced in Nitanda et al. (2022). Furthermore, our primal-dual framework entails a memory-efficient particle-based implementation of the EFP update, and also suggests a connection to gradient boosting methods. We illustrate the efficiency of our novel implementation in experiments including neural network optimization and image synthesis.
• Abstract（参考訳）: entropic fictitious play (efp) は、最近提案されたアルゴリズムで、測度空間における凸汎関数とエントロピーの和を最小化する。 本研究では,学習課題が有限サム構造を示す設定において,efpの簡潔な主元双対解析を行う。 我々は,nitanda et al. (2022) で導入された近位ギブス測度の性質に基づいて,連続時間および離散時間ダイナミクスに対する定量的大域収束の保証を確立する。 さらに,本フレームワークはefp更新のメモリ効率の高いパーティクルベース実装を伴い,勾配ブースティング手法との接続も提案する。 本稿では,ニューラルネットワークの最適化と画像合成を含む実験において,提案手法の有効性を示す。

関連論文リスト

• PAPAL: A Provable PArticle-based Primal-Dual ALgorithm for Mixed Nash Equilibrium [58.26573117273626]
  2プレイヤゼロサム連続ゲームにおける非AL平衡非漸近目的関数について考察する。 連続分布戦略のための粒子ベースアルゴリズムに関する新しい知見を述べる。
  論文  参考訳（メタデータ） (2023-03-02T05:08:15Z)
• Structured Optimal Variational Inference for Dynamic Latent Space Models [16.531262817315696]
  動的ネットワークの潜在空間モデルについて検討し、その目的は、ペアの内積と潜在位置のインターセプトを推定することである。 後部推論と計算スケーラビリティのバランスをとるために、構造的平均場変動推論フレームワークを検討する。
  論文  参考訳（メタデータ） (2022-09-29T22:10:42Z)
• Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
  平均場ランゲヴィン力学の収束速度解析について述べる。 ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
  論文  参考訳（メタデータ） (2022-01-25T17:13:56Z)
• Finite Sample Analysis of Minimax Offline Reinforcement Learning: Completeness, Fast Rates and First-Order Efficiency [83.02999769628593]
  強化学習におけるオフ・ポリティィ・アセスメント(OPE)の理論的特徴について述べる。 ミニマックス法により、重みと品質関数の高速収束を実現することができることを示す。 非タブラル環境における1次効率を持つ最初の有限サンプル結果を示す。
  論文  参考訳（メタデータ） (2021-02-05T03:20:39Z)
• First-Order Optimization Inspired from Finite-Time Convergent Flows [26.931390502212825]
  本稿では, 1次有限時間流に対するオイラー離散化を提案し, 決定論的および決定論的設定において収束を保証する。 次に、提案したアルゴリズムを学術的な例に適用し、深層ニューラルネットワークトレーニングを行い、SVHNデータセット上でそのパフォーマンスを実証的にテストする。 提案手法は,標準最適化法に対してより高速な収束を示す。
  論文  参考訳（メタデータ） (2020-10-06T19:28:00Z)
• A maximum-entropy approach to off-policy evaluation in average-reward MDPs [54.967872716145656]
  この研究は、無限水平非カウントマルコフ決定過程(MDPs)における関数近似を伴うオフ・ポリティ・アセスメント(OPE)に焦点を当てる。 提案手法は,第1の有限サンプル OPE 誤差境界であり,既存の結果がエピソードおよびディスカウントケースを超えて拡張される。 この結果から,教師あり学習における最大エントロピー的アプローチを並列化して,十分な統計値を持つ指数関数型家族分布が得られた。
  論文  参考訳（メタデータ） (2020-06-17T18:13:37Z)
• Fast Objective & Duality Gap Convergence for Non-Convex Strongly-Concave Min-Max Problems with PL Condition [52.08417569774822]
  本稿では,深層学習(深層AUC)により注目度が高まっている,円滑な非凹部min-max問題の解法に焦点をあてる。
  論文  参考訳（メタデータ） (2020-06-12T00:32:21Z)
• Consensus-Based Optimization on the Sphere: Convergence to Global Minimizers and Machine Learning [7.998311072988401]
  球面上の非函数の大域的最適化のための新しい倉本ビエク型モデルの実装について検討する。 本稿では,本論文で提案したアルゴリズムが寸法によく適合し,極めて多目的であることを示す数値実験を行った。
  論文  参考訳（メタデータ） (2020-01-31T18:23:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。