論文の概要: Lyapunov Exponents for Diversity in Differentiable Games

• arxiv url: http://arxiv.org/abs/2112.14570v1
• Date: Fri, 24 Dec 2021 22:48:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-02 08:17:28.833945
• Title: Lyapunov Exponents for Diversity in Differentiable Games
• Title（参考訳）: 微分可能ゲームにおける多様性のためのリアプノフ指数
• Authors: Jonathan Lorraine, Paul Vicol, Jack Parker-Holder, Tal Kachman, Luke Metz, Jakob Foerster
• Abstract要約: Ridge Rider (RR) はヘシアン(リッジ)の固有ベクトルに従うことによって最適化問題の多様な解を求めるアルゴリズムである。 RRは保守的な勾配系のために設計されており、サドルで分岐する。 本稿では,任意の分岐点を求める手法として,一般化リッジライダー(GRR)を提案する。
• 参考スコア（独自算出の注目度）: 19.16909724435523
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Ridge Rider (RR) is an algorithm for finding diverse solutions to optimization problems by following eigenvectors of the Hessian ("ridges"). RR is designed for conservative gradient systems (i.e., settings involving a single loss function), where it branches at saddles - easy-to-find bifurcation points. We generalize this idea to non-conservative, multi-agent gradient systems by proposing a method - denoted Generalized Ridge Rider (GRR) - for finding arbitrary bifurcation points. We give theoretical motivation for our method by leveraging machinery from the field of dynamical systems. We construct novel toy problems where we can visualize new phenomena while giving insight into high-dimensional problems of interest. Finally, we empirically evaluate our method by finding diverse solutions in the iterated prisoners' dilemma and relevant machine learning problems including generative adversarial networks.
• Abstract（参考訳）: ridge rider (rr) は、hessian ("ridges") の固有ベクトルに従うことによって最適化問題の多様な解を求めるアルゴリズムである。 RRは保守的な勾配系(すなわち単一損失関数を含む設定)のために設計されており、サドルで分岐する。 この概念を非保存的多エージェント勾配系に一般化し,任意の分岐点を求めるための一般化リッジライダー(grr)法を提案する。 力学系の分野から機械を活用し,提案手法の理論的動機付けを行う。 興味のある高次元問題に洞察を与えながら,新たな現象を可視化できる新しい玩具問題を構築した。 最後に, 反復囚人のジレンマと, 生成的敵ネットワークを含む関連する機械学習問題において, 多様な解を求めることにより, 提案手法を実証的に評価した。

関連論文リスト

• ODE Discovery for Longitudinal Heterogeneous Treatment Effects Inference [69.24516189971929]
  本稿では, 閉形式常微分方程式(ODE)という, 縦条件下での新しい解法を提案する。 私たちはまだODEを学ぶために継続的な最適化に依存していますが、結果として生じる推論マシンはもはやニューラルネットワークではありません。
  論文  参考訳（メタデータ） (2024-03-16T02:07:45Z)
• Optimizing Solution-Samplers for Combinatorial Problems: The Landscape of Policy-Gradient Methods [52.0617030129699]
  本稿では,DeepMatching NetworksとReinforcement Learningメソッドの有効性を解析するための新しい理論フレームワークを提案する。 我々の主な貢献は、Max- and Min-Cut、Max-$k$-Bipartite-Bi、Maximum-Weight-Bipartite-Bi、Traveing Salesman Problemを含む幅広い問題である。 本分析の副産物として,バニラ降下による新たな正則化プロセスを導入し,失効する段階的な問題に対処し,悪い静止点から逃れる上で有効であることを示す理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-10-08T23:39:38Z)
• The Dynamics of Riemannian Robbins-Monro Algorithms [101.29301565229265]
  本稿では,Robins と Monro のセミナル近似フレームワークを一般化し拡張するリーマンアルゴリズムの族を提案する。 ユークリッドのそれと比較すると、リーマンのアルゴリズムは多様体上の大域線型構造が欠如しているため、はるかに理解されていない。 ユークリッド・ロビンス=モンロスキームの既存の理論を反映し拡張するほぼ確実な収束結果の一般的なテンプレートを提供する。
  論文  参考訳（メタデータ） (2022-06-14T12:30:11Z)
• Gradient Backpropagation Through Combinatorial Algorithms: Identity with Projection Works [20.324159725851235]
  ゼロあるいは未定義の解法に対する意味のある置き換えは、効果的な勾配に基づく学習に不可欠である。 本稿では, 離散解空間の幾何学を応用して, 後方パス上の負の同一性として処理する原理的手法を提案する。
  論文  参考訳（メタデータ） (2022-05-30T16:17:09Z)
• A Variational Inference Approach to Inverse Problems with Gamma Hyperpriors [60.489902135153415]
  本稿では,ガンマハイパープライヤを用いた階層的逆問題に対する変分反復交替方式を提案する。 提案した変分推論手法は正確な再構成を行い、意味のある不確実な定量化を提供し、実装が容易である。
  論文  参考訳（メタデータ） (2021-11-26T06:33:29Z)
• Multivariate Deep Evidential Regression [77.34726150561087]
  不確実性を認識するニューラルネットワークによる新しいアプローチは、従来の決定論的手法よりも有望である。 本稿では,レグレッションベースニューラルネットワークからアレータ性およびてんかん性不確かさを抽出する手法を提案する。
  論文  参考訳（メタデータ） (2021-04-13T12:20:18Z)
• Ridge Rider: Finding Diverse Solutions by Following Eigenvectors of the Hessian [48.61341260604871]
  Gradient Descent(SGD)は、ディープニューラルネットワーク(DNN)の成功の鍵となる要素である 本稿では、ヘッセンの固有ベクトルを従えば「尾根」と呼ばれる別のアプローチを示す。 理論的および実験的に、我々の手法であるリッジライダー(RR)が様々な課題に対して有望な方向を提供することを示す。
  論文  参考訳（メタデータ） (2020-11-12T17:15:09Z)
• Newton Optimization on Helmholtz Decomposition for Continuous Games [47.42898331586512]
  NOHDは、システムのダイナミクスの分解に基づくマルチエージェント学習問題に対するニュートン風のアルゴリズムである。 我々はNOHDが一般的なマルチエージェントシステムにおいて安定な固定点に惹きつけられ、厳密なサドルシステムによって撃退されることを示す。
  論文  参考訳（メタデータ） (2020-07-15T16:26:33Z)
• Stochastic gradient algorithms from ODE splitting perspective [0.0]
  我々は、ODEの近似解の分割スキームに遡る最適化に関する異なる見解を示す。 そこで本研究では, ODE の勾配一階分割方式と降下アプローチの関連性について述べる。 我々は、機械学習アプリケーションにインスパイアされた分割の特殊なケースを考察し、それに対するグローバルスプリッティングエラーに新たな上限を導出する。
  論文  参考訳（メタデータ） (2020-04-19T22:45:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。