論文の概要: Learning in Matrix Games can be Arbitrarily Complex

• arxiv url: http://arxiv.org/abs/2103.03405v1
• Date: Fri, 5 Mar 2021 00:41:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-08 14:35:17.672942
• Title: Learning in Matrix Games can be Arbitrarily Complex
• Title（参考訳）: マトリックスゲームにおける学習は任意に複雑になる
• Authors: Gabriel P. Andrade, Rafael Frongillo, Georgios Piliouras
• Abstract要約: 本稿では,任意の動的系を近似できるレプリケータダイナミクスが十分に豊富であることを示した。 本研究では,lonrenz dynamicsの有名なストレンジアトラクタをレプリケータダイナミクスが効果的に再現できることを示す。
• 参考スコア（独自算出の注目度）: 24.6667169480096
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A growing number of machine learning architectures, such as Generative Adversarial Networks, rely on the design of games which implement a desired functionality via a Nash equilibrium. In practice these games have an implicit complexity (e.g. from underlying datasets and the deep networks used) that makes directly computing a Nash equilibrium impractical or impossible. For this reason, numerous learning algorithms have been developed with the goal of iteratively converging to a Nash equilibrium. Unfortunately, the dynamics generated by the learning process can be very intricate and instances of training failure hard to interpret. In this paper we show that, in a strong sense, this dynamic complexity is inherent to games. Specifically, we prove that replicator dynamics, the continuous-time analogue of Multiplicative Weights Update, even when applied in a very restricted class of games -- known as finite matrix games -- is rich enough to be able to approximate arbitrary dynamical systems. Our results are positive in the sense that they show the nearly boundless dynamic modelling capabilities of current machine learning practices, but also negative in implying that these capabilities may come at the cost of interpretability. As a concrete example, we show how replicator dynamics can effectively reproduce the well-known strange attractor of Lonrenz dynamics (the "butterfly effect") while achieving no regret.
• Abstract（参考訳）: Generative Adversarial Networksのような機械学習アーキテクチャの増加は、Nash平衡を通じて所望の機能を実装するゲームの設計に依存している。 実際、これらのゲームは暗黙の複雑さを持っている(例)。 基盤となるデータセットと使用するディープネットワークから) 直接計算するナッシュ均衡は非現実的あるいは不可能である。 このため,nash平衡への反復収束を目標として,多数の学習アルゴリズムが開発されてきた。 残念ながら、学習プロセスによって生成されるダイナミクスは非常に複雑であり、トレーニング失敗の例は解釈が難しい。 本稿では,この動的複雑性がゲームに固有のことを,強い意味で示す。 具体的には、有限行列ゲームとして知られる非常に制限されたゲームのクラスに適用しても、多重相対重み更新の連続時間アナログである複製子ダイナミクスが任意の力学系を近似できるほど豊富であることを示す。 私たちの結果は、現在の機械学習プラクティスのほぼ境界のない動的モデリング能力を示すという意味では肯定的ですが、これらの能力が解釈可能性の犠牲になる可能性があることを暗示する否定的です。 具体例として、レプリケーターダイナミクスが、よく知られたロンレンツ力学の奇妙な誘引子(「バタフライ効果」)を効果的に再現できることを示す。

関連論文リスト

• Last-Iterate Convergence of Payoff-Based Independent Learning in Zero-Sum Stochastic Games [31.554420227087043]
  両プレイヤー間のペイオフベース、収束、合理的、対称な学習ダイナミクスを開発する。 行列ゲーム設定では、結果はナッシュ分布を見つけるために$O(epsilon-1)$の複雑さを意味する。 ゲーム設定では、結果はナッシュ平衡を求めるために$O(epsilon-8)$の複雑さをも意味している。
  論文  参考訳（メタデータ） (2024-09-02T20:07:25Z)
• Hindsight States: Blending Sim and Real Task Elements for Efficient Reinforcement Learning [61.3506230781327]
  ロボット工学では、第一原理から導かれた力学モデルに基づくシミュレーションに基づいて、トレーニングデータを生成する方法がある。 ここでは、力学の複雑さの不均衡を利用して、より標本効率のよい学習を行う。 提案手法をいくつかの課題に対して検証し,既存の近視アルゴリズムと組み合わせた場合の学習改善を実証する。
  論文  参考訳（メタデータ） (2023-03-03T21:55:04Z)
• Dynamical Equations With Bottom-up Self-Organizing Properties Learn Accurate Dynamical Hierarchies Without Any Loss Function [15.122944754472435]
  本稿では,正負のフィードバックループを持つ非線形ダイナミクスの領域内でパターンが定義される学習システムを提案する。 実験により、このようなシステムは時間的から空間的相関をマッピングすることができ、階層構造をシーケンシャルデータから学習することができることが明らかになった。
  論文  参考訳（メタデータ） (2023-02-04T10:00:14Z)
• Asymptotic Convergence and Performance of Multi-Agent Q-Learning Dynamics [38.5932141555258]
  一般的な強化学習アルゴリズムであるスムーズなQ-Learningのダイナミクスについて検討する。 我々は、Qラーニング力学が任意のゲームにおいて一意の平衡に収束することが保証されるような探索速度の十分条件を示す。
  論文  参考訳（メタデータ） (2023-01-23T18:39:11Z)
• No-Regret Learning in Games is Turing Complete [33.03065693224728]
  行列ゲーム上での複製子力学のチューリング完全性は、最も単純な設定の1つである。 この結果から,ゲームにおける学習アルゴリズムにおける到達可能性問題の非効率性が示唆され,特に平衡収束が決定される。
  論文  参考訳（メタデータ） (2022-02-24T02:37:50Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Teach me to play, gamer! Imitative learning in computer games via linguistic description of complex phenomena and decision tree [55.41644538483948]
  本稿では,複雑な現象の言語記述に基づく模倣による新しい機械学習モデルを提案する。 この手法は,ゲーム開発における知的エージェントの動作を設計し,実装するための優れた代替手段となる。
  論文  参考訳（メタデータ） (2021-01-06T21:14:10Z)
• No-regret learning and mixed Nash equilibria: They do not mix [64.37511607254115]
  我々はFTRL(Follow-the-regularized-leader)のダイナミクスについて検討する。 厳密でないナッシュ均衡は、FTRLの下で安定して引き寄せることは不可能である。 この結果は,学習過程の結果を予測する上で重要な意味を持つ。
  論文  参考訳（メタデータ） (2020-10-19T13:49:06Z)
• Continuous-in-Depth Neural Networks [107.47887213490134]
  まず最初に、このリッチな意味では、ResNetsは意味のある動的でないことを示します。 次に、ニューラルネットワークモデルが連続力学系を表現することを実証する。 ResNetアーキテクチャの詳細な一般化としてContinuousNetを紹介します。
  論文  参考訳（メタデータ） (2020-08-05T22:54:09Z)
• Model-Based Reinforcement Learning for Atari [89.3039240303797]
  エージェントがモデルフリーの手法よりも少ないインタラクションでAtariゲームを解くことができることを示す。 本実験は,エージェントと環境間の100kの相互作用の少ないデータ構造における,AtariゲームにおけるSimPLeの評価である。
  論文  参考訳（メタデータ） (2019-03-01T15:40:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。