論文の概要: The impact of uncertainty on regularized learning in games

• arxiv url: http://arxiv.org/abs/2506.13286v1
• Date: Mon, 16 Jun 2025 09:28:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:47.99507
• Title: The impact of uncertainty on regularized learning in games
• Title（参考訳）: 不確実性がゲームにおける正規化学習に及ぼす影響
• Authors: Pierre-Louis Cauvin, Davide Legacci, Panayotis Mertikopoulos,
• Abstract要約: ゲームにおけるランダム性と不確実性が学習に与える影響について検討する。 特に、"follow-the-regularized-leader"のダイナミクスに注目します。 あらゆるゲームにおいて、ノイズレベルに関係なく、「不確実性は極端なものを好む」ことを示す。
• 参考スコア（独自算出の注目度）: 24.800126996235512
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we investigate how randomness and uncertainty influence learning in games. Specifically, we examine a perturbed variant of the dynamics of "follow-the-regularized-leader" (FTRL), where the players' payoff observations and strategy updates are continually impacted by random shocks. Our findings reveal that, in a fairly precise sense, "uncertainty favors extremes": in any game, regardless of the noise level, every player's trajectory of play reaches an arbitrarily small neighborhood of a pure strategy in finite time (which we estimate). Moreover, even if the player does not ultimately settle at this strategy, they return arbitrarily close to some (possibly different) pure strategy infinitely often. This prompts the question of which sets of pure strategies emerge as robust predictions of learning under uncertainty. We show that (a) the only possible limits of the FTRL dynamics under uncertainty are pure Nash equilibria; and (b) a span of pure strategies is stable and attracting if and only if it is closed under better replies. Finally, we turn to games where the deterministic dynamics are recurrent - such as zero-sum games with interior equilibria - and we show that randomness disrupts this behavior, causing the stochastic dynamics to drift toward the boundary on average.
• Abstract（参考訳）: 本稿では,ゲームにおけるランダム性と不確実性が学習に与える影響について検討する。 具体的には,FTRL(Follow-the-regularized-leader)の動的変動について検討し,プレイヤーのペイオフ観察と戦略更新がランダムショックによって継続的に影響されることを示す。 ノイズレベルに関わらず、どのプレイヤーのプレーの軌道も、有限時間(推定)で純粋な戦略の任意の小さな近傍に達する。 さらに、たとえプレイヤーが最終的にこの戦略に決着をつけなかったとしても、任意にいくつかの(おそらく異なる)純粋な戦略に無限に近付く。 これにより、純粋戦略のどのセットが不確実性の下での学習の堅牢な予測として現れるのかという疑問が提起される。 私たちはそれを示します (a)不確実性の下でのFTRL力学の唯一の限界は純粋なナッシュ平衡である。 b) 純粋な戦略のスパンは安定であり、より良い応答の下で閉じた場合にのみ引き寄せられる。 最後に、内部平衡を持つゼロサムゲームのような決定論的ダイナミクスが繰り返されるゲームに目を向け、ランダム性がこの挙動を妨害し、確率力学が平均的に境界に向かってドリフトすることを示す。

関連論文リスト

• Paths to Equilibrium in Games [6.812247730094933]
  我々は、強化学習におけるポリシー更新に触発されたペアワイズ制約を満たす戦略の列について研究する。 我々の分析は、戦略的な更新を劣化させる報酬が、満足のいく道に沿って均衡に進むための鍵である、という直感的な洞察を明らかにした。
  論文  参考訳（メタデータ） (2024-03-26T19:58:39Z)
• The equivalence of dynamic and strategic stability under regularized learning in games [33.74394172275373]
  有限ゲームにおける正規化学習の長時間動作について検討する。 戦略的安定性と動的安定性の等価性を得る。 エントロピー正則化に基づく手法は幾何速度で収束することを示す。
  論文  参考訳（メタデータ） (2023-11-04T14:07:33Z)
• Game-Theoretic Robust Reinforcement Learning Handles Temporally-Coupled Perturbations [98.5802673062712]
  我々は時間的に結合した摂動を導入し、既存の頑健な強化学習手法に挑戦する。 本稿では、時間的に結合したロバストなRL問題を部分的に観測可能な2プレイヤーゼロサムゲームとして扱う新しいゲーム理論であるGRADを提案する。
  論文  参考訳（メタデータ） (2023-07-22T12:10:04Z)
• Finding mixed-strategy equilibria of continuous-action games without gradients using randomized policy networks [83.28949556413717]
  グラデーションへのアクセスを伴わない連続アクションゲームのナッシュ平衡を近似的に計算する問題について検討する。 ニューラルネットワークを用いてプレイヤーの戦略をモデル化する。 本論文は、制約のない混合戦略と勾配情報のない一般的な連続アクションゲームを解決する最初の方法である。
  論文  参考訳（メタデータ） (2022-11-29T05:16:41Z)
• Disturbing Reinforcement Learning Agents with Corrupted Rewards [62.997667081978825]
  強化学習アルゴリズムに対する報酬の摂動に基づく異なる攻撃戦略の効果を分析します。 敵対的な報酬をスムーズに作成することは学習者を誤解させることができ、低探査確率値を使用すると、学習した政策は報酬を腐敗させるのがより堅牢であることを示しています。
  論文  参考訳（メタデータ） (2021-02-12T15:53:48Z)
• On the Impossibility of Convergence of Mixed Strategies with No Regret Learning [10.515544361834241]
  最適無後悔学習戦略の一般クラスから得られる混合戦略の収束特性について検討する。 各ステップに設定された情報を相手の実演の実証平均とする戦略のクラスを考察する。
  論文  参考訳（メタデータ） (2020-12-03T18:02:40Z)
• No-regret learning and mixed Nash equilibria: They do not mix [64.37511607254115]
  我々はFTRL(Follow-the-regularized-leader)のダイナミクスについて検討する。 厳密でないナッシュ均衡は、FTRLの下で安定して引き寄せることは不可能である。 この結果は,学習過程の結果を予測する上で重要な意味を持つ。
  論文  参考訳（メタデータ） (2020-10-19T13:49:06Z)
• Chaos, Extremism and Optimism: Volume Analysis of Learning in Games [55.24050445142637]
  本稿では,ゼロサムにおける乗算重み更新 (MWU) と最適乗算重み更新 (OMWU) のボリューム解析と協調ゲームについて述べる。 我々は、OMWUが、その既知の収束挙動の代替的な理解を提供するために、ボリュームを契約していることを示します。 我々はまた、コーディネートゲームを調べる際に役割が逆になるという意味で、自由ランチ型の定理も証明する: OMWU は指数関数的に高速に体積を拡大するが、MWU は契約する。
  論文  参考訳（メタデータ） (2020-05-28T13:47:09Z)
• Efficient exploration of zero-sum stochastic games [83.28949556413717]
  ゲームプレイを通じて,ゲームの記述を明示せず,託宣のみにアクセス可能な,重要で一般的なゲーム解決環境について検討する。 限られたデュレーション学習フェーズにおいて、アルゴリズムは両方のプレイヤーのアクションを制御し、ゲームを学習し、それをうまくプレイする方法を学習する。 私たちのモチベーションは、クエリされた戦略プロファイルの支払いを評価するのにコストがかかる状況において、利用可能性の低い戦略を迅速に学習することにあります。
  論文  参考訳（メタデータ） (2020-02-24T20:30:38Z)
• Optimal strategies in the Fighting Fantasy gaming system: influencing stochastic dynamics by gambling with limited resource [0.0]
  Fighting Fantasyは、世界で人気のあるレクリエーションファンタジーゲームシステムである。 各ラウンドでは、限られた資源(Luck')がギャンブルに費やされ、勝利の利益を増幅したり、損失から赤字を軽減したりすることができる。 我々は,システムに対するベルマン方程式の解法と,ゲーム中の任意の状態に対する最適な戦略を特定するために,後方帰納法を用いる。
  論文  参考訳（メタデータ） (2020-02-24T11:31:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。