論文の概要: Reinforcement Learning, Collusion, and the Folk Theorem
- arxiv url: http://arxiv.org/abs/2411.12725v1
- Date: Tue, 19 Nov 2024 18:45:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-20 13:36:02.224608
- Title: Reinforcement Learning, Collusion, and the Folk Theorem
- Title(参考訳): 強化学習, 協調, 民族理論
- Authors: Galit Askenazi-Golan, Domenico Mergoni Cecchelli, Edward Plumb,
- Abstract要約: 学習エージェントから生まれる行動は、幅広い学習力学のために戦略的に反復的に相互作用する。
我々は,異なる形式の監視を行うために,リコールが有限である一般的な繰り返しゲームの設定を検討する。
フォーク・セオレムのような結果を得て、これらのダイナミクスによって得られるペイオフベクトルの集合を特徴づける。
- 参考スコア(独自算出の注目度): 0.0
- License:
- Abstract: We explore the behaviour emerging from learning agents repeatedly interacting strategically for a wide range of learning dynamics that includes projected gradient, replicator and log-barrier dynamics. Going beyond the better-understood classes of potential games and zero-sum games, we consider the setting of a general repeated game with finite recall, for different forms of monitoring. We obtain a Folk Theorem-like result and characterise the set of payoff vectors that can be obtained by these dynamics, discovering a wide range of possibilities for the emergence of algorithmic collusion.
- Abstract(参考訳): 予測勾配,レプリケータ,ログバリアダイナミクスを含む,幅広い学習ダイナミクスに対して,学習エージェントが戦略的に繰り返し対話する様子を探索する。
潜在的なゲームやゼロサムゲームのよりよく理解されたクラスを超えて、様々な形式の監視のために、リコールが有限である一般的な繰り返しゲームの設定を考える。
我々は、これらのダイナミクスによって得られるような、フォーク・セオリームのような結果を得て、ペイオフベクトルの集合を特徴づけ、アルゴリズム的共謀の出現の可能性を広範囲に発見する。
関連論文リスト
- Nested replicator dynamics, nested logit choice, and similarity-based learning [56.98352103321524]
我々は,分割型類似性構造を持つアクションセットを持つゲームにおいて,学習と進化のモデルを考える。
このモデルでは、修正エージェントは現在の戦略と類似とみなす他の戦略を比較する確率が高い。
同様の戦略に対するこの暗黙の偏見のため、結果として生じる力学は模倣ゲーム力学の標準的な単調性合理性のいずれかを満たすことができない。
論文 参考訳(メタデータ) (2024-07-25T07:09:53Z) - A unified stochastic approximation framework for learning in games [82.74514886461257]
ゲームにおける学習の長期的挙動(連続的・有限的)を解析するためのフレキシブルな近似フレームワークを開発する。
提案する分析テンプレートには,勾配に基づく手法,有限ゲームでの学習のための指数的/乗算的重み付け,楽観的および帯域的変異など,幅広い一般的な学習アルゴリズムが組み込まれている。
論文 参考訳(メタデータ) (2022-06-08T14:30:38Z) - Adaptive Discrete Communication Bottlenecks with Dynamic Vector
Quantization [76.68866368409216]
入力に条件付けされた離散化の厳密度を動的に選択する学習を提案する。
コミュニケーションボトルネックの動的に変化する厳密さは、視覚的推論や強化学習タスクにおけるモデル性能を向上させることができることを示す。
論文 参考訳(メタデータ) (2022-02-02T23:54:26Z) - Learning Generalizable Behavior via Visual Rewrite Rules [0.9558392439655015]
本稿では,ニューラルネットワークを使わずに環境動態を捉えるための新しい表現と学習手法を提案する。
これは、人のために設計されたゲームにおいて、アクションの効果が連続した視覚的観察における局所的な変化の形で知覚されることがしばしばあるという観察に由来する。
我々のアルゴリズムは、このような視覚的変化を抽出し、それらを「視覚的書き換え規則」と呼ぶ一連の行動依存記述規則(VRR)に凝縮するように設計されている。
論文 参考訳(メタデータ) (2021-12-09T21:23:26Z) - Independent Learning in Stochastic Games [16.505046191280634]
動的環境におけるマルチエージェント学習のためのゲームモデルを提案する。
ゲームのためのシンプルで独立した学習力学の開発に焦点をあてる。
我々は最近提案したゼロサムゲームにおける収束を保証する単純かつ独立な学習力学について述べる。
論文 参考訳(メタデータ) (2021-11-23T09:27:20Z) - Generative Adversarial Reward Learning for Generalized Behavior Tendency
Inference [71.11416263370823]
ユーザの行動嗜好モデルのための生成的逆強化学習を提案する。
我々のモデルは,差別的アクター批判ネットワークとWasserstein GANに基づいて,ユーザの行動から報酬を自動的に学習することができる。
論文 参考訳(メタデータ) (2021-05-03T13:14:25Z) - Opponent Learning Awareness and Modelling in Multi-Objective Normal Form
Games [5.0238343960165155]
エージェントはシステム内の他のエージェントの振る舞いについて学ぶことが不可欠である。
本稿では,非線形ユーティリティとの多目的マルチエージェント相互作用に対する,このようなモデリングの効果について述べる。
論文 参考訳(メタデータ) (2020-11-14T12:35:32Z) - Behavior Priors for Efficient Reinforcement Learning [97.81587970962232]
本稿では,情報とアーキテクチャの制約を,確率論的モデリング文献のアイデアと組み合わせて行動の事前学習を行う方法について考察する。
このような潜伏変数の定式化が階層的強化学習(HRL)と相互情報と好奇心に基づく目的との関係について論じる。
シミュレーションされた連続制御領域に適用することで,フレームワークの有効性を実証する。
論文 参考訳(メタデータ) (2020-10-27T13:17:18Z) - The Evolutionary Dynamics of Independent Learning Agents in Population
Games [21.68881173635777]
本稿では,集団ゲームにおける独立学習エージェントのプロセスとダイナミクスの形式的関係について述べる。
マスター方程式アプローチを用いて、人口動態を特徴付けるための新しい統一的な枠組みを提供する。
論文 参考訳(メタデータ) (2020-06-29T14:22:23Z) - Guided Variational Autoencoder for Disentanglement Learning [79.02010588207416]
本稿では,潜在表現非絡み合い学習を行うことで,制御可能な生成モデルを学習できるアルゴリズム,Guided-VAEを提案する。
我々は、ガイド-VAEにおける教師なし戦略と教師なし戦略を設計し、バニラVAE上でのモデリングと制御能力の強化を観察する。
論文 参考訳(メタデータ) (2020-04-02T20:49:15Z) - Distributed No-Regret Learning in Multi-Agent Systems [12.111429383532888]
標準ゲームモデルに挑戦する4つの新興ゲーム特性について検討した。
これら4つの特徴のそれぞれについて,ゲームモデリング,後悔の概念,実現可能なゲーム結果,分散学習アルゴリズムの設計と解析を照らし出す。
論文 参考訳(メタデータ) (2020-02-20T22:30:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。