論文の概要: Discovering Learning Rules that Shape Others
- arxiv url: http://arxiv.org/abs/2611.08335v1
- Date: Thu, 05 Nov 2026 17:23:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-07 04:55:13.597192
- Title: Discovering Learning Rules that Shape Others
- Title（参考訳）: 他を形作る学習ルールの発見
- Abstract要約: 対向学習認知(LOLA)による学習のような手法は、相手の学習過程を通じて区別される。
M-FOSは、ロングホライゾン対向整形のためのモデルフリー最適化手法を用いる。
応答整形のための発見更新ルール(DUOS)について紹介する。
- 参考スコア（独自算出の注目度）: 25.587052128532594
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In general-sum games, self-interested learners can reach outcomes that are poor for everyone, which has motivated methods that shape the opponent's learning. Methods like Learning with Opponent-Learning Awareness (LOLA), which differentiates through the opponent's learning process, and Model-Free Opponent Shaping (M-FOS), which uses model-free optimisation methods for long-horizon opponent shaping, have enabled mutual cooperation and exploitation of learners. However, these methods require access to the opponent's parameters, policy, rewards or learning rule during deployment. In single-agent reinforcement learning, update rules discovered by meta-learning have achieved state-of-the-art results (e.g. DiscoRL). These rules are separate from the policy they train and read only the agent's own experience. We hereby extend this framework to general-sum settings by introducing Discovered Update Rule for Opponent Shaping (DUOS). To the best of our knowledge, this is the first method to discover an update rule for an agent in general-sum games. DUOS meta-trains the rule to maximise the agent's expected return over its lifetime, and updates an inner network using the agent's own experience. We show that our discovered rule exhibits behaviour consistent with opponent shaping without reading opponent policies or parameters, and ranks 1st in normalised mean score and 1st in self-play among tournament entrants.
- Abstract（参考訳）: 一般のサムゲームでは、自己興味のある学習者は、相手の学習を形作る動機づけた方法によって、全員にとって不十分な結果に達することができる。
対戦相手の学習過程を区別するLOLA(Learning with Opponent-Learning Awareness)や、ロングホライゾンの対戦相手形成のためのモデルフリー最適化手法を用いたM-FOS(Model-Free Opponent Shaping)といった手法は、相互協力と学習者の活用を可能にしている。
しかし、これらの方法は、デプロイ中に相手のパラメータ、ポリシー、報酬、学習ルールにアクセスする必要がある。
単エージェント強化学習では、メタラーニングによって発見された更新ルールが最先端の結果(例えばDiscoRL)を達成している。
これらのルールは、彼らが訓練し、エージェント自身の経験のみを読み取るポリシーとは別物である。
ここでは、このフレームワークを汎用的な設定に拡張し、 Discovered Update Rule for Opponent Shaping (DUOS)を導入する。
我々の知る限りでは、これは汎用ゲームにおけるエージェントの更新ルールを発見するための最初の方法である。
DUOSは、エージェントが生涯にわたって期待するリターンを最大化するルールをメタトレーニングし、エージェント自身の経験を使って内部ネットワークを更新する。
また,本ルールは,対戦相手のルールやパラメータを読まずに,対戦相手の形状に整合した行動を示し,大会参加者間での平均得点が1位,自己プレーが1位となった。
関連論文リスト
- Can AI Agents Learn Their Way to the Top? Evaluating Heuristic Learning in a Long-Running Game Agent Competition [40.08494811358436]
ヒューリスティックラーニング(英: Heuristic Learning、AHL)は、AIエージェントを学習エンジンとして使用してゲームポリシーを洗練し、ソフトウェアをサポートするパラダイムである。
AAArenaは12の正反対ゲームと1,920のアーカイブされた人間プログラムからなるベンチマークである。
エージェントは、ルールを解釈し、相手を選択し、リプレイを分析し、ゲームエージェントを修正し、一定の試合と評価予算の中で最高ランクを達成する。
論文 参考訳（メタデータ） (2026-10-08T17:15:48Z) - MERMAIDE: Learning to Align Learners using Model-Based Meta-Learning [62.065503126104126]
本研究では,先見のつかない学習エージェントの報酬を効率よく効果的に介入し,望ましい結果を導き出す方法について検討する。
これはオークションや課税のような現実世界の多くの設定に関係しており、プリンシパルは学習行動や実際の人々の報酬を知らないかもしれない。
モデルに基づくメタ学習フレームワークであるMERMAIDEを導入し,配布外エージェントに迅速に適応できるプリンシパルを訓練する。
論文 参考訳（メタデータ） (2023-04-10T15:44:50Z) - BRExIt: On Opponent Modelling in Expert Iteration [7.088503833248158]
本稿では,現在最先端の学習アルゴリズムであるExpert Iteration(ExIt)に対立するモデルを組み込むことで,ゲームにおける学習を加速するBest Response Expert Iteration(BRExIt)を提案する。
BRExItは,(1)見習いにおける特徴形成を改善すること,(2)見習いの政策を補助課題として予測する方針,(2)見習いのモデルに向けた計画においてバイアス相手が動き,最良の反応をよりよく近似する見習いのターゲットを生成することを目的としている。
論文 参考訳（メタデータ） (2022-05-31T20:49:10Z) - Model-Free Opponent Shaping [1.433758865948252]
汎用ゲームのためのM-FOS(Model-Free Opponent Shaping)を提案する。
M-FOSはメタゲームで学習し、各メタステップは根底にある「インナー」ゲームのエピソードである。
文学的な学習者や、より洗練されたアルゴリズムを駆使している。
論文 参考訳（メタデータ） (2022-05-03T12:20:14Z) - L2E: Learning to Exploit Your Opponent [66.66334543946672]
本稿では,暗黙的対向モデリングのための新しい学習フレームワークを提案する。
L2Eは、トレーニング中に異なる相手との対話によって、相手を悪用する能力を取得する。
本稿では, 対戦相手を自動的に生成する新しい対戦相手戦略生成アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-02-18T14:27:59Z) - Efficient Competitive Self-Play Policy Optimization [20.023522000925094]
対戦型ゼロサムゲームにおける対戦型自己演奏強化学習のための新しいアルゴリズムフレームワークを提案する。
本手法は,複数のエージェントを同時に訓練し,単純な対戦ルールに基づいて知的に互いに相手として取り合う。
我々は,このアルゴリズムが凸凹ゲームにおいて高い確率で近似平衡に収束することを理論的に証明する。
論文 参考訳（メタデータ） (2020-09-13T21:01:38Z) - Learning to Play Sequential Games versus Unknown Opponents [93.8672371143881]
学習者が最初にプレーするゲームと、選択した行動に反応する相手との連続的なゲームについて考察する。
対戦相手の対戦相手列と対戦する際,学習者に対して新しいアルゴリズムを提案する。
我々の結果には、相手の反応の正則性に依存するアルゴリズムの後悔の保証が含まれている。
論文 参考訳（メタデータ） (2020-07-10T09:33:05Z) - Learning to Model Opponent Learning [11.61673411387596]
マルチエージェント強化学習(MARL: Multi-Agent Reinforcement Learning)は、一組の共存エージェントが相互とその環境と相互作用する設定を考える。
これは、通常、収束が定常環境の仮定に依存する値関数ベースのアルゴリズムにとって大きな課題となる。
我々は、モデルポンポント学習(LeMOL)と呼ばれる、対戦者の学習力学をモデル化するための新しいアプローチを開発する。
論文 参考訳（メタデータ） (2020-06-06T17:19:04Z) - Learning from Learners: Adapting Reinforcement Learning Agents to be
Competitive in a Card Game [71.24825724518847]
本稿では,競争力のあるマルチプレイヤーカードゲームの現実的な実装を学習・プレイするために,一般的な強化学習アルゴリズムをどのように適用できるかについて検討する。
本研究は,学習エージェントに対して,エージェントが競争力を持つことの学習方法を評価するための特定のトレーニングと検証ルーチンを提案し,それらが相互の演奏スタイルにどのように適応するかを説明する。
論文 参考訳（メタデータ） (2020-04-08T14:11:05Z) - Reward-Conditioned Policies [100.64167842905069]
模倣学習には、ほぼ最適の専門家データが必要である。
実演なしで指導的学習を通じて効果的な政策を学べるか?
政策探索の原則的手法として,このようなアプローチを導出する方法を示す。
論文 参考訳（メタデータ） (2019-12-31T18:07:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。