論文の概要: Generalized Intention Modeling in Multi-Agent Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2605.31318v1
- Date: Fri, 29 May 2026 13:48:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-01 20:56:50.648738
- Title: Generalized Intention Modeling in Multi-Agent Reinforcement Learning
- Title（参考訳）: マルチエージェント強化学習における一般化意図モデリング
- Abstract要約: 既存の相手モデリング手法は、予め選択されたエピソード情報から導出した埋め込みを用いて意図を符号化する。
意図は多くの場合タスクに依存し、環境に依存しているため、これはそうではないことを実証的に示します。
本稿では,意図表現のパフォーマンス駆動の混合を学習するタスク適応型対戦型モデリングフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 9.77643765859318
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modeling an opponent's intent is critical for effective decision-making in non-cooperative, competitive, and general-sum multi-agent reinforcement learning. Existing opponent modeling methods encode intent using an embedding derived from episode information chosen a priori, such as the opponent's next action or a future environment state, and use this to guide the ego-agent's behavior. These approaches assume that the chosen information is universally representative of intent; however, we show empirically that this is not the case as intentions are often task- and environment-dependent. To address this, we introduce a task-adaptive opponent modeling framework that learns a performance-driven mixture of multiple intent representations. We further introduce a new intention representation that maximizes mutual information with the ego-agent's future returns, thereby capturing opponent information that is most directly relevant to performance. Our approach consistently matches or exceeds the performance of state-of-the-art baselines across diverse tasks and yields insights into when and why different opponent modeling strategies succeed.
- Abstract（参考訳）: 非協調的・競争的・汎用的なマルチエージェント強化学習において、相手の意図をモデル化することは効果的な意思決定に不可欠である。
既存の相手モデリング手法は、相手の次の行動や将来の環境状態など、予め選択されたエピソード情報から導かれた埋め込みを用いて意図を符号化し、これをエゴエージェントの行動を導く。
これらのアプローチは、選択された情報が意図を普遍的に表すものであると仮定するが、意図がタスクに依存し、環境に依存している場合が多いため、これを実証的に示す。
この問題に対処するために,複数の意図表現のパフォーマンス駆動混合を学習するタスク適応型対戦型モデリングフレームワークを提案する。
さらに、エゴエージェントの将来的なリターンと相互情報を最大化する意図表現を導入し、パフォーマンスに最も関係のある相手情報をキャプチャする。
我々のアプローチは、様々なタスクにまたがる最先端のベースラインのパフォーマンスと一貫して一致または超え、異なる対戦モデル戦略がいつ、なぜ成功するのかについての洞察を得る。
関連論文リスト
- Unified Representation Learning for Multi-Intent Diversity and Behavioral Uncertainty in Recommender Systems [6.438278082601862]
本稿では,レコメンデーションシステムにおけるユーザ意図の多様性と行動の不確実性を共同でモデル化することの課題に対処する。
このフレームワークはマルチインテント表現モジュールと不確実性モデリング機構を構築している。
ユーザ行動系列から多粒性関心構造を抽出する。
論文 参考訳（メタデータ） (2025-09-04T22:53:38Z) - Generative Intrinsic Optimization: Intrinsic Control with Model Learning [5.439020425819001]
将来のシーケンスは、環境へのアクションの実行後の結果を表す。
明示的な成果は、クレジットの割り当てや模倣学習などの異なる目的のために、州、返却、軌跡によって異なりうる。
本稿では、相互情報をシームレスに組み込んだ政策スキームを提案し、最適な政策への収束を確保する。
論文 参考訳（メタデータ） (2023-10-12T07:50:37Z) - Decision-making with Speculative Opponent Models [10.594910251058087]
分散応答支援型マルチエージェントアクター・クリティカル(DOMAC)について紹介する。
DOMACは、ローカル情報(例えば、制御されたエージェントの観察、行動、報酬)のみに依存する最初の投機的相手モデリングアルゴリズムである。
論文 参考訳（メタデータ） (2022-11-22T01:29:47Z) - Deep Interactive Bayesian Reinforcement Learning via Meta-Learning [63.96201773395921]
他のエージェントの戦略に対する不確実性下での最適適応行動は、インタラクティブベイズ強化学習フレームワークを用いて計算することができる。
本稿では,メタラーン近似的信念推論とベイズ最適行動を提案する。
提案手法は, モデルフリーアプローチ, 近似後部からのサンプル採取, 他者のメモリフリーモデル維持, あるいは環境の既知の構造を完全に活用しない既存手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-01-11T13:25:13Z) - Behavior Priors for Efficient Reinforcement Learning [97.81587970962232]
本稿では,情報とアーキテクチャの制約を,確率論的モデリング文献のアイデアと組み合わせて行動の事前学習を行う方法について考察する。
このような潜伏変数の定式化が階層的強化学習(HRL)と相互情報と好奇心に基づく目的との関係について論じる。
シミュレーションされた連続制御領域に適用することで,フレームワークの有効性を実証する。
論文 参考訳（メタデータ） (2020-10-27T13:17:18Z) - Moody Learners -- Explaining Competitive Behaviour of Reinforcement
Learning Agents [65.2200847818153]
競合シナリオでは、エージェントは動的環境を持つだけでなく、相手の行動に直接影響される。
エージェントのQ値の観察は通常、その振る舞いを説明する方法であるが、選択されたアクション間の時間的関係は示さない。
論文 参考訳（メタデータ） (2020-07-30T11:30:42Z) - Stylized Adversarial Defense [105.88250594033053]
逆行訓練は摂動パターンを生成し、モデルを堅牢化するためのトレーニングセットにそれらを含む。
我々は、より強力な敵を作るために、機能空間から追加情報を活用することを提案する。
我々の対人訓練アプローチは、最先端の防御と比べて強い堅牢性を示している。
論文 参考訳（メタデータ） (2020-07-29T08:38:10Z) - Goal-Aware Prediction: Learning to Model What Matters [105.43098326577434]
学習した前進力学モデルを使用する際の根本的な課題の1つは、学習したモデルの目的と下流のプランナーやポリシーの目標とのミスマッチである。
本稿では,タスク関連情報への直接的予測を提案し,そのモデルが現在のタスクを認識し,状態空間の関連量のみをモデル化することを奨励する。
提案手法は,目標条件付きシーンの関連部分を効果的にモデル化し,その結果,標準タスク非依存のダイナミックスモデルやモデルレス強化学習より優れていることがわかった。
論文 参考訳（メタデータ） (2020-07-14T16:42:59Z) - Learning to Model Opponent Learning [11.61673411387596]
マルチエージェント強化学習(MARL: Multi-Agent Reinforcement Learning)は、一組の共存エージェントが相互とその環境と相互作用する設定を考える。
これは、通常、収束が定常環境の仮定に依存する値関数ベースのアルゴリズムにとって大きな課題となる。
我々は、モデルポンポント学習(LeMOL)と呼ばれる、対戦者の学習力学をモデル化するための新しいアプローチを開発する。
論文 参考訳（メタデータ） (2020-06-06T17:19:04Z) - Plausible Counterfactuals: Auditing Deep Learning Classifiers with
Realistic Adversarial Examples [84.8370546614042]
ディープラーニングモデルのブラックボックスの性質は、彼らがデータから何を学ぶかについて、未回答の疑問を提起している。
GAN(Generative Adversarial Network)とマルチオブジェクトは、監査されたモデルに妥当な攻撃を与えるために使用される。
その実用性は人間の顔の分類タスクの中で示され、提案されたフレームワークの潜在的可能性を明らかにしている。
論文 参考訳（メタデータ） (2020-03-25T11:08:56Z) - Variational Autoencoders for Opponent Modeling in Multi-Agent Systems [9.405879323049659]
マルチエージェントシステムは、共有環境における複数のエージェントの相互作用から生じる複雑な振る舞いを示す。
本研究は,マルチエージェントシステムにおけるエージェントの制御に関心を持ち,ポリシーを定めているエージェントとのインタラクションをうまく学習する。
他のエージェント(反対者)の振る舞いをモデル化することは、システム内のエージェントの相互作用を理解するのに不可欠である。
論文 参考訳（メタデータ） (2020-01-29T13:38:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。