論文の概要: Interactive Distributionally Robust Multi-Agent Learning with General Function Approximation
- arxiv url: http://arxiv.org/abs/2609.32048v1
- Date: Fri, 25 Sep 2026 22:28:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 03:34:13.852312
- Title: Interactive Distributionally Robust Multi-Agent Learning with General Function Approximation
- Title（参考訳）: 一般関数近似を用いた対話型分散ロバスト多エージェント学習
- Abstract要約: 本稿では,一般関数近似と$$$-divergence不確実性セットを用いた一般DRMGのオンライン学習について検討する。
均衡に基づく探索と2つの適合学習を統合したモデルフリーフレームワークであるRoMEX-$を提案する。
- 参考スコア（独自算出の注目度）: 18.596128578766958
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Model misspecification poses a fundamental challenge in multi-agent reinforcement learning, where transition uncertainty can be amplified by strategic interactions among agents. Distributionally robust Markov games (DRMGs) provide a principled framework for addressing such uncertainty, yet existing methods often rely on restrictive assumptions or scale poorly to large state and joint action spaces. We study online learning in general-sum DRMGs with general function approximation and $φ$-divergence uncertainty sets. We propose RoMEX-$φ$, a model-free framework that integrates equilibrium-based exploration with dual fitted learning. Through a functional dual representation of the robust multi-agent Bellman operator, RoMEX-$φ$ enables tractable worst-case value estimation from nominal interaction data using a centered empirical robust discrepancy. We introduce the robust Multi-Agent Decoupling Coefficient (robust MADC) to characterize the intrinsic exploration complexity arising from strategic interactions and adversarial transition uncertainty. We establish sublinear robust regret guarantees governed by the robust MADC rather than explicitly by the state and joint action space sizes, replacing tabular dependence with intrinsic function-class complexity. Numerical experiments on a scalable general-sum DRMG under total variation uncertainty show that RoMEX-$φ$ is substantially more resilient to transition shifts than its non-robust counterpart while remaining competitive with an exact tabular robust baseline. Our results provide a scalable framework for distributionally robust multi-agent reinforcement learning with general function approximation.
- Abstract（参考訳）: モデルの不特定は、エージェント間の戦略的相互作用によって遷移の不確実性が増幅されるマルチエージェント強化学習において、根本的な課題となる。
分布的に堅牢なマルコフゲーム(DRMGs)は、そのような不確実性に対処するための原則的な枠組みを提供するが、既存の手法はしばしば制限的な仮定に頼り、大きな状態や共同アクション空間にはあまりスケールしない。
一般関数近似と$φ$-divergence不確実性集合を用いた一般DRMGのオンライン学習について検討する。
均衡に基づく探索と2つの適合学習を統合するモデルフリーフレームワークであるRoMEX-$φ$を提案する。
頑健なマルチエージェントベルマン作用素の関数的双対表現により、RoMEX-$φ$は、中心となる経験的ロバストな相違を利用して、名目相互作用データから抽出可能な最悪の値の推定を可能にする。
本稿では,戦略的相互作用と相反的遷移の不確実性から生じる本質的な探索複雑性を特徴付けるために,ロバストMADC(Multi-Agent Decoupling Coefficient)を提案する。
我々は,表層依存を本質的な関数型複雑性に置き換え,状態と共同動作空間の大きさによって明確に制御されるのではなく,頑健なMADCが支配するサブ線形頑健な後悔保証を確立する。
全変動不確実性の下でのスケーラブルな汎用DRMGに関する数値実験により、RoMEX-$φ$は、正確な表の頑健なベースラインと競合しながらも、非ロバストなシフトよりもかなり弾力性があることが示されている。
本研究は,汎用関数近似を用いた分散頑健なマルチエージェント強化学習のためのスケーラブルなフレームワークを提供する。
関連論文リスト
- Stationary Robust Mean-Field Games under Model Mismatches [3.053409604085541]
本稿では,無限水平定常平均場ゲームフレームワークを開発する。
分布モデルの不確実性を直接集団結合力学に組み込む。
契約的ロバスト力学体制の下では、明示的な非漸近誤差境界が得られる。
論文 参考訳（メタデータ） (2026-06-21T16:29:25Z) - Every Response Counts: Quantifying Uncertainty of LLM-based Multi-Agent Systems through Tensor Decomposition [10.210978141489003]
大規模言語モデルに基づくマルチエージェントシステム(MAS)は、複雑なタスクにおいて単一エージェントシステムよりも一貫して優れている。
既存の不確実性量子化法は、MASの特異な複雑さに対処できない。
テンソル分解による不確かさを定量化する新しいフレームワークMATUを紹介する。
論文 参考訳（メタデータ） (2026-04-09T19:01:50Z) - Equivariant Evidential Deep Learning for Interatomic Potentials [55.6997213490859]
不確かさの定量化は、分子動力学シミュレーションにおける機械学習の原子間ポテンシャルの信頼性を評価するために重要である。
既存のMLIPのUQアプローチは、高い計算コストや準最適性能によって制限されることが多い。
我々は,原子間ポテンシャルの定量的深層学習(texte2$IP)を提案する。
論文 参考訳（メタデータ） (2026-02-11T02:00:25Z) - Active Asymmetric Multi-Agent Multimodal Learning under Uncertainty [15.933557806106071]
不確実性下でのアクティブ非対称マルチエージェントマルチモーダル学習(A2MAML)を提案する。
A2MAMLは、不確実性を認識し、モダリティレベルのコラボレーションのための原則化されたアプローチである。
共同事故検出のための接続された自律走行シナリオの実験は、A2MAMLがシングルエージェントとコラボレーティブベースラインの両方を一貫して上回っていることを示している。
論文 参考訳（メタデータ） (2026-02-04T17:01:31Z) - NDCG-Consistent Softmax Approximation with Accelerated Convergence [67.10365329542365]
本稿では,ランキングの指標と直接一致した新たな損失定式化を提案する。
提案したRG損失を高効率な Alternating Least Squares (ALS) 最適化手法と統合する。
実世界のデータセットに対する実証的な評価は、我々のアプローチが同等または上位のパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2025-06-11T06:59:17Z) - Breaking the Curse of Multiagency in Robust Multi-Agent Reinforcement Learning [37.80275600302316]
分布的にロバストなマルコフゲーム (RMG) は、MARLのロバスト性を高めるために提案されている。
悪名高いオープンな2つの課題は、不確実性の集合の定式化と、対応するRMGがマルチ緊急の呪いを克服できるかどうかである。
本研究では,行動経済学に着想を得た自然なRMGのクラスを提案し,各エージェントの不確実性セットは,環境と他のエージェントの統合行動の両方によって形成される。
論文 参考訳（メタデータ） (2024-09-30T08:09:41Z) - Cross-Attention is Not Enough: Incongruity-Aware Dynamic Hierarchical
Fusion for Multimodal Affect Recognition [69.32305810128994]
モダリティ間の同調性は、特に認知に影響を及ぼすマルチモーダル融合の課題となる。
本稿では,動的モダリティゲーティング(HCT-DMG)を用いた階層型クロスモーダルトランスを提案する。
HCT-DMG: 1) 従来のマルチモーダルモデルを約0.8Mパラメータで上回り、2) 不整合が認識に影響を及ぼすハードサンプルを認識し、3) 潜在レベルの非整合性をクロスモーダルアテンションで緩和する。
論文 参考訳（メタデータ） (2023-05-23T01:24:15Z) - On the Complexity of Multi-Agent Decision Making: From Learning in Games
to Partial Monitoring [105.13668993076801]
マルチエージェント強化学習(MARL)理論における中心的な問題は、構造条件やアルゴリズムの原理がサンプル効率の学習保証につながるかを理解することである。
本稿では,複数のエージェントを用いた対話型意思決定のための一般的な枠組みとして,この問題について考察する。
マルチエージェント意思決定における統計的複雑性を特徴付けることは、単一エージェント決定の統計的複雑性を特徴付けることと等価であることを示す。
論文 参考訳（メタデータ） (2023-05-01T06:46:22Z) - Trustworthy Multimodal Regression with Mixture of Normal-inverse Gamma
Distributions [91.63716984911278]
このアルゴリズムは、異なるモードの適応的統合の原理における不確かさを効率的に推定し、信頼できる回帰結果を生成する。
実世界のデータと実世界のデータの両方に対する実験結果から,多モード回帰タスクにおける本手法の有効性と信頼性が示された。
論文 参考訳（メタデータ） (2021-11-11T14:28:12Z) - Distributional Robustness and Regularization in Reinforcement Learning [62.23012916708608]
経験値関数の新しい正規化器を導入し、ワッサーシュタイン分布のロバストな値関数を下限とすることを示す。
強化学習における$textitexternalな不確実性に対処するための実用的なツールとして正規化を使用することを提案する。
論文 参考訳（メタデータ） (2020-03-05T19:56:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。