論文の概要: The Price of Paranoia: Robust Risk-Sensitive Cooperation in Non-Stationary Multi-Agent Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2604.15695v1
• Date: Fri, 17 Apr 2026 04:41:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-20 22:00:19.739115
• Title: The Price of Paranoia: Robust Risk-Sensitive Cooperation in Non-Stationary Multi-Agent Reinforcement Learning
• Title（参考訳）: パラノイアの価格:非定常多エージェント強化学習におけるロバストリスク感作協調
• Authors: Deep Kumar Ganguly, Chandradithya S Jonnalagadda, Pratham Chintamani, Adithya Ananth,
• Abstract要約: コーディネートゲームの構造を通して,コラーニングノイズがどのように伝搬するかを検討する。 標準リスクニュートラル学習においては,協調均衡は指数関数的に不安定であることがわかった。 その結果,ロバスト性はリターン分布ではなく,パートナーの不確実性によって引き起こされる政策勾配更新分散を目標とすべきであることが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Cooperative equilibria are fragile. When agents learn alongside each other rather than in a fixed environment, the process of learning destabilizes the cooperation they are trying to sustain: every gradient step an agent takes shifts the distribution of actions its partner will play, turning a cooperative partner into a source of stochastic noise precisely where the cooperation decision is most sensitive. We study how this co-learning noise propagates through the structure of coordination games, and find that the cooperative equilibrium, even when strongly Pareto-dominant, is exponentially unstable under standard risk-neutral learning, collapsing irreversibly once partner noise crosses the game's critical cooperation threshold. The natural response to apply distributional robustness to hedge against partner uncertainty makes things strictly worse: risk-averse return objectives penalize the high-variance cooperative action relative to defection, widening the instability region rather than shrinking it, a paradox that reveals a fundamental mismatch between the domains where robustness is applied and instability originates. We resolve this by showing that robustness should target the policy gradient update variance induced by partner uncertainty, not the return distribution. This distinction yields an algorithm whose gradient updates are modulated by an online measure of partner unpredictability, provably expanding the cooperation basin in symmetric coordination games. To unify stability, sample complexity, and welfare consequences of this approach, we introduce the Price of Paranoia as the structural dual of the Price of Anarchy. Together with a novel Cooperation Window, it precisely characterizes how much welfare learning algorithms can recover under partner noise, pinning down the optimal degree of robustness as a closed-form balance between equilibrium stability and sample efficiency.
• Abstract（参考訳）: 協調均衡は脆弱である。 エージェントは、固定された環境でではなく、互いに学習するとき、学習のプロセスは、彼らが維持しようとしている協力を不安定にする: エージェントが行うすべての勾配ステップは、パートナーが行う行動の分布をシフトさせ、協力パートナーを、協力決定が最も敏感である確率的ノイズの源へと変えます。 本研究では,この協調学習ノイズが協調ゲームの構造を通してどのように伝播するかを考察し,パレート優位性が強い場合でも,標準的リスク中立学習の下で指数関数的に不安定であり,パートナーノイズがゲームの臨界協調しきい値を超えたときに不可逆的に崩壊することを見出した。 リスク逆戻り目的は、欠陥に対する高分散協調作用をペナルティ化し、不安定領域を縮小するよりも、不安定領域を広げる。 我々は、ロバスト性は、リターン分布ではなく、パートナーの不確実性によって引き起こされるポリシー勾配更新分散を目標とすべきであることを示す。 この区別により、勾配の更新はパートナー予測不可能性のオンライン尺度によって変調され、対称協調ゲームにおける協調盆地を確実に拡張するアルゴリズムが得られる。 このアプローチの安定性, サンプル複雑性, 福祉効果を統一するために, アナーキー価格の構造的双対として, パラノイア価格を導入する。 新たなCooperation Windowとともに、パートナーノイズの下でどの程度の福祉学習アルゴリズムが回復できるかを正確に評価し、平衡安定性とサンプル効率のクローズドフォームバランスとして、ロバストネスの最適度をピン留めする。

関連論文リスト

• Robust Adversarial Policy Optimization Under Dynamics Uncertainty [8.729531978655737]
  強化学習(RL)ポリシーは、トレーニングとは異なるダイナミクスの下で失敗することが多い。 本稿では、ロバスト性-性能トレードオフを直接露呈する二重定式化を提案する。 結果として得られるフレームワークである、堅牢な逆ポリシー最適化(RAPO)は、ロバストなRLベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-04-13T04:23:54Z)
• GRASP: Gradient Realignment via Active Shared Perception for Multi-Agent Collaborative Optimization [41.52202306408042]
  非定常性は、同時ポリシー更新によって発生し、持続的な環境変動を引き起こす。 本稿では,一般ベルマン均衡を政策進化の安定目標として定義する新しい枠組みである,アクティブ共有知覚(GRASP)によるRealignmentを提案する。
  論文  参考訳（メタデータ） (2026-04-01T10:26:22Z)
• Decentralized Dynamic Cooperation of Personalized Models for Federated Continual Learning [50.56947843548702]
  フェデレーション型連続学習のための分散動的協調フレームワークを提案する。 顧客は、新しい知識の獲得と事前学習の維持のバランスをとるために、動的な協調学習連合を確立する。 また、協調的・動的平衡を達成するために、マージブロックアルゴリズムと動的協調的進化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-09-28T06:53:23Z)
• Integrating upstream and downstream reciprocity stabilizes cooperator-defector coexistence in N-player giving games [1.1381558444077822]
  認知的制約やグループ規模の課題にもかかわらず、社会的な協力を含め、ペイ・イット・フォワード・チェーンとアセスメント・システムは共同で社会を維持することができることを示す。 この枠組みは、認知的制限やグループサイズの課題に拘わらず、社会的な協力を共同で維持する方法を実証する。
  論文  参考訳（メタデータ） (2025-09-05T01:49:26Z)
• CooT: Learning to Coordinate In-Context with Coordination Transformers [10.888155149916967]
  コーディネーション・トランスフォーマー(Coordination Transformers, Coot)は、目に見えないパートナーに迅速に適応する、コンテキスト内協調フレームワークである。 cootは、人口ベースアプローチ、勾配ベースの微調整、メタRLにインスパイアされたコンテキスト適応方法など、ベースラインを一貫して上回る。 対照的に、cootは安定かつ迅速なインコンテクスト適応を実現し、人間の評価において最も効果的なコラボレータである。
  論文  参考訳（メタデータ） (2025-06-30T06:45:39Z)
• Seeing is not Believing: Robust Reinforcement Learning against Spurious Correlation [57.351098530477124]
  国家の異なる部分には、保存されていない共同設立者が引き起こす相関関係が存在しない。 このような役に立たないあるいは有害な相関を学習するモデルは、テストケースの共同創設者がトレーニングケースから逸脱したときに破滅的に失敗する可能性がある。 したがって、単純かつ非構造的な不確実性集合を仮定する既存の頑健なアルゴリズムは、この問題に対処するには不十分である。
  論文  参考訳（メタデータ） (2023-07-15T23:53:37Z)
• Distributed Adaptive Learning Under Communication Constraints [54.22472738551687]
  本研究では,コミュニケーション制約下での運用を目的とした適応型分散学習戦略について検討する。 我々は,ストリーミングデータの連続的な観察から,オンライン最適化問題を解決しなければならないエージェントのネットワークを考える。
  論文  参考訳（メタデータ） (2021-12-03T19:23:48Z)
• Learning Equilibria in Matching Markets from Bandit Feedback [139.29934476625488]
  不確実性の下で安定した市場成果を学習するためのフレームワークとアルゴリズムを開発する。 私たちの研究は、大規模なデータ駆動の市場において、いつ、どのように安定したマッチングが生じるかを明らかにするための第一歩を踏み出します。
  論文  参考訳（メタデータ） (2021-08-19T17:59:28Z)
• Balancing Rational and Other-Regarding Preferences in Cooperative-Competitive Environments [4.705291741591329]
  混合環境は利己的で社会的利益の衝突で悪名高い。 個人と社会的インセンティブのバランスをとるBAROCCOを提案します。 メタアルゴリズムは、Qラーニングとアクタークリティカルの両方のフレームワークと互換性があります。
  論文  参考訳（メタデータ） (2021-02-24T14:35:32Z)
• Dealing with Non-Stationarity in Multi-Agent Reinforcement Learning via Trust Region Decomposition [52.06086375833474]
  非定常性は多エージェント強化学習における厄介な問題である。 ポリシーシーケンスの定常性を明示的にモデル化するための$delta$-stationarity測定を導入する。 共同政策の分岐を推定するために,メッセージパッシングに基づく信頼領域分解ネットワークを提案する。
  論文  参考訳（メタデータ） (2021-02-21T14:46:50Z)
• Implicit Distributional Reinforcement Learning [61.166030238490634]
  2つのディープジェネレータネットワーク(DGN)上に構築された暗黙の分布型アクター批判(IDAC) 半単純アクター (SIA) は、フレキシブルなポリシー分布を利用する。 我々は,代表的OpenAI Gym環境において,IDACが最先端のアルゴリズムより優れていることを観察する。
  論文  参考訳（メタデータ） (2020-07-13T02:52:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。