論文の概要: Corruption-robust Offline Multi-agent Reinforcement Learning From Human Feedback

• arxiv url: http://arxiv.org/abs/2603.28281v1
• Date: Mon, 30 Mar 2026 11:03:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-31 23:18:45.347772
• Title: Corruption-robust Offline Multi-agent Reinforcement Learning From Human Feedback
• Title（参考訳）: 人からのフィードバックによるオフラインマルチエージェント強化学習の破壊的破壊
• Authors: Andi Nika, Debmalya Mandal, Parameswaran Kamalaruban, Adish Singla, Goran Radanović,
• Abstract要約: 人間のフィードバックによるオフラインマルチエージェント強化学習におけるデータの破損に対する堅牢性について考察する。 線形マルコフゲーム(英語版)の枠組みを用いて問題をモデル化する。 我々の知る限りでは、これはオフラインのMARLHFにおけるデータ破損に対する最初の体系的な治療である。
• 参考スコア（独自算出の注目度）: 26.662444975280792
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We consider robustness against data corruption in offline multi-agent reinforcement learning from human feedback (MARLHF) under a strong-contamination model: given a dataset $D$ of trajectory-preference tuples (each preference being an $n$-dimensional binary label vector representing each of the $n$ agents' preferences), an $ε$-fraction of the samples may be arbitrarily corrupted. We model the problem using the framework of linear Markov games. First, under a uniform coverage assumption - where every policy of interest is sufficiently represented in the clean (prior to corruption) data - we introduce a robust estimator that guarantees an $O(ε^{1 - o(1)})$ bound on the Nash equilibrium gap. Next, we move to the more challenging unilateral coverage setting, in which only a Nash equilibrium and its single-player deviations are covered. In this case, our proposed algorithm achieves an $O(\sqrtε)$ bound on the Nash gap. Both of these procedures, however, suffer from intractable computation. To address this, we relax our solution concept to coarse correlated equilibria (CCE). Under the same unilateral coverage regime, we derive a quasi-polynomial-time algorithm whose CCE gap scales as $O(\sqrtε)$. To the best of our knowledge, this is the first systematic treatment of adversarial data corruption in offline MARLHF.
• Abstract（参考訳）: 我々は、強い汚染モデルの下で、オフラインマルチエージェント強化学習(MARLHF)におけるデータ破損に対するロバスト性について考察する: トラジェクトリ参照タプルのデータセット$D$(各好みは、$n$エージェントの好みを表す$n$次元のバイナリラベルベクトル)が与えられた場合、サンプルのε$-fractionは任意に破壊される可能性がある。 線形マルコフゲーム(英語版)の枠組みを用いて問題をモデル化する。 まず、すべての利害政策がクリーンな(汚職に先立つ)データで十分に表される、一様カバレッジの仮定の下では、ナッシュ均衡ギャップ上の$O(ε^{1 - o(1)})$バウンドを保証する頑健な推定器を導入する。 次に、ナッシュ均衡とその単一プレーヤ偏差のみをカバーした、より困難な一方的なカバレッジ設定に移行する。 この場合、提案アルゴリズムはナッシュギャップ上の$O(\sqrtε)$バウンドを達成する。 しかし、どちらの手順も難解な計算に悩まされている。 この問題に対処するため、我々は解の概念を緩和し、相関平衡(CCE)を粗いものにする。 同じ一方的なカバレッジ体制の下では、CCEギャップが$O(\sqrtε)$となる準多項式時間アルゴリズムを導出する。 我々の知る限り、これは、オフラインのMARLHFにおける敵データ破損に対する最初の体系的な治療である。

関連論文リスト

• Corruption-Robust Offline Two-Player Zero-Sum Markov Games [23.530166315532828]
  オフライン2プレイヤーゼロサムマルコフゲームにおけるデータ破損の堅牢性について検討する。 データカバレッジと汚職の程度が異なる線形マルコフゲームにおいてこの問題を考える。
  論文  参考訳（メタデータ） (2024-03-04T12:48:25Z)
• Towards Robust Model-Based Reinforcement Learning Against Adversarial Corruption [60.958746600254884]
  本研究は、モデルベース強化学習(RL)における敵対的腐敗の課題に取り組む。 本稿では,MLE に対する不確実性重みとして全変量 (TV) に基づく情報比を利用する,汚損楽観的 MLE (CR-OMLE) アルゴリズムを提案する。 我々は、重み付け手法をオフライン設定にまで拡張し、汚損性悲観的MLE (CR-PMLE) というアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-14T07:27:30Z)
• Corruption-Robust Offline Reinforcement Learning with General Function Approximation [60.91257031278004]
  一般関数近似を用いたオフライン強化学習(RL)における劣化問題について検討する。 我々のゴールは、崩壊しないマルコフ決定プロセス(MDP)の最適方針に関して、このような腐敗に対して堅牢で、最適でないギャップを最小限に抑える政策を見つけることである。
  論文  参考訳（メタデータ） (2023-10-23T04:07:26Z)
• Corruption-Robust Algorithms with Uncertainty Weighting for Nonlinear Contextual Bandits and Markov Decision Processes [59.61248760134937]
  本稿では,$tildeO(sqrtT+zeta)$を後悔するアルゴリズムを提案する。 提案アルゴリズムは、最近開発された線形文脈帯域からの不確実性重み付き最小二乗回帰に依存する。 本稿では,提案アルゴリズムをエピソディックなMDP設定に一般化し,まず汚職レベル$zeta$への付加的依存を実現する。
  論文  参考訳（メタデータ） (2022-12-12T15:04:56Z)
• Linear Contextual Bandits with Adversarial Corruptions [91.38793800392108]
  本稿では,敵対的腐敗の存在下での線形文脈的包帯問題について検討する。 逆汚染レベルに適応する分散認識アルゴリズムをC$で提案する。
  論文  参考訳（メタデータ） (2021-10-25T02:53:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。