論文の概要: Retaining Suboptimal Actions to Follow Shifting Optima in Multi-Agent Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2602.17062v1
• Date: Thu, 19 Feb 2026 04:07:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-20 15:21:28.626517
• Title: Retaining Suboptimal Actions to Follow Shifting Optima in Multi-Agent Reinforcement Learning
• Title（参考訳）: マルチエージェント強化学習におけるフォローシフト最適に対する準最適動作の維持
• Authors: Yonghyeon Jo, Sunwoo Lee, Seungyul Han,
• Abstract要約: 逐次的サブ値Q-ラーニング(S2Q)は、複数のサブ値関数を学習し、代替の高値アクションを保持する。 挑戦的なMARLベンチマークの実験は、S2Qが様々なMARLアルゴリズムを一貫して上回っていることを確認した。
• 参考スコア（独自算出の注目度）: 7.725456898964979
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Value decomposition is a core approach for cooperative multi-agent reinforcement learning (MARL). However, existing methods still rely on a single optimal action and struggle to adapt when the underlying value function shifts during training, often converging to suboptimal policies. To address this limitation, we propose Successive Sub-value Q-learning (S2Q), which learns multiple sub-value functions to retain alternative high-value actions. Incorporating these sub-value functions into a Softmax-based behavior policy, S2Q encourages persistent exploration and enables $Q^{\text{tot}}$ to adjust quickly to the changing optima. Experiments on challenging MARL benchmarks confirm that S2Q consistently outperforms various MARL algorithms, demonstrating improved adaptability and overall performance. Our code is available at https://github.com/hyeon1996/S2Q.
• Abstract（参考訳）: 値分解は協調型マルチエージェント強化学習(MARL)のコアアプローチである。 しかしながら、既存のメソッドは、トレーニング中に基礎となる値関数がシフトするときに、ひとつの最適なアクションに頼り、適応に苦慮している。 この制限に対処するために、複数のサブ値関数を学習し、代替の高値動作を保持する、逐次的サブ値Q-ラーニング(S2Q)を提案する。 これらのサブバリュー関数をSoftmaxベースの振舞いポリシーに組み込むことで、S2Qは永続的な探索を奨励し、変更するオプティマに迅速に適応できる$Q^{\text{tot}}$を可能にします。 挑戦的なMARLベンチマークの実験では、S2Qは様々なMARLアルゴリズムを一貫して上回っており、適応性と全体的なパフォーマンスが向上している。 私たちのコードはhttps://github.com/hyeon1996/S2Q.comで公開されています。

関連論文リスト

• AceGRPO: Adaptive Curriculum Enhanced Group Relative Policy Optimization for Autonomous Machine Learning Engineering [52.67783579040657]
  AceGRPOは、エージェントの学習フロンティアにおけるタスクを優先順位付けして学習効率を最大化する機械学習システムである。 我々のトレーニングされたAce-30Bモデルは、MLE-Bench-Lite上で100%有効な応募率を実現し、プロプライエタリなフロンティアモデルの性能にアプローチし、より大きなオープンソースベースラインを上回ります。
  論文  参考訳（メタデータ） (2026-02-08T10:55:03Z)
• Improving monotonic optimization in heterogeneous multi-agent reinforcement learning with optimal marginal deterministic policy gradient [18.64288030584699]
  異種多エージェント強化学習(MARL) 逐次計算された$Q_psi*(s,a_1:i)$を、Q関数から派生した$phi_psi*(s,a_1:i)$に客観的に置き換える。 一般化Q批判(GQC)を批判関数とし、悲観的不確実性制約損失を用いて異なるQ値推定を最適化する。
  論文  参考訳（メタデータ） (2025-07-14T07:16:01Z)
• Addressing the issue of stochastic environments and local decision-making in multi-objective reinforcement learning [0.0]
  多目的強化学習(MORL)は、従来の強化学習(RL)に基づく比較的新しい分野である。 この論文は、価値に基づくMORL Q-learningアルゴリズムが環境の最適ポリシーを学習する頻度に影響を与える要因に焦点を当てている。
  論文  参考訳（メタデータ） (2022-11-16T04:56:42Z)
• MA2QL: A Minimalist Approach to Fully Decentralized Multi-Agent Reinforcement Learning [63.46052494151171]
  テキストマルチエージェント代替Q-ラーニング(MA2QL)を提案し、エージェントが順番にQ-ラーニングによってQ-関数を更新する。 各エージェントが各ターンで$varepsilon$-convergenceを保証した場合、それらの合同ポリシーはナッシュ均衡に収束する。 結果は、MA2QLが最小限の変更にもかかわらず、MA2QLの有効性を検証するIQLを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2022-09-17T04:54:32Z)
• Simultaneous Double Q-learning with Conservative Advantage Learning for Actor-Critic Methods [133.85604983925282]
  保守的アドバンテージ学習(SDQ-CAL)を用いた同時二重Q-ラーニングを提案する。 提案アルゴリズムはバイアスの少ない値推定を実現し,一連の連続制御ベンチマークタスクにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-05-08T09:17:16Z)
• Q-Learning Lagrange Policies for Multi-Action Restless Bandits [35.022322303796216]
  RMAB(Multi-action restless multi-armed bandits)は、N$独立プロセスを管理する制約付きリソース割り当てのための強力なフレームワークである。 我々は,ラグランジアン緩和とQラーニングを組み合わせて,Multi-action RMABをオンラインで学習するための最初のアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2021-06-22T19:20:09Z)
• Decomposed Soft Actor-Critic Method for Cooperative Multi-Agent Reinforcement Learning [10.64928897082273]
  実験の結果,mSACは政策ベースアプローチのCOMAよりも有意に優れていた。 さらに、mSACは2c_vs_64zgやMMM2のような大きなアクションスペースタスクでかなり良い結果をもたらします。
  論文  参考訳（メタデータ） (2021-04-14T07:02:40Z)
• Softmax with Regularization: Better Value Estimation in Multi-Agent Reinforcement Learning [72.28520951105207]
  q$-learningの過大評価は、シングルエージェント強化学習で広く研究されている重要な問題である。 ベースラインから逸脱する大きな関節動作値をペナライズする,新たな正規化ベースの更新方式を提案する。 本手法は,StarCraft IIマイクロマネジメントの課題に対して,一貫した性能向上を実現する。
  論文  参考訳（メタデータ） (2021-03-22T14:18:39Z)
• Meta-Learning with Neural Tangent Kernels [58.06951624702086]
  メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。 このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。 本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
  論文  参考訳（メタデータ） (2021-02-07T20:53:23Z)
• Zeroth-Order Supervised Policy Improvement [94.0748002906652]
  政策勾配(PG)アルゴリズムは強化学習(RL)に広く用いられている。 ゼロ次監視政策改善(ZOSPI)を提案する。 ZOSPIは、PGメソッドの局所的な利用を保ちながら、推定値関数を全世界で$Q$で活用する。
  論文  参考訳（メタデータ） (2020-06-11T16:49:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。