論文の概要: Vision-Based Generic Potential Function for Policy Alignment in Multi-Agent Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2502.13430v1
• Date: Wed, 19 Feb 2025 05:04:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-20 14:01:02.241543
• Title: Vision-Based Generic Potential Function for Policy Alignment in Multi-Agent Reinforcement Learning
• Title（参考訳）: マルチエージェント強化学習におけるポリシーアライメントのための視覚に基づくジェネリックポテンシャル関数
• Authors: Hao Ma, Shijie Wang, Zhiqiang Pu, Siyao Zhao, Xiaolin Ai,
• Abstract要約: 本稿では,人間共通の感覚に合わせた強化学習の方針を導出するための階層的視覚に基づく報酬形成手法を提案する。 ポリシーが不確実性と長期タスクの変化に適応するのを助けるため、トップレイヤは適応的なスキル選択モジュールを備えている。 提案手法は高い勝利率を達成し,その政策を人間の常識と効果的に整合させる。
• 参考スコア（独自算出の注目度）: 14.68673479535835
• License:
• Abstract: Guiding the policy of multi-agent reinforcement learning to align with human common sense is a difficult problem, largely due to the complexity of modeling common sense as a reward, especially in complex and long-horizon multi-agent tasks. Recent works have shown the effectiveness of reward shaping, such as potential-based rewards, to enhance policy alignment. The existing works, however, primarily rely on experts to design rule-based rewards, which are often labor-intensive and lack a high-level semantic understanding of common sense. To solve this problem, we propose a hierarchical vision-based reward shaping method. At the bottom layer, a visual-language model (VLM) serves as a generic potential function, guiding the policy to align with human common sense through its intrinsic semantic understanding. To help the policy adapts to uncertainty and changes in long-horizon tasks, the top layer features an adaptive skill selection module based on a visual large language model (vLLM). The module uses instructions, video replays, and training records to dynamically select suitable potential function from a pre-designed pool. Besides, our method is theoretically proven to preserve the optimal policy. Extensive experiments conducted in the Google Research Football environment demonstrate that our method not only achieves a higher win rate but also effectively aligns the policy with human common sense.
• Abstract（参考訳）: マルチエージェント強化学習の方針を人間共通の感覚に合わせることは難しい問題であり、特に複雑で長期のマルチエージェントタスクにおいて、報酬としての共通感覚のモデル化の複雑さが主な原因である。 近年の研究では、政策整合性を高めるために、潜在的報酬のような報酬形成の有効性が示されている。 しかし、既存の研究は主にルールに基づく報酬を設計する専門家に依存しており、それはしばしば労働集約的であり、常識の高度な意味的理解が欠如している。 この問題を解決するために,階層型視覚に基づく報酬形成手法を提案する。 下位層では、視覚言語モデル(VLM)が一般的な潜在的な機能として機能し、本質的な意味理解を通じて人間の常識と整合する政策を導く。 ポリシーが不確実性と長期タスクの変化に適応するのを助けるため、トップレイヤは視覚的大言語モデル(vLLM)に基づいた適応的なスキル選択モジュールを備える。 モジュールは命令、ビデオ再生、トレーニングレコードを使用して、事前に設計されたプールから適切なポテンシャル関数を動的に選択する。 また,本手法は最適方針を維持するために理論的に証明されている。 Google Research Football環境で行った大規模な実験は、我々の手法がより高い勝利率を達成するだけでなく、ポリシーを人間の常識と効果的に一致させることを示した。

関連論文リスト

• From Novice to Expert: LLM Agent Policy Optimization via Step-wise Reinforcement Learning [62.54484062185869]
  本稿では,エージェントの強化学習プロセスの最適化にステップワイド報酬を利用するStepAgentを紹介する。 エージェント反射とポリシー調整を容易にする暗黙の逆・逆の強化学習手法を提案する。
  論文  参考訳（メタデータ） (2024-11-06T10:35:11Z)
• Efficient Adaptation in Mixed-Motive Environments via Hierarchical Opponent Modeling and Planning [51.52387511006586]
  本稿では,HOP(Hierarchical Opponent Modeling and Planning)を提案する。 HOPは階層的に2つのモジュールから構成される: 相手の目標を推論し、対応する目標条件のポリシーを学ぶ、反対モデリングモジュール。 HOPは、さまざまな未確認エージェントと相互作用する際、優れた少数ショット適応能力を示し、セルフプレイのシナリオで優れている。
  論文  参考訳（メタデータ） (2024-06-12T08:48:06Z)
• MORAL: Aligning AI with Human Norms through Multi-Objective Reinforced Active Learning [14.06682547001011]
  最先端の手法は通常、単一の報酬モデルを学ぶことに集中します。 本稿では,多目的強化型アクティブラーニング(MORAL)を提案する。 提案手法では,複数ポリシの計算を不要にしながら,さまざまな好みに対して深いRLエージェントを対話的にチューニングすることが可能である。
  論文  参考訳（メタデータ） (2021-12-30T19:21:03Z)
• Constructing a Good Behavior Basis for Transfer using Generalized Policy Updates [63.58053355357644]
  そこで我々は,優れた政策集合を学習する問題を考察し,組み合わせることで,目に見えない多種多様な強化学習タスクを解くことができることを示した。 理論的には、独立したポリシーのセットと呼ぶ、特定の多様なポリシーのセットにアクセスできることによって、ハイレベルなパフォーマンスを即時に達成できることが示される。
  論文  参考訳（メタデータ） (2021-12-30T12:20:46Z)
• Goal-Conditioned Reinforcement Learning with Imagined Subgoals [89.67840168694259]
  我々は、複雑なタスクの学習を容易にするために、想像上のサブゴールをポリシー学習に組み込むことを提案する。 想像上のサブゴールは、政策と批判を同時に訓練する独立したハイレベルな政策によって予測される。 複雑なロボットナビゲーションと操作タスクに対する我々のアプローチを評価し、既存の手法よりも大きなマージンで優れていることを示す。
  論文  参考訳（メタデータ） (2021-07-01T15:30:59Z)
• Generative Adversarial Reward Learning for Generalized Behavior Tendency Inference [71.11416263370823]
  ユーザの行動嗜好モデルのための生成的逆強化学習を提案する。 我々のモデルは,差別的アクター批判ネットワークとWasserstein GANに基づいて,ユーザの行動から報酬を自動的に学習することができる。
  論文  参考訳（メタデータ） (2021-05-03T13:14:25Z)
• Learn Goal-Conditioned Policy with Intrinsic Motivation for Deep Reinforcement Learning [9.014110264448371]
  目的条件付き政策(GPIM)という新しい教師なし学習手法を提案する。 GPIMは抽象レベルポリシーと目標条件ポリシーの両方を共同で学習する。 提案したGPIM法の有効性と効率性を示す様々なロボットタスクの実験。
  論文  参考訳（メタデータ） (2021-04-11T16:26:10Z)
• Policy Supervectors: General Characterization of Agents by their Behaviour [18.488655590845163]
  訪問状態の分布によってエージェントを特徴付ける政策スーパーベクターを提案する。 ポリシースーパーベクターは、デザイン哲学に関係なくポリシーを特徴づけ、単一のワークステーションマシン上で数千のポリシーにスケールすることができる。 本研究では、強化学習、進化学習、模倣学習における政策の進化を研究することによって、手法の適用性を実証する。
  論文  参考訳（メタデータ） (2020-12-02T14:43:16Z)
• Continuous Action Reinforcement Learning from a Mixture of Interpretable Experts [35.80418547105711]
  本稿では,複雑な関数近似を内部値予測に保持するポリシスキームを提案する。 この論文の主な技術的貢献は、この非微分不可能な状態選択手順によってもたらされた課題に対処することである。
  論文  参考訳（メタデータ） (2020-06-10T16:02:08Z)
• Reward-Conditioned Policies [100.64167842905069]
  模倣学習には、ほぼ最適の専門家データが必要である。 実演なしで指導的学習を通じて効果的な政策を学べるか? 政策探索の原則的手法として,このようなアプローチを導出する方法を示す。
  論文  参考訳（メタデータ） (2019-12-31T18:07:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。