論文の概要: Entropy-Augmented Multi-Objective Policy Optimization in Multiagent Systems

• arxiv url: http://arxiv.org/abs/2608.12534v1
• Date: Wed, 12 Aug 2026 19:07:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-14 18:29:38.31181
• Title: Entropy-Augmented Multi-Objective Policy Optimization in Multiagent Systems
• Title（参考訳）: 多エージェントシステムにおけるエントロピー強化多目的ポリシー最適化
• Abstract要約: NSGA-IIのような多目的進化的アルゴリズムは、目的空間の多様性を最適化するが、行動空間の多様性を無視する。 本稿では、エントロピーボーナスをエージェント適合度スコアに組み込むエントロピー強化政策評価戦略を導入する。 NSGA-IIベースラインと比較して最大48%の超体積改善が観察された。
• 参考スコア（独自算出の注目度）: 0.9799637101641152
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Autonomous agent teams deployed in settings such as marine and extraterrestrial outposts must coordinate actions to achieve optimal outcomes across multiple competing objectives. Multi-objective evolutionary algorithms such as NSGA-II optimize for diversity in the objective space, but neglect diversity in the behavior space, possibly leading to premature convergence and a collapse in behaviors that may differentiate policies in different external conditions. To address this, we introduce an entropy-augmented policy evaluation strategy that incorporates an entropy bonus into agent fitness scores, discouraging behavioral homogeneity across the evolving population. By augmenting policy evaluation with a behavior-space diversity signal while preserving the underlying Pareto optimization framework, our method is designed to encourage exploration of behaviorally distinct policies in multiagent domains. We evaluate our approach across rover-domain experiments with qualitatively distinct reward structures and observe hypervolume improvements of up to 48% relative to the NSGA-II baseline, suggesting that behavioral diversity is a promising and underexplored direction for improving multi-objective multiagent evolutionary optimization.
• Abstract（参考訳）: 海上基地や地球外基地のような設定で展開される自律エージェントチームは、複数の競合する目標に対して最適な結果を達成するために行動を調整する必要がある。 NSGA-IIのような多目的進化的アルゴリズムは、目的空間の多様性を最適化するが、行動空間の多様性を無視する。 これを解決するために,エントロピーボーナスをエージェント適合度スコアに組み込んだエントロピー強化政策評価戦略を導入する。 本手法は,パレート最適化の基盤となる枠組みを保ちつつ,行動空間の多様性信号による政策評価を増強することにより,マルチエージェント領域における行動学的異なる政策の探索を促進する。 我々は,定性的に異なる報酬構造を持つローバードメイン実験のアプローチを評価し,NSGA-IIベースラインと比較して最大48%の超体積改善を観察した。

関連論文リスト

• SetPO: Set-Level Policy Optimization for Diversity-Preserving LLM Reasoning [50.93295951454092]
  本稿では,カーネル化類似性を用いたサンプル軌道上で定義された設定レベル多様性の目的について紹介する。 提案手法は,各サンプル軌跡に対する余剰余剰貢献を導出し,この目的を政策最適化のためのプラグイン・アドバンテージ・シェーピング用語として統合する。 様々なモデルスケールで実験を行い、提案アルゴリズムの有効性を示し、様々なベンチマークでPass@1とPass@Kの双方において、強いベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-02-01T07:13:20Z)
• GDPO: Group reward-Decoupled Normalization Policy Optimization for Multi-reward RL Optimization [133.27496265096445]
  我々は,グループ相対的政策最適化を,その適合性を検討することなく,マルチリワード設定で適用する方法を示す。 次に、これらの問題を解決するための新しい政策最適化手法であるグループ報酬分離正規化政策最適化(GDPO)を紹介する。 GDPOはGRPOを一貫して上回り、マルチリワード強化学習最適化の有効性と一般化性を示す。
  論文  参考訳（メタデータ） (2026-01-08T18:59:24Z)
• Evolutionary Policy Optimization [47.30139909878251]
  オンライン強化学習(RL)アルゴリズムは、高いパフォーマンスとトレーニング安定性のために広く利用されているが、より大きなバッチサイズでスケールするのに苦労している。 本稿では、EAのスケーラビリティと多様性と、政策勾配の性能と安定性を組み合わせたハイブリッドである進化的政策最適化(EPO)を提案する。
  論文  参考訳（メタデータ） (2025-03-24T18:08:54Z)
• Preference-Guided Diffusion for Multi-Objective Offline Optimization [64.08326521234228]
  オフライン多目的最適化のための優先誘導拡散モデルを提案する。 我々の指導は、ある設計が他の設計を支配する確率を予測するために訓練された選好モデルである。 本結果は,多種多様な高品質な解を生成する上での分類器誘導拡散モデルの有効性を浮き彫りにした。
  論文  参考訳（メタデータ） (2025-03-21T16:49:38Z)
• Phasic Diversity Optimization for Population-Based Reinforcement Learning [10.15130620537703]
  Phasic Diversity Optimization (PDO)アルゴリズムは報酬と多様性のトレーニングを異なるフェーズに分けている。 補助的なフェーズでは、性能の悪いエージェントは、決定要因によって多様化し、アーカイブ内のより良いエージェントを置き換えることはない。 本稿では, PDOアーカイブの2つの実装を紹介し, 新たに提案した対戦型ドッグファイトと MuJoCo シミュレーションにおける実行試験について述べる。
  論文  参考訳（メタデータ） (2024-03-17T06:41:09Z)
• Knowledge Transfer for Dynamic Multi-objective Optimization with a Changing Number of Objectives [4.490459770205671]
  DMOPの目的が変化する状態遷移アルゴリズムには,十分な多様性が欠如していることが示される。 本稿では,変化後の多様性を高めるために,知識伝達動的多目的進化アルゴリズム(KTDMOEA)を提案する。
  論文  参考訳（メタデータ） (2023-06-19T01:54:44Z)
• Multi-Value Alignment in Normative Multi-Agent System: Evolutionary Optimisation Approach [1.160208922584163]
  本研究は,多目的進化アルゴリズムを用いて最適パラメトリックなノルムセットを生成する多値促進モデルを提案する。 2と5の値を持つ2つのおもちゃ税シナリオを考慮し、最適化された規範パラメータのセットを見つけるために、いくつかの進化的アルゴリズムが使用された。
  論文  参考訳（メタデータ） (2023-05-12T10:30:20Z)
• Local Optimization Achieves Global Optimality in Multi-Agent Reinforcement Learning [139.53668999720605]
  本稿では,各エージェントのローカルポリシーをバニラPPOと同様に更新するマルチエージェントPPOアルゴリズムを提案する。 マルコフゲームにおける標準正則条件と問題依存量により、我々のアルゴリズムはサブリニアレートで大域的最適ポリシーに収束することを示す。
  論文  参考訳（メタデータ） (2023-05-08T16:20:03Z)
• Permutation Invariant Policy Optimization for Mean-Field Multi-Agent Reinforcement Learning: A Principled Approach [128.62787284435007]
  本稿では,平均場近似ポリシ最適化(MF-PPO)アルゴリズムを提案する。 我々は,MF-PPOが収束のサブ線形速度で世界的最適政策を達成することを証明した。 特に、置換不変ニューラルアーキテクチャによって引き起こされる誘導バイアスは、MF-PPOが既存の競合より優れていることを示す。
  論文  参考訳（メタデータ） (2021-05-18T04:35:41Z)
• Niching Diversity Estimation for Multi-modal Multi-objective Optimization [9.584279193016522]
  ニッチは進化的多目的最適化において重要かつ広く用いられている手法である。 MMOPでは、対象空間の解は決定空間に複数の逆像を持つことができ、これは等価解と呼ばれる。 MMOPの処理において、標準多様性推定器をより効率的にするために、一般的なニチング機構を提案する。
  論文  参考訳（メタデータ） (2021-01-31T05:23:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。