論文の概要: Marginal Coverage Credit Reduces Redundant Exploration in Parallel State-Entropy Optimization

• arxiv url: http://arxiv.org/abs/2608.27507v1
• Date: Thu, 27 Aug 2026 06:24:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-31 17:16:04.091023
• Title: Marginal Coverage Credit Reduces Redundant Exploration in Parallel State-Entropy Optimization
• Title（参考訳）: Marginal Coverage Creditは並列状態-エントロピー最適化における冗長な探索を減らす
• Abstract要約: 並列状態エントロピーのためのポリシーマージンは、同じ環境の複製されたコピーで独立にパラメータ化されたポリシーを訓練することで、状態空間のカバレッジを拡大する。 PGPSE (Coverage Credit for PGPSE) (MCC-PGPSE) は、政策固有の信用を見積もるために、一律の政治対象と州所有者の専門化を組み合わせている。 MCC-PGPSEはPGPSEのプールされた目的を保ち、これらのクレジットに従って非負の補助的な報酬を再分配する。
• 参考スコア（独自算出の注目度）: 3.0889903660579736
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Policy Gradient for Parallel State Entropy maximization (PGPSE) expands state-space coverage by training independently parameterized policies in replicated copies of the same environment. However, its pooled team-entropy score measures only collective exploration and cannot identify policies that contribute non-redundant coverage. We introduce Marginal Coverage Credit for PGPSE (MCC-PGPSE), which combines leave-one-policy-out coverage with state-owner specialization to estimate policy-specific credit. MCC-PGPSE preserves PGPSE's pooled objective and redistributes non-negative auxiliary intrinsic rewards according to these credits without changing their total mass. This redistribution is designed to discourage redundant visitation and promote complementary coverage. We evaluated MCC-PGPSE in controlled environments, seven public discrete-state benchmarks, and representative Room and Maze settings from the original PGPSE protocol. Across all tested settings, MCC-PGPSE produced positive final window gains in normalized team state entropy and state support over the Entropy baseline. Controlled-task comparisons and the fixed-suite public aggregate were significant, whereas five-seed original-protocol comparisons were directionally consistent. Ablations and credit alignment controls indicate that most gains arise from leave-one-policy-out coverage rather than non-uniform weighting, mismatched credit, or neural novelty alone. These results support contribution-conditioned auxiliary reward allocation as an interpretable approach to improving complementary coverage among parallel policies in discrete state spaces.
• Abstract（参考訳）: 並列状態エントロピー最大化のためのポリシーグラディエント (PGPSE) は、同じ環境の複製されたコピーで独立にパラメータ化されたポリシーを訓練することによって、状態空間のカバレッジを拡大する。 しかし、プール化されたチームエントロピースコアは、集合的な探索のみを測り、非冗長なカバレッジに寄与するポリシーを特定できない。 PGPSE(Marginal Coverage Credit for PGPSE, MCC-PGPSE)を導入する。 MCC-PGPSEはPGPSEのプールされた目的を保ち、これらのクレジットに従って非負の補助的内因性報酬を再分配する。 この再配布は、冗長な訪問を回避し、補完的なカバレッジを促進するように設計されている。 制御された環境におけるMCC-PGPSE,7つの公開離散状態ベンチマーク,および元のPGPSEプロトコルによるRoomとMazeの設定について検討した。 テストされたすべての設定の中で、MCC-PGPSEは、正常化されたチーム状態のエントロピーと、エントロピーベースラインに対する状態サポートにおいて、肯定的な最終的なウィンドウゲインを生み出した。 コントロールされたタスク比較と固定されたパブリックアグリゲーションは有意であったが,5シードのオリジナル-プロトコール比較は方向整合性を示した。 アブレーションや信用アライメントコントロールは、一様でない重み付けや不一致の信用、神経新奇性のみよりも、一対一の政治対象から得られる利益がほとんどであることを示している。 これらの結果は、離散状態空間における並列ポリシー間の補完的カバレッジを改善するための解釈可能なアプローチとして、コントリビューション条件付き補助報酬配分を支持する。

関連論文リスト

• Convex-Hull-Neighborhood Smooth Dual Generalization: Controlling Local Correction Propagation in Offline RL [7.803284875836737]
  ブートストラップは オフライン強化学習における 推定誤差を増幅する 本稿では,ベルマンのバックアップをサンプル値のターゲットとして表現し,CHN局所補正を行うConvex Hull Neborhood Smooth Dual Generalizationを提案する。 Gym-MuJoCoとAntMazeの実験は、強力な集約性能と安定した値推定を示す。
  論文  参考訳（メタデータ） (2026-08-04T04:30:02Z)
• Ratio-Variance Regularized Policy Optimization [64.95520246570446]
  ポリシ比の分散を明示的に制約することは、信頼領域の制約に対する原則的な局所近似をもたらすことを示す。 本稿では,この制約を実装したR2bf VPO$(Ratio-Variance Regularized Policy Optimization)を紹介する。
  論文  参考訳（メタデータ） (2026-05-26T09:53:42Z)
• Breaking $\textit{Winner-Takes-All}$: Cooperative Policy Optimization Improves Diverse LLM Reasoning [53.42577591449649]
  グループ協力政策最適化は、トレーニングパラダイムをロールアウト競争からチーム協力へとシフトさせる。 GCPOは独立したロールアウトスコアをチームレベルのクレジット割り当てに置き換える。 チームへの平均的な限界貢献に従って、各ロールアウトに対して、グループチームの報酬を再分配する。
  論文  参考訳（メタデータ） (2026-05-12T03:20:24Z)
• Blockwise Advantage Estimation for Multi-Objective RL with Verifiable Rewards [39.489554597919145]
  グループ相対ポリシー最適化(GRPO)は、完了時にすべてのトークンに対して単一のスカラーの利点を割り当てる。 明確なセグメントと目的を持つ構造化世代では、このカップルはセグメント間で無関係な報酬信号を生成し、客観的な干渉と不正な信用につながる。 我々は、GRPO互換メソッドのファミリーであるBlockwise Advantage Estimationを提案し、それぞれの目的をそれぞれ独自の利点を割り当て、対応するテキストブロックのトークンにのみ適用する。
  論文  参考訳（メタデータ） (2026-02-10T19:22:37Z)
• Off-Policy Evaluation in Markov Decision Processes under Weak Distributional Overlap [3.351714665243138]
  我々は,マルコフ決定過程(MDP)における非政治的評価の課題を再考し,分布重なりというより弱い概念の下で検討する。 本稿では,この環境での良好な性能を期待できる2重頑健性(TDR)推定器のクラスを紹介する。 我々の実験では、強い分布重なりが保たない場合、適切な乱れが、政治外の正確な評価を可能にする上で重要な役割を担っていることがわかった。
  論文  参考訳（メタデータ） (2024-02-13T03:55:56Z)
• Off-Policy Evaluation for Large Action Spaces via Policy Convolution [60.6953713877886]
  ポリシ・コンボリューション(Policy Convolution)のファミリーは、アクション内の潜在構造を使用して、ログとターゲットポリシを戦略的に畳み込みます。 合成およびベンチマークデータセットの実験では、PCを使用する場合の平均二乗誤差(MSE)が顕著に改善されている。
  論文  参考訳（メタデータ） (2023-10-24T01:00:01Z)
• Monotonic Improvement Guarantees under Non-stationarity for Decentralized PPO [66.5384483339413]
  我々は,MARL(Multi-Agent Reinforcement Learning)における分散政策の最適化のための新しい単調改善保証を提案する。 本研究では,訓練中のエージェント数に基づいて,独立した比率を限定することにより,信頼領域の制約を原則的に効果的に実施可能であることを示す。
  論文  参考訳（メタデータ） (2022-01-31T20:39:48Z)
• Dealing with Non-Stationarity in Multi-Agent Reinforcement Learning via Trust Region Decomposition [52.06086375833474]
  非定常性は多エージェント強化学習における厄介な問題である。 ポリシーシーケンスの定常性を明示的にモデル化するための$delta$-stationarity測定を導入する。 共同政策の分岐を推定するために,メッセージパッシングに基づく信頼領域分解ネットワークを提案する。
  論文  参考訳（メタデータ） (2021-02-21T14:46:50Z)
• Implicit Distributional Reinforcement Learning [61.166030238490634]
  2つのディープジェネレータネットワーク(DGN)上に構築された暗黙の分布型アクター批判(IDAC) 半単純アクター (SIA) は、フレキシブルなポリシー分布を利用する。 我々は,代表的OpenAI Gym環境において,IDACが最先端のアルゴリズムより優れていることを観察する。
  論文  参考訳（メタデータ） (2020-07-13T02:52:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。