Fugu-MT 論文翻訳(概要): Revisiting Mixture Policies in Entropy-Regularized Actor-Critic

論文の概要: Revisiting Mixture Policies in Entropy-Regularized Actor-Critic

arxiv url: http://arxiv.org/abs/2605.09157v1
Date: Sat, 09 May 2026 20:37:52 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-12 23:28:50.093905
Title: Revisiting Mixture Policies in Entropy-Regularized Actor-Critic
Title（参考訳）: エントロピー規則化アクター臨界における混合反応の再検討
Abstract要約: 柔軟性の向上は理論的に解の質とエントロピーの堅牢性を高めることができることを示す。 Gym MuJoCo、DeepMind Control Suite、MetaWorldでの我々の実験は、MRP混合ポリシーがLRよりも大幅に優れていることを示している。我々は、MDP混合政策を理論的好奇心から実践的なツールへと高め、関連するトレードオフをより明確に理解する。
参考スコア（独自算出の注目度）: 20.958368096083348
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Mixture policies theoretically offer greater flexibility than unimodal policies in continuous action reinforcement learning, but the practical benefits of this complexity remain elusive. Mixture policies are notably absent from most state-of-the-art algorithms, raising a fundamental question: Is the added representational overhead useful? We show that increased flexibility can theoretically enhance solution quality and entropy robustness. Yet standard algorithms like SAC do not leverage these advantages. A core issue is the lack of a low-variance reparameterization trick for mixtures, a luxury Gaussian policies enjoy. We propose a marginalized reparameterization (MRP) estimator to address this, proving it offers lower variance than the standard likelihood-ratio (LR) approach. Our experiments across Gym MuJoCo, DeepMind Control Suite, and MetaWorld show that MRP mixture policies significantly outperform their LR ones, and reach parity (sometimes better) with Gaussian counterparts. In addition, we do find several cases where MRP mixture policies exhibit clear empirical advantages. In this paper, we provide a clearer understanding of the trade-offs involved, elevating MRP mixture policies from theoretical curiosity to a practical tool.
Abstract（参考訳）: 混合政策は、連続的な行動強化学習における一助的政策よりも理論的に高い柔軟性を提供するが、この複雑さの実践的な利点はいまだ解明されていない。混合ポリシーは、ほとんどの最先端のアルゴリズムに特に欠落しており、根本的な疑問を提起している。柔軟性の向上は理論的に解の質とエントロピーの堅牢性を高めることができることを示す。しかし、SACのような標準的なアルゴリズムはこれらの利点を生かしていない。核となる問題は、混合物に対する低分散再パラメータ化トリックが欠如していることであり、豪華なガウス政策が楽しむことである。そこで我々は,MRP推定器を提案し,標準のLR法よりも低分散性を示すことを示した。 Gym MuJoCo、DeepMind Control Suite、MetaWorldによる我々の実験は、MRP混合ポリシーがLRよりも著しく優れており、ガウシアンと同等(時には良い)に達していることを示している。さらに,MPP混合政策が明らかな経験的優位性を示す事例もいくつかある。本稿では,MDP混合政策を理論的好奇性から実践的ツールへと高め,関連するトレードオフをより明確に理解する。

関連論文リスト

Stochastic MeanFlow Policies: One-Step Generative Control with Entropic Mirror Descent [53.828537014796574]
オンラインの非政治強化学習(RL)は、ポリシークラスと更新ルールの2つの選択肢によって構成されている。我々は、MeanFlow変換を通じてノイズをアクションにマッピングする一段階生成ポリシークラスであるMeanFlow Policiesを提案する。 7つのMuJoCoベンチマークで、Sは1ステップの推論効率を維持しながら、ガウスおよび生成ベースラインを改善する。
論文参考訳（メタデータ） (2026-05-20T15:14:14Z)
POETS: Uncertainty-Aware LLM Optimization via Compute-Efficient Policy Ensembles [35.88280776565273]
POETSは不確実性定量化と政策最適化を橋渡しする新しいフレームワークである。我々のアプローチは、KL(Kulback-Leibler)正規化で訓練されたポリシーが、基礎となる報酬関数を暗黙的にエンコードするという知見に基づいている。我々はPOETSが様々な科学的発見領域にまたがって最先端のサンプル効率を実現することを実証する。
論文参考訳（メタデータ） (2026-05-08T14:16:32Z)
Rethinking the Trust Region in LLM Reinforcement Learning [72.25890308541334]
PPO(Proximal Policy Optimization)は、大規模言語モデル(LLM)のデファクト標準アルゴリズムとして機能する。より原則的な制約でクリッピングを代用する多変量確率ポリシー最適化(DPPO)を提案する。 DPPOは既存の方法よりも優れたトレーニングと効率を実現し、RLベースの微調整のためのより堅牢な基盤を提供する。
論文参考訳（メタデータ） (2026-02-04T18:59:04Z)
Coverage Improvement and Fast Convergence of On-policy Preference Learning [67.36750525893514]
言語モデルアライメントのためのオンラインのオンラインプライオリティ学習アルゴリズムは、オフラインのアルゴリズムよりも大幅に優れている。我々は,サンプリング政策の包括的範囲が政治訓練を通じてどのように進展するかを分析する。一般機能クラス設定における報奨蒸留のための原則的オンライン方式を開発した。
論文参考訳（メタデータ） (2026-01-13T10:46:06Z)
Random Policy Valuation is Enough for LLM Reasoning with Verifiable Rewards [47.557539197058496]
逆推論のためのランダムポリシー評価(ROVER)について紹介する。 ROVERは、一様政体Q値上のソフトマックスから作用をサンプリングする最小限だが高効率なRL法である。 textbfquality(textbf+8.2 on pass@1, textbf+16.8 on pass@256)と textbfdiversity(textbf+17.6%)の両方で優れたパフォーマンスを示している。
論文参考訳（メタデータ） (2025-09-29T16:09:07Z)
Group-Relative REINFORCE Is Secretly an Off-Policy Algorithm: Demystifying Some Myths About GRPO and Its Friends [64.71326476563213]
大規模言語モデル(LLM)の非政治強化学習が注目されている。本稿では,特定のトレーニングデータ分布を仮定することなく,グループ化型REINFORCEの第一原理導出について述べる。この観点は、REINFORCEを非政治的な設定に適応するための2つの一般的な原則をもたらす。
論文参考訳（メタデータ） (2025-09-29T02:34:54Z)
Improving Reward-Conditioned Policies for Multi-Armed Bandits using Normalized Weight Functions [8.90692770076582]
最近提案された報酬条件付き政策(RCP)は、強化学習において魅力的な代替手段を提供する。従来の手法と比較して,RCPは収束が遅く,収束時に期待される報酬が劣っていることを示す。我々は、この手法を一般化された余分化と呼び、その利点は、低い報酬に条件付けられた政策に対する負の重み付けが、結果の政策をそれらとより区別することができることである。
論文参考訳（メタデータ） (2024-06-16T03:43:55Z)
Is Inverse Reinforcement Learning Harder than Standard Reinforcement Learning? A Theoretical Perspective [55.36819597141271]
逆強化学習(IRL: Inverse Reinforcement Learning)は、インテリジェントシステム開発において重要な役割を担う。本稿では、サンプルとランタイムを用いて、バニラのオフラインおよびオンライン設定における効率的なIRLの最初のラインを提供する。応用として、学習した報酬は適切な保証で他のターゲットMDPに転送可能であることを示す。
論文参考訳（メタデータ） (2023-11-29T00:09:01Z)
Efficient Policy Iteration for Robust Markov Decision Processes via Regularization [49.05403412954533]
ロバストな意思決定プロセス(MDP)は、システムのダイナミクスが変化している、あるいは部分的にしか知られていない決定問題をモデル化するためのフレームワークを提供する。最近の研究は、長方形長方形の$L_p$頑健なMDPと正規化されたMDPの等価性を確立し、標準MDPと同じレベルの効率を享受する規則化されたポリシー反復スキームを導出した。本研究では、政策改善のステップに焦点をあて、欲求政策と最適なロバストなベルマン作用素のための具体的な形式を導出する。
論文参考訳（メタデータ） (2022-05-28T04:05:20Z)
False Correlation Reduction for Offline Reinforcement Learning [115.11954432080749]
本稿では,実効的かつ理論的に証明可能なアルゴリズムであるオフラインRLに対するfalSe Correlation Reduction (SCORE)を提案する。 SCOREは、標準ベンチマーク(D4RL)において、様々なタスクにおいて3.1倍の高速化でSoTA性能を達成することを実証的に示す。
論文参考訳（メタデータ） (2021-10-24T15:34:03Z)
Probabilistic Mixture-of-Experts for Efficient Deep Reinforcement Learning [7.020079427649125]
学習効率と性能向上のためには,非特異な最適タスクに対する識別可能なスキルの把握が不可欠であることを示す。マルチモーダル政策のための確率的混合専門家(PMOE)と、無差問題に対する新しい勾配推定器を提案する。
論文参考訳（メタデータ） (2021-04-19T08:21:56Z)
Reinforcement Learning for Mixed-Integer Problems Based on MPC [0.0]
混合整数 MPC スキームに基づくポリシ近似を提案し、混合整数入力空間における探索を生成するための計算コストの低い手法を提案する。そこで本稿では,MPC と混合したポリシの勾配を構築可能な,シンプルな整合性を持つアドバンテージ関数近似を提案する。
論文参考訳（メタデータ） (2020-04-03T08:43:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。