論文の概要: Where Entropy Is Measured Matters: Policy Geometry in Bounded Continuous-Control PPO

• arxiv url: http://arxiv.org/abs/2608.24488v1
• Date: Tue, 25 Aug 2026 12:36:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-26 14:09:34.985929
• Title: Where Entropy Is Measured Matters: Policy Geometry in Bounded Continuous-Control PPO
• Title（参考訳）: エントロピーが測定対象である場合--境界付き連続型PPOにおける政策幾何学
• Abstract要約: エントロピーが測定される場所は,政策最適化によって学習された政策形状を変化させることを示す。 独立なCleanRLベースのPPO実装による38次元ドッグスタンダードレプリケーションは、平均幾何学における順序付けを再現する。
• 参考スコア（独自算出の注目度）: 7.310549915718531
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many continuous-control policies are optimized as unbounded Gaussians and then mapped into bounded actions. We show that where entropy is measured changes the policy geometry learned by proximal policy optimization (PPO). In an 80-muscle MyoLeg task, a clipped Gaussian executes 89.07% of actions within 5% of a bound. A same-state decomposition shows that this is not due to variance alone: setting variance to zero still leaves 83.83% of actions near a bound, while 82.12% of state-conditioned means lie outside the executable interval. Replacing clipping with a tanh map does not remove the high-variance regime. For latent Gaussian entropy H(u), the entropy loss has zero gradient with respect to the mean and a constant variance-increasing gradient. For executed-action entropy H(a), the transform Jacobian adds an inward gradient on the mean. Across three matched MyoLeg seeds, near-boundary occupancy is 71.42%, 29.76%, and 18.83% under latent entropy, no entropy, and executed-action entropy. A 38-dimensional Dog-Stand replication with an independent CleanRL-based PPO implementation reproduces the ordering in mean geometry, which also survives shared-state evaluation and boundary margins from 1% to 10%. Direct mean penalties can match or exceed the centering produced by H(a), showing that interior means are not unique to executed entropy. However, matched mean geometry can coexist with substantially different variance and return. Entropy measurement space is therefore a coupled mean-variance design choice, and task return alone does not characterize bounded-policy geometry.
• Abstract（参考訳）: 多くの連続制御ポリシーは、非有界ガウスとして最適化され、その後、有界なアクションにマッピングされる。 エントロピーが測定される場所は、近似ポリシー最適化(PPO)によって学習されたポリシーの幾何を変化させることを示す。 80筋肉のMyoLegタスクでは、カットされたガウシアンがバウンドの5%以内に89.07%のアクションを実行する。 ゼロに分散を設定すると、境界付近での作用の83.83%が残り、状態条件付き平均の82.12%が実行可能区間の外側にある。 タンハマップでクリッピングをリプレースしても、高分散状態は取り除かない。 潜在ガウスエントロピー H(u) に対して、エントロピー損失は平均と定数分散増加勾配に対してゼロ勾配を持つ。 実行-作用エントロピー H(a) に対して、変換ヤコビアンはその平均に対して内向き勾配を加える。 マッチした3種のミオレグ種子のうち、約71.42%、29.76%、および18.83%が潜伏エントロピー、非エントロピー、実行行動エントロピーである。 独立なクリーンRLベースのPPO実装による38次元ドッグスタンダードレプリケーションでは、平均幾何学における順序付けを再現し、共有状態の評価と境界マージンを1%から10%に維持する。 直接平均ペナルティは、H(a) が生成する中心値に一致するか、あるいは超えることができるので、内部の手段が実行されたエントロピーに固有のものではないことを示す。 しかし、一致した平均幾何は、かなり異なる分散と戻りで共存することができる。 したがって、エントロピー測度空間は結合平均分散設計の選択であり、タスク戻りだけでは有界政治幾何学を特徴づけない。

関連論文リスト

• Stochastic MeanFlow Policies: One-Step Generative Control with Entropic Mirror Descent [53.828537014796574]
  オンラインの非政治強化学習(RL)は、ポリシークラスと更新ルールの2つの選択肢によって構成されている。 我々は、MeanFlow変換を通じてノイズをアクションにマッピングする一段階生成ポリシークラスであるMeanFlow Policiesを提案する。 7つのMuJoCoベンチマークで、Sは1ステップの推論効率を維持しながら、ガウスおよび生成ベースラインを改善する。
  論文  参考訳（メタデータ） (2026-05-20T15:14:14Z)
• When Policy Entropy Constraint Fails: Preserving Diversity in Flow-based RLHF via Perceptual Entropy [84.66775319652074]
  RLでは、多様性はしばしばポリシーエントロピーと相関し、エントロピー正則化を動機付けていると仮定される。 政策エントロピーは、知覚の多様性が崩壊しても一定であり続ける。 知覚空間における多様性を捉える知覚エントロピーを導入し,標準エントロピーの特性を維持する。
  論文  参考訳（メタデータ） (2026-05-12T13:29:10Z)
• Entropy Polarity in Reinforcement Fine-Tuning: Direction, Asymmetry, and Control [77.8471519867791]
  実験的に、エントロピー極性はエントロピーの変化を確実に予測することを示した。 本稿では、両極性分岐を保護し、有利な再重み付けによるエントロピー制御を実装するPAPO(Polarity-Aware Policy Optimization)を提案する。
  論文  参考訳（メタデータ） (2026-05-12T08:47:05Z)
• Entropy trajectory shape predicts LLM reasoning reliability: A diagnostic study of uncertainty dynamics in chain-of-thought [0.0]
  本研究は,ステップごとの解答完了をサンプリングし,正当性を予測することによって,推論ステップ間の不確実性のダイナミクスの形状を把握できるかどうかを考察する。 エントロピー-軌道単調性(Entropy-trajectory monotonicity)を導入する。
  論文  参考訳（メタデータ） (2026-03-19T14:17:16Z)
• Arbitrary Entropy Policy Optimization: Entropy Is Controllable in Reinforcement Fine-tuning [36.00460460149206]
  本稿では, エントロピーボーナスをREINFORCEポリシー勾配に置き換えることで, エントロピー崩壊を解消するArbitrary Entropy Policy Optimization (AEPO)を提案する。 AEPOは、ポリシー勾配を正規化として、分布を正規化として、REINFORCEを正規化として統合し、最適化を歪ませることなく正確なエントロピー制御を可能にする。
  論文  参考訳（メタデータ） (2025-10-09T12:24:08Z)
• The Entropy Mechanism of Reinforcement Learning for Reasoning Language Models [99.98293908799731]
  本稿では,LLMによる推論,すなわち政策エントロピーの崩壊において,RLのスケーリングの大きな障害を克服することを目的としている。 実際には、エントロピーHと下流性能Rの間の変換方程式R=-a*eH+bを確立する。 Clip-Cov と KL-Cov という2つの単純かつ効果的な手法を提案する。
  論文  参考訳（メタデータ） (2025-05-28T17:38:45Z)
• Coupled Entropy: A Goldilocks Generalization for Complex Systems [2.1756081703276]
  Tsallisエントロピーは、textitq独立で同じ分散ランダム変数が同じ状態を共有するパワー確率$p_iq$を考えることから生まれた。 残念ながら、$q$-exponentialパラメータは、形とスケールの有効な代用として扱われた。 この欠陥は一般化温度の誤解釈と一般化エントロピーの不正確な導出を引き起こす。
  論文  参考訳（メタデータ） (2025-05-17T19:00:25Z)
• Maximum Entropy Reinforcement Learning with Mixture Policies [54.291331971813364]
  MaxEntアルゴリズムを用いて混合エントロピーのトラクタブル近似を構築する。 我々は、それが限界エントロピーの合計と密接に関連していることを示しています。 我々は, 混合ポリシーケースに対するsoft actor-critic (sac) のアルゴリズム的変種を導出し, 一連の連続制御タスクで評価する。
  論文  参考訳（メタデータ） (2021-03-18T11:23:39Z)
• Debiased Sinkhorn barycenters [110.79706180350507]
  最適輸送(OT)におけるエントロピー正則化(Entropy regularization)は、機械学習におけるWassersteinメトリクスやバリセンタに対する近年の関心の原動力となっている。 このバイアスがエントロピー正則化器を定義する基準測度とどのように密接に関連しているかを示す。 両世界の長所を保ち、エントロピーを滑らかにしないシンクホーン様の高速な反復をデバイアスド・ワッサースタインのバリセンタとして提案する。
  論文  参考訳（メタデータ） (2020-06-03T23:06:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。