Fugu-MT 論文翻訳(概要): Beyond Distributions: Geometric Action Control for Continuous Reinforcement Learning

論文の概要: Beyond Distributions: Geometric Action Control for Continuous Reinforcement Learning

arxiv url: http://arxiv.org/abs/2511.08234v1
Date: Wed, 12 Nov 2025 01:47:55 GMT
ステータス: 翻訳完了
システム内更新日: 2025-11-12 20:17:03.711148
Title: Beyond Distributions: Geometric Action Control for Continuous Reinforcement Learning
Title（参考訳）: 分散を超えて:連続強化学習のための幾何学的アクション制御
Authors: Zhihao Lin,
Abstract要約: 計算をシンプルにしながら球面分布の幾何学的利点を保全する新しい行動生成パラダイムである textbfGeometric Action Control (GAC) を提案する。 GACは、動作生成を方向ベクトルと学習可能な集中パラメータに分解し、決定論的動作と一様球面雑音の間の効率的な計算を可能にする。経験的に、GACは6つのMuJoCoベンチマークの最先端メソッドと一貫して一致し、Ant-v4のSACよりも37.6%改善し、6つのタスクのうち4つで最高の結果を得た。
参考スコア（独自算出の注目度）: 7.056222499095849
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Gaussian policies have dominated continuous control in deep reinforcement learning (RL), yet they suffer from a fundamental mismatch: their unbounded support requires ad-hoc squashing functions that distort the geometry of bounded action spaces. While von Mises-Fisher (vMF) distributions offer a theoretically grounded alternative on the sphere, their reliance on Bessel functions and rejection sampling hinders practical adoption. We propose \textbf{Geometric Action Control (GAC)}, a novel action generation paradigm that preserves the geometric benefits of spherical distributions while \textit{simplifying computation}. GAC decomposes action generation into a direction vector and a learnable concentration parameter, enabling efficient interpolation between deterministic actions and uniform spherical noise. This design reduces parameter count from $2d$ to $d+1$, and avoids the $O(dk)$ complexity of vMF rejection sampling, achieving simple $O(d)$ operations. Empirically, GAC consistently matches or exceeds state-of-the-art methods across six MuJoCo benchmarks, achieving 37.6\% improvement over SAC on Ant-v4 and the best results on 4 out of 6 tasks. Our ablation studies reveal that both \textbf{spherical normalization} and \textbf{adaptive concentration control} are essential to GAC's success. These findings suggest that robust and efficient continuous control does not require complex distributions, but a principled respect for the geometry of action spaces. Code and pretrained models are available in supplementary materials.
Abstract（参考訳）: ガウスの政策は、深い強化学習(英語版)(RL)において連続的な制御を支配してきたが、それらは根本的なミスマッチに悩まされている。 von Mises-Fisher (vMF) 分布は理論上は球面上の代替となるが、ベッセル関数への依存と拒絶サンプリングは実践的な採用を妨げる。本稿では, 球面分布の幾何学的利点を保ちつつ, 計算を単純化する新たなアクション生成パラダイムである, \textbf{Geometric Action Control (GAC)を提案する。 GACは、動作生成を方向ベクトルと学習可能な濃度パラメータに分解し、決定論的動作と一様球面雑音の効率的な補間を可能にする。この設計はパラメータカウントを $2d$ から $d+1$ に減らし、単純な $O(dk)$ 演算を達成して vMF 拒絶サンプリングの $O(dk)$ 複雑性を回避する。経験的に、GACは6つのMuJoCoベンチマークの最先端メソッドと一貫して一致し、Ant-v4のSACよりも37.6%改善され、6つのタスクのうち4つで最高の結果が得られる。我々のアブレーション研究では, GACの成功には, \textbf{spherical normalization} と \textbf{adaptive concentration control} の両方が不可欠であることが示されている。これらの結果は、ロバストかつ効率的な連続制御は複雑な分布を必要としないが、作用空間の幾何学に対する原則的な尊重であることを示している。コードおよび事前訓練されたモデルは補足材料で利用可能である。

関連論文リスト

ODAR: Principled Adaptive Routing for LLM Reasoning via Active Inference [60.958331943869126]
ODAR-Expertは、原則化されたリソース割り当てによる精度と効率のトレードオフを最適化する適応的なルーティングフレームワークである。我々は、MATHの98.2%の精度、HumanityのLast Examの54.8%を含む、強く一貫した利得を示している。
論文参考訳（メタデータ） (2026-02-27T05:22:01Z)
TABES: Trajectory-Aware Backward-on-Entropy Steering for Masked Diffusion Models [35.327100592206115]
Backward-on-Entropy (BoE) Steeringは勾配誘導型推論フレームワークで、無限水平コンテキストを1つの後方パスで近似する。スケーラビリティを確保するために,マスク対象の構造を利用した疎結合プリミティブであるttexttActiveQueryAttentionを導入し,後方通過の複雑さを低減する。
論文参考訳（メタデータ） (2026-01-30T19:10:32Z)
Distributionally Robust Control with End-to-End Statistically Guaranteed Metric Learning [5.309590159815129]
我々は、新しいエンドツーエンド有限ホライズン・ワッサーシュタイン DRC フレームワークを提案する。これは、異方性ワッサースタインメトリクスの学習と下流制御タスクを閉ループ方式で統合する。提案手法は,最先端手法と比較して,クローズドループ性能とロバスト性に優れることを示す。
論文参考訳（メタデータ） (2025-10-11T13:40:49Z)
Reasoning through Exploration: A Reinforcement Learning Framework for Robust Function Calling [35.97270347306353]
グループ相対政策最適化(GRPO)に基づく新しいRLフレームワークである textbfEGPO を提案する。 EGPOの中核はエントロピー強化の利点関数であり、モデルのChain-of-Thought(CoT)のエントロピーをポリシー勾配に統合する。挑戦的なBFCL(Berkeley Function Calling Leaderboard)では、EGPOでトレーニングされた4Bパラメータモデルが、同等サイズのモデルの間で新たな最先端を設定している。
論文参考訳（メタデータ） (2025-08-07T07:51:38Z)
GeoAda: Efficiently Finetune Geometric Diffusion Models with Equivariant Adapters [61.51810815162003]
制御された生成タスクに対してフレキシブルかつパラメータ効率の良い微調整を可能にするSE(3)-equivariant Adapter framework(GeoAda)を提案する。 GeoAdaは、過剰適合と破滅的な忘れを緩和しながら、モデルの幾何的一貫性を保っている。我々は、フレーム制御、グローバル制御、サブグラフ制御、広範囲のアプリケーションドメインを含む多様な幾何学的制御タイプにまたがるGeoAdaの適用性を実証する。
論文参考訳（メタデータ） (2025-07-02T18:44:03Z)
Distribution Parameter Actor-Critic: Shifting the Agent-Environment Boundary for Diverse Action Spaces [22.711839917754375]
本稿では,分散パラメータをアクションとして扱う新しい強化学習(RL)フレームワークを提案する。この再化は、元のアクションタイプに関係なく、新しいアクション空間を連続させる。離散化された行動空間を持つ同じ環境での競合性能を実証する。
論文参考訳（メタデータ） (2025-06-19T21:19:19Z)
Flow Matching Ergodic Coverage [0.0]
既存のエルゴディックカバレッジ手法は、制御合成に利用可能なエルゴディックメトリクスの限られたセットによって制約される。本稿では,フローマッチングに基づくエルゴディックカバレッジの代替手法を提案する。この手法は,効率的な,スケーラブルなサンプリングのための生成推論に広く用いられている。我々の定式化は、既存の制約を克服するジェネレーティブ推論から代替エルゴディックメトリクスを可能にする。
論文参考訳（メタデータ） (2025-04-24T18:18:35Z)
Tuning-Free Structured Sparse PCA via Deep Unfolding Networks [5.931547772157972]
教師なし特徴選択(UFS)のための新しいタイプのスパース主成分分析(PCA)を提案する。解釈可能な深層展開ネットワークを使用して、反復最適化ステップをトレーニング可能なニューラルネットワークに変換する。この革新は、従来の手法の経験的チューニング要求を効果的に回避し、正規化パラメータの自動学習を可能にする。
論文参考訳（メタデータ） (2025-02-28T08:32:51Z)
Generalization Bounds of Surrogate Policies for Combinatorial Optimization Problems [53.03951222945921]
我々はスムーズな(摂動された)ポリシーを解析し、線形オラクルが使用する方向に対して制御されたランダムな摂動を付加する。我々の主な貢献は、過剰リスクを摂動バイアス、統計的推定誤差、最適化誤差に分解する一般化境界である。車両のスケジューリングやスムーズ化がトラクタブルトレーニングと制御された一般化の両方を可能にしていることを示す。
論文参考訳（メタデータ） (2024-07-24T12:00:30Z)
Disentangled Representation Learning with the Gromov-Monge Gap [65.73194652234848]
乱れのないデータから歪んだ表現を学習することは、機械学習における根本的な課題である。本稿では,2次最適輸送に基づく非交叉表現学習手法を提案する。提案手法の有効性を4つの標準ベンチマークで示す。
論文参考訳（メタデータ） (2024-07-10T16:51:32Z)
Learning Optimal Deterministic Policies with Stochastic Policy Gradients [62.81324245896716]
政策勾配法(PG法)は連続強化学習(RL法)問題に対処する手法として成功している。一般的には、収束(ハイパー)政治は、決定論的バージョンをデプロイするためにのみ学習される。本稿では,サンプルの複雑性とデプロイされた決定論的ポリシのパフォーマンスのトレードオフを最適化するために,学習に使用する探索レベルの調整方法を示す。
論文参考訳（メタデータ） (2024-05-03T16:45:15Z)
FlowPG: Action-constrained Policy Gradient with Normalizing Flows [14.98383953401637]
ACRL(Action-Constrained reinforcement learning)は、安全クリティカルなリソース関連意思決定問題を解決するための一般的な手法である。 ACRLの最大の課題は、各ステップにおける制約を満たす有効なアクションを取るエージェントを確保することである。
論文参考訳（メタデータ） (2024-02-07T11:11:46Z)
Stochastic Optimal Control Matching [53.156277491861985]
最適制御のための新しい反復拡散最適化(IDO)技術である最適制御マッチング(SOCM)を導入する。この制御は、一致するベクトル場に適合しようとすることで、最小二乗問題を通じて学習される。実験により,本アルゴリズムは最適制御のための既存のすべての IDO 手法よりも低い誤差を実現する。
論文参考訳（メタデータ） (2023-12-04T16:49:43Z)
Provable Guarantees for Generative Behavior Cloning: Bridging Low-Level Stability and High-Level Behavior [51.60683890503293]
生成モデルを用いた複雑な専門家による実演の行動クローニングに関する理論的枠組みを提案する。任意の専門的軌跡の時間ごとのステップ分布に一致するトラジェクトリを生成することができることを示す。
論文参考訳（メタデータ） (2023-07-27T04:27:26Z)
Learning Sampling Distributions for Model Predictive Control [36.82905770866734]
モデル予測制御(MPC)に対するサンプリングに基づくアプローチは、MPCに対する現代のアプローチの基盤となっている。我々は、学習された分布を最大限に活用できるように、潜在空間における全ての操作を実行することを提案する。具体的には、学習問題を双方向の最適化として捉え、バックプロパゲーションスルータイムでコントローラをトレーニングする方法を示す。
論文参考訳（メタデータ） (2022-12-05T20:35:36Z)
Smoothing Policy Iteration for Zero-sum Markov Games [9.158672246275348]
ゼロサムMGの解法としてスムージングポリシロバストネス(SPI)アルゴリズムを提案する。特に、対向ポリシーは、作用空間上の効率的なサンプリングを可能にする重み関数として機能する。また,SPIを関数近似で拡張することにより,Smooth adversarial Actor-critic (SaAC) と呼ばれるモデルベースアルゴリズムを提案する。
論文参考訳（メタデータ） (2022-12-03T14:39:06Z)
Deep Learning Approximation of Diffeomorphisms via Linear-Control Systems [91.3755431537592]
我々は、制御に線形に依存する$dot x = sum_i=1lF_i(x)u_i$という形の制御系を考える。対応するフローを用いて、コンパクトな点のアンサンブル上の微分同相写像の作用を近似する。
論文参考訳（メタデータ） (2021-10-24T08:57:46Z)
Improper Learning with Gradient-based Policy Optimization [62.50997487685586]
未知のマルコフ決定過程に対して学習者がmベースコントローラを与えられる不適切な強化学習設定を考える。制御器の不適切な混合のクラス上で動作する勾配に基づくアプローチを提案する。
論文参考訳（メタデータ） (2021-02-16T14:53:55Z)
Discrete Action On-Policy Learning with Action-Value Critic [72.20609919995086]
離散的な行動空間における強化学習(RL)は、実世界の応用では至るところで行われているが、その複雑さは行動空間次元とともに指数関数的に増大する。我々は,行動値関数を推定し,相関行動に適用し,これらの評価値を組み合わせて勾配推定の分散を制御する。これらの取り組みにより、分散制御技術に頼って、関連するRLアルゴリズムを実証的に上回る、新たな離散的なRLアルゴリズムが実現される。
論文参考訳（メタデータ） (2020-02-10T04:23:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。