論文の概要: GSBR: Geometric Support Behavior Regularization for Online RL

• arxiv url: http://arxiv.org/abs/2611.05295v1
• Date: Tue, 03 Nov 2026 18:08:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-07 13:08:55.833857
• Title: GSBR: Geometric Support Behavior Regularization for Online RL
• Title（参考訳）: GSBR:オンラインRLのための幾何学的支援行動規則化
• Abstract要約: オンライン強化学習の正規化は、サンプル効率と学習安定性を向上させる。 基本方針は合理的だが最適でない多くの振る舞いを捉えます。 本稿では,基本方針の支持からの距離によって行動に罰を与える幾何学的支援行動規則化を提案する。
• 参考スコア（独自算出の注目度）: 46.250407096197826
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Regularizing online reinforcement learning (RL) toward a pretrained base policy can improve sample efficiency and learning stability, but regularization that is too restrictive limits how much the policy can improve. Base policies -- typically diffusion or flow-matching models trained by imitation learning on large, diverse datasets -- capture many behaviors that are reasonable but suboptimal. Existing regularizers using such base policies are too restrictive in one of two ways: behavioral cloning regularizers pull the actor toward the full base-policy distribution, penalizing it for discarding suboptimal modes, while hard support constraints forbid improvements that lie just outside the base policy's support. We propose Geometric Support Behavior Regularization (GSBR), which penalizes actions by their distance from the base policy's support. Actions within the support incur no penalty, so the actor can concentrate on high-value modes; outside the support, where value estimates are less reliable, the penalty grows smoothly with distance while still permitting improvement when the value gained outweighs the penalty. GSBR estimates this distance from a finite set of base-policy samples, so it requires only sample access to the base policy. Across 19 tasks on four robotic benchmarks, GSBR raises the average success rate from 33% for the base policy to 95%, achieving the highest average success rate and throughput among all compared methods, with about 23% higher normalized throughput than the next-best RL method. Project website and open-source code at https://charlesxu0124.github.io/gsbr/ .
• Abstract（参考訳）: 事前訓練された基本方針に対するオンライン強化学習(RL)の規則化は、サンプル効率と学習安定性を向上させるが、政策がどれだけ改善できるかを制限しすぎる正規化は制限される。 ベースポリシー(通常は拡散またはフローマッチングモデル)は、大規模で多様なデータセットで模倣学習によって訓練される。 行動的クローン化正規化業者は、アクターを完全な基本政治分布へ引きずり出し、それを準最適モードを捨てるために罰する一方、ハードサポートの制約は、基本政策の支持のすぐ外側にある改善を禁止している。 本稿では,基本方針の支持からの距離によって行動に罰を与える幾何学的支援行動規則化(GSBR)を提案する。 サポート内のアクションはペナルティを伴わないので、アクターは高価値モードに集中することができる。 GSBRは、この距離を有限個の基本政治サンプルから推定するので、基本政策へのサンプルアクセスしか必要としない。 4つのロボットベンチマークの19タスク中、GSBRはベースポリシーの平均成功率を33%から95%に引き上げ、比較したすべてのメソッドの中で平均成功率とスループットを達成し、次のRL法よりも23%高い正規化スループットを実現した。 プロジェクトのWebサイトとオープンソースコードはhttps://charlesxu0124.github.io/gsbr/。

関連論文リスト

• Support-Constrained RL Enables Real-World Policy Improvement without Real-World Experience [10.327708268675503]
  Support-Constrained Off-Domain Reinforcement (SCORE) は、シミュレーションにおいてRLを実際のデータで事前訓練された生成ポリシーのサポートに制約する、リアルからシミュレート・トゥ・リアルなフレームワークである。 SCOREは、ポリシー最適化が適切に制約されている場合、現実世界の操作ポリシーを大幅に改善できることを示す。
  論文  参考訳（メタデータ） (2026-06-25T18:52:27Z)
• One-Way Policy Optimization for Self-Evolving LLMs [63.8638342097375]
  RLVR(Reinforcement Learning with Verifiable Rewards)は,Large Language Models(LLMs)の推論能力を拡張するための,有望なパラダイムとなっている。 本稿では,最適化方向を更新等級から切り離す手法である1-Way Policy Optimization (OWPO)を提案する。 実験の結果,OWPOはDAPO,OPD,MOPDなどの強いベースラインより優れていた。
  論文  参考訳（メタデータ） (2026-05-21T08:25:27Z)
• Asymmetric Proximal Policy Optimization: mini-critics boost LLM reasoning [49.57517969069136]
  Asymmetric Proximal Policy Optimization (AsyPPO) は、大規模なモデル設定で効率を保ちながら、批評家の役割を回復するシンプルでスケーラブルなフレームワークである。 AsyPPOは軽量のミニ批評家を採用しており、それぞれが切り離されたプロンプトシャードで訓練されている。 強力なベースラインを越えて、複数のベンチマークで学習の安定性とパフォーマンスを継続的に改善する。
  論文  参考訳（メタデータ） (2025-10-02T04:24:27Z)
• Accelerating Residual Reinforcement Learning with Uncertainty Estimation [20.516264459225734]
  残留強化学習(Residual Reinforcement Learning, RL)は、修正行動を提供する軽量な残留ポリシーを学習することで、事前訓練されたポリシーを適用するための一般的なアプローチである。 残留RLは基本方針全体を微調整するよりもサンプリング効率が高いが、既存の手法はスパース報酬に苦慮し、決定論的基本方針のために設計されている。 本稿では, サンプル効率をさらに向上し, 基本方針に適合させるため, 残留RLの2つの改良点を提案する。
  論文  参考訳（メタデータ） (2025-06-21T03:18:01Z)
• Policy Agnostic RL: Offline RL and Online RL Fine-Tuning of Any Class and Backbone [72.17534881026995]
  ポリシーに依存しないRL(PA-RL)と呼ばれるオフラインおよびオンラインの微調整手法を開発する。 オンラインRLファインチューニングアルゴリズムであるCal-QLを用いて、7BジェネラリストロボットポリシーであるOpenVLAのファインチューニングに成功した最初の結果を示す。
  論文  参考訳（メタデータ） (2024-12-09T17:28:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。