論文の概要: Higher-Order Action Supervision Makes A Strong Policy Class

• arxiv url: http://arxiv.org/abs/2610.11175v1
• Date: Thu, 08 Oct 2026 03:32:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.767589
• Title: Higher-Order Action Supervision Makes A Strong Policy Class
• Title（参考訳）: 高次アクションスーパービジョンが強力な政策クラスを作る
• Abstract要約: ゼロと1次の両方のアクションを監督することは、ポリシーのパフォーマンスを劇的に向上させ、ロバスト性を制御することを示します。 提案手法は,広範囲のオフラインRLフレームワークとシームレスに連携する軽量なプラグイン・アンド・プレイモジュールとして機能する。
• 参考スコア（独自算出の注目度）: 25.41535931001401
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern data-driven decision-making methods, such as imitation learning (IL) and reinforcement learning (RL), have achieved great success in solving many complex tasks. However, these methods often suffer from serious control instability and robustness issues when applied in real-world applications such as robotics and autonomous driving, posing notable challenges for their practical deployment. We argue that this instability issue stems largely from their limitations in solely supervising and optimizing zeroth-order actions (i.e., the action labels), failing to account for higher-order action dynamics and temporal consistency. In this paper, we show that simultaneously supervising both zeroth- and first-order actions can dramatically enhance policies' performance and control robustness. To achieve this, we introduce a novel and elegant loss scheme supported by formal theoretical guarantees that can equip any off-the-shelf policy model (e.g., deterministic, stochastic, or flow policies) with the capability for higher-order action supervision, without requiring any structural modifications. Moreover, our proposed method can serve as a lightweight plug-and-play module that seamlessly integrates with a broad spectrum of existing offline RL frameworks. Extensive evaluations on OGBench and D4RL demonstrate that our approach yields substantial performance and robustness improvements across a wide range of continuous control environments. Notably, our method can also enhance policies' out-of-distribution (OOD) generalization capability in the challenging low-data regime, making it an ideal tool in tackling many real-world control problems.
• Abstract（参考訳）: 模倣学習(IL)や強化学習(RL)といった現代のデータ駆動型意思決定手法は,多くの複雑なタスクを解く上で大きな成功を収めている。 しかしながら、これらの手法は、ロボット工学や自律運転といった現実世界の応用に適用された場合、深刻な制御不安定性と堅牢性の問題に悩まされ、実用的展開において顕著な課題を提起する。 この不安定性問題は、単にゼロ階アクション(つまりアクションラベル)を監督し、最適化することの限界に起因し、高階アクションダイナミクスと時間的一貫性を考慮できないことに起因すると我々は論じている。 本稿では,ゼロと1次の両方のアクションを同時に監視することで,ポリシーの性能とロバスト性を大幅に向上させることができることを示す。 これを実現するために,本論文では,任意の既定方針モデル(例えば,決定的,確率的,フロー的)を,構造的な変更を必要とせずに高次行動監視能力に装備できる,形式的理論的保証に支えられた,新規でエレガントな損失スキームを導入する。 さらに,提案手法は,既存のオフラインRLフレームワークとシームレスに連携する軽量なプラグイン・アンド・プレイモジュールとして機能する。 OGBench と D4RL の大規模評価により,本手法は広範囲な連続制御環境において,大幅な性能向上とロバスト性向上をもたらすことが示された。 特に,本手法は,低データ体制の課題において,ポリシーのアウト・オブ・ディストリビューション(OOD)の一般化能力を向上し,現実の制御問題に対処するための理想的なツールとなる。

関連論文リスト

• Efficiently Learning Robust Torque-based Locomotion Through Reinforcement with Model-Based Supervision [14.246416873754905]
  モデルに基づく二足歩行と残留強化学習を統合した制御フレームワークを提案する。 提案手法は, ランダム化条件におけるロバスト性の向上と一般化を実証する。
  論文  参考訳（メタデータ） (2026-01-22T16:56:52Z)
• Diffusion Guidance Is a Controllable Policy Improvement Operator [98.11511661904618]
  CFGRLは教師付き学習の単純さで訓練されているが、データ内のポリシーをさらに改善することができる。 オフラインのRLタスクでは、信頼性の高いトレンドが観察されます -- ガイダンスの重み付けの増加によって、パフォーマンスが向上します。
  論文  参考訳（メタデータ） (2025-05-29T14:06:50Z)
• Growing Q-Networks: Solving Continuous Control Tasks with Adaptive Control Resolution [51.83951489847344]
  ロボット工学の応用において、スムーズな制御信号はシステム摩耗とエネルギー効率を減らすために一般的に好まれる。 本研究では,離散的な動作空間を粗い状態から細かい制御分解能まで拡大することにより,この性能ギャップを埋めることを目的とする。 我々の研究は、値分解とアダプティブ・コントロール・リゾリューションが組み合わさることで、単純な批判のみのアルゴリズムが得られ、連続制御タスクにおいて驚くほど高い性能が得られることを示唆している。
  論文  参考訳（メタデータ） (2024-04-05T17:58:37Z)
• Action-Quantized Offline Reinforcement Learning for Robotic Skill Learning [68.16998247593209]
  オフライン強化学習(RL)パラダイムは、静的な行動データセットを、データを収集したポリシーよりも優れたパフォーマンスのポリシーに変換するためのレシピを提供する。 本稿では,アクション量子化のための適応型スキームを提案する。 IQL,CQL,BRACといった最先端のオフラインRL手法が,提案手法と組み合わせることで,ベンチマークのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2023-10-18T06:07:10Z)
• Online Nonstochastic Model-Free Reinforcement Learning [35.377261344335736]
  本研究では,動的あるいは敵対的な環境に対するロバストモデルロバスト性保証について検討する。 これらのポリシーを最適化するための効率的かつ効率的なアルゴリズムを提供する。 これらは状態空間に依存せず、状態空間に依存しない最もよく知られた発展である。
  論文  参考訳（メタデータ） (2023-05-27T19:02:55Z)
• Safe-Critical Modular Deep Reinforcement Learning with Temporal Logic through Gaussian Processes and Control Barrier Functions [3.5897534810405403]
  強化学習(Reinforcement Learning, RL)は,現実のアプリケーションに対して限られた成功を収める,有望なアプローチである。 本稿では,複数の側面からなる学習型制御フレームワークを提案する。 ECBFをベースとしたモジュラーディープRLアルゴリズムは,ほぼ完全な成功率を達成し,高い確率で安全性を保護することを示す。
  論文  参考訳（メタデータ） (2021-09-07T00:51:12Z)
• Enforcing robust control guarantees within neural network policies [76.00287474159973]
  本稿では、ニューラルネットワークによってパラメータ化され、ロバスト制御と同じ証明可能なロバスト性基準を適用した、一般的な非線形制御ポリシークラスを提案する。 提案手法は,複数の領域において有効であり,既存のロバスト制御法よりも平均ケース性能が向上し,(非ロバスト)深部RL法よりも最悪のケース安定性が向上した。
  論文  参考訳（メタデータ） (2020-11-16T17:14:59Z)
• Guided Constrained Policy Optimization for Dynamic Quadrupedal Robot Locomotion [78.46388769788405]
  我々は,制約付きポリシー最適化(CPPO)の実装に基づくRLフレームワークであるGCPOを紹介する。 誘導制約付きRLは所望の最適値に近い高速収束を実現し,正確な報酬関数チューニングを必要とせず,最適かつ物理的に実現可能なロボット制御動作を実現することを示す。
  論文  参考訳（メタデータ） (2020-02-22T10:15:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。