論文の概要: A Universal Policy Wrapper With Guarantees

• arxiv url: http://arxiv.org/abs/2611.02888v1
• Date: Mon, 02 Nov 2026 10:22:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 14:38:16.652975
• Title: A Universal Policy Wrapper With Guarantees
• Title（参考訳）: 包括的包括的包括的包括的政策
• Abstract要約: 本稿では、フォールバックポリシーと事前訓練されたRLベースポリシーを組み合わせたCALF-Wrapperを提案する。 CalF-Wrapperは、規定された前提の下でフォールバックポリシーの目標達成特性を継承する。 実験により、CALF-Wrapperは、観測可能な最大ゴール獲得率を確保しながら、効果的なタスクパフォーマンスを提供できることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many control tasks require driving the system into a prescribed goal set and subsequently keeping it there. The considered setting assumes that a working controller is available that provably reaches and maintains the goal, albeit with suboptimal performance. This controller is referred to as the fallback policy. Conversely, although state-of-the-art reinforcement-learning (RL) algorithms can discover policies with impressive empirical performance, the neural networks at their core act as opaque black boxes learned through data-driven exploration and, as such, provide no theoretical mechanism to guarantee that the system will ever reach---and stay within---the prescribed goal set. This article presents CALF-Wrapper, a method that combines the fallback policy with a pretrained RL base policy and uses the critic estimate associated with the base policy to select between them during deployment. The theoretical analysis establishes that CALF-Wrapper inherits the goal-reaching property of the fallback policy under the stated assumptions and provides probability bounds for the settling time and the maximum distance from the goal set over a prescribed time interval. The experimental study evaluates CALF-Wrapper in four simulated control environments of different complexity. Comparisons include the base policy, fallback policy, and constrained reinforcement-learning methods formulated for the same objective. Sensitivity and ablation studies provide direct hyperparameter recommendations. The experiments show how CALF-Wrapper can provide effective task performance while attaining the maximum possible observed goal-reaching rate. CALF-Wrapper requires no additional dynamics model, online learning, or constrained optimization during execution.
• Abstract（参考訳）: 多くの制御タスクは、システムを所定の目標セットに駆動し、その後そこに保持する必要がある。 検討された設定は、最適以下のパフォーマンスにもかかわらず、確実に目標に到達し維持する作業コントローラが利用可能であると仮定する。 このコントローラはフォールバックポリシーと呼ばれる。 逆に、最先端の強化学習(RL)アルゴリズムは、印象的な経験的パフォーマンスを持つポリシーを発見できるが、その中核にあるニューラルネットワークは、データ駆動探索を通じて学んだ不透明なブラックボックスとして機能し、システムに到達し、所定の目標セット内に留まることを保証するための理論的メカニズムを提供しない。 本稿では、フォールバックポリシーと事前訓練されたRLベースポリシーを組み合わせる手法であるCALF-Wrapperについて述べる。 この理論解析により、ALF-Wrapperは、所定時間間隔で設定された目標から最大距離と沈降時間に対する確率境界を提供する。 実験では, 複雑さの異なる4つの模擬制御環境におけるCALF-Wrapperの評価を行った。 比較対象には、基本方針、フォールバック方針、同じ目的のために定式化された制約付き強化学習方法が含まれる。 感度とアブレーションの研究は直接のハイパーパラメーター勧告を提供する。 実験は,CALF-Wrapperが最大観測目標達成率を確保しつつ,効果的なタスク性能を提供できることを示す。 CALF-Wrapperは、追加の動的モデル、オンライン学習、実行時の制約付き最適化を必要としない。

関連論文リスト

• Reinforcement Learning in High-Energy Physics: A Survey from Accelerator Control to Theory Exploration [0.5482532589225553]
  強化学習(Reinforcement Learning、RL)は、エージェントが環境と対話して意思決定ポリシーを学ぶ機械学習パラダイムである。 この調査では、RLの加速と計算フィードバック、データ品質監視、ジェットグルーミング、クラスタリング、表現、荷電粒子追跡、超高次スタンダードモデル(BSM)および弦モデル構築、検出器設計、トリガ制御、解析、フォーマルな量子場理論への適用についてレビューする。
  論文  参考訳（メタデータ） (2026-11-01T16:53:51Z)
• Topological Feasibility Guarantees for Differentiable Predictive Control [0.8880611506199766]
  微分予測制御(DPC)は、明示的モデル予測制御(MPC)ポリシーを近似するための自己教師付き学習手法である。 安全管理のコア要件であるファシビリティ保証は、現在、確率的またはオンライン安全フィルタを介して提供されている。 本稿では,誘導可能な安全セットの新たなトポロジカル解析を用いて,DPCに対する決定論的実現可能性を保証する。
  論文  参考訳（メタデータ） (2026-08-11T00:27:50Z)
• Test-Time Gradient Guidance of Flow Policies in Reinforcement Learning [50.738952715864116]
  表現的連続制御ポリシは、シミュレーションされた実ロボット制御のための模倣学習のスケーリングにおける進歩のバックボーンを形成する。 テスト時に完全にポリシー最適化を行うRLアルゴリズムであるQGF(Q-Guided Flow)を提案する。 実証的には、QGFはシングルタスクおよびゴール条件のオフラインRLベンチマークにおいて、以前のテスト時間RLメソッドよりも優れている。
  論文  参考訳（メタデータ） (2026-06-09T16:45:57Z)
• Guided Streaming Stochastic Interpolant Policy [8.673777984856075]
  推論時指導は, 再現性のない動的目標に向けて, 生成ロボットのポリシーを操るのに不可欠である。 本研究では,動的非構造型補間器(SI)の最適ガイダンス項を導出する。 このフレームワークをストリーム補間ポリシー(SSIP)によるリアルタイム制御に適用する。
  論文  参考訳（メタデータ） (2026-05-11T06:24:21Z)
• Test-time Offline Reinforcement Learning on Goal-related Experience [50.94457794664909]
  基礎モデルの研究では、テストタイムトレーニングによってパフォーマンスが大幅に改善できることが示されている。 本稿では、オフラインデータセットから現在の状態への関連性に応じて遷移を選択する、新しい自己教師型データ選択基準を提案する。 目標条件付きテストタイムトレーニング(GC-TTT)アルゴリズムは、評価中にこのルーチンを後退水平方式で適用し、現在の軌道にポリシーを適用する。
  論文  参考訳（メタデータ） (2025-07-24T21:11:39Z)
• Learning Deterministic Policies with Policy Gradients in Constrained Markov Decision Processes [59.27926064817273]
  我々はC-PGと呼ばれる探索非依存のアルゴリズムを導入し,支配的仮定の下でのグローバルな最終点収束保証を享受する。 制約制御タスクにおいて,アクションベース(C-PGAE)とパラメータベース(C-PGPE)の両方を実証的に検証する。
  論文  参考訳（メタデータ） (2025-06-06T10:29:05Z)
• SPoRt -- Safe Policy Ratio: Certified Training and Deployment of Task Policies in Model-Free RL [54.022106606140774]
  本研究では,モデルフリーでエピソードな環境において,新しいタスク固有ポリシーの安全性特性に違反する確率に制約を課す理論的結果を示す。 この境界は、時間的に拡張された性質(安全性の他に)や堅牢な制御問題にも適用できる。 本研究は,このトレードオフを実証し,経験的違反率から得られる理論的境界と後続境界とを比較した実験結果である。
  論文  参考訳（メタデータ） (2025-04-08T19:09:07Z)
• Bi-Level Offline Policy Optimization with Limited Exploration [1.8130068086063336]
  我々は、固定された事前コンパイルされたデータセットに基づいて良いポリシーを学習しようとするオフライン強化学習(RL)について研究する。 ポリシー(上層)と値関数(下層)の階層的相互作用をモデル化する2レベル構造化ポリシー最適化アルゴリズムを提案する。 我々は、オフラインRLのための合成、ベンチマーク、実世界のデータセットを混合して評価し、最先端の手法と競合することを示す。
  論文  参考訳（メタデータ） (2023-10-10T02:45:50Z)
• Guided Constrained Policy Optimization for Dynamic Quadrupedal Robot Locomotion [78.46388769788405]
  我々は,制約付きポリシー最適化(CPPO)の実装に基づくRLフレームワークであるGCPOを紹介する。 誘導制約付きRLは所望の最適値に近い高速収束を実現し,正確な報酬関数チューニングを必要とせず,最適かつ物理的に実現可能なロボット制御動作を実現することを示す。
  論文  参考訳（メタデータ） (2020-02-22T10:15:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。