論文の概要: DEPLOY-RL: Active Boundary Discovery and Conservative Certification for Deployable Reinforcement Learning in Safety-Critical Continuous Processes

• arxiv url: http://arxiv.org/abs/2611.00342v1
• Date: Fri, 30 Oct 2026 20:19:17 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:58:09.299516
• Title: DEPLOY-RL: Active Boundary Discovery and Conservative Certification for Deployable Reinforcement Learning in Safety-Critical Continuous Processes
• Title（参考訳）: DEPLOY-RL: 安全クリティカルな継続的プロセスにおける展開型強化学習のためのアクティブ境界発見と保守的認定
• Abstract要約: 強化学習ポリシーは、しばしばシミュレーションにおいて古典的なコントローラよりも優れているが、安全クリティカルなプロセスで生産されることは滅多にない。 DEPLOY-RLは、トレーニング後の認定フレームワークで、ひとつの重要な洞察に基づいて構築されています。
• 参考スコア（独自算出の注目度）: 0.5006668957378184
• License:
• Abstract: Reinforcement learning (RL) policies often outperform classical controllers in simulation, yet rarely reach production in safety-critical processes. The barrier is that there is no principled way to answer "Is this policy safe to deploy?" with statistical guarantees. We introduce DEPLOY-RL, a post-training certification framework built on one key insight: deployment certification requires discovering where failures occur (boundary discovery), not measuring how much everywhere (uniform reconstruction). Our contributions: (1) a contract-coupled acquisition function that concentrates sampling on certification-critical boundaries, achieving approximately 2x sample efficiency with a semi-empirical ambiguity reduction bound (domain-calibrated convergence guarantee); (2) conformal risk control providing finite-sample false-go guarantees (<= alpha) under explicit deployment contracts; (3) a three-way decision framework (Deploy/No-Deploy/Abstain) with fail-safe PID/MPC fallback. In simulations on papermaking (industrial digital twin) and Tennessee Eastman (public benchmark), DEPLOY-RL achieves 4.4% false-go rate (vs. 8.6% for the best baseline) while retaining 88.6% policy coverage, the only method achieving <5% false-go with >85% coverage among 14 baselines under our evaluation protocol.
• Abstract（参考訳）: 強化学習 (Reinforcement Learning, RL) のポリシーは、しばしばシミュレーションにおいて古典的なコントローラよりも優れているが、安全クリティカルなプロセスで生産されることは滅多にない。 障壁は、統計的保証のある「この方針は安全なのか?」に答える原則的な方法がないことである。 DEPLOY-RLは,1つの重要な洞察に基づいて構築された,トレーニング後の認定フレームワークである。 提案するコントリビューションは,(1)認証クリティカル境界のサンプリングに集中し,半経験的曖昧性低減境界(ドメイン校正収束保証)で約2倍のサンプル効率を達成する契約結合獲得機能,(2)明示的な展開契約の下で有限サンプル偽Go保証を提供するコンホメーションリスク制御,(3)フェールセーフなPID/MPCフォールバックを備えた3方向決定フレームワーク(Deploy/No-Deploy/Abstain)を実現する。 製紙(産業用デジタルツイン)とテネシー・イーストマン(パブリックベンチマーク)のシミュレーションでは、DePLOY-RLは4.4%の偽造率(vs.8.6%の最良のベースライン)を達成し、88.6%のポリシーカバレッジを維持した。

関連論文リスト

• CORE-RL: Confidence-Oriented Reliability Evaluation of Black-Box Reinforcement Learning Policies [7.752056915267077]
  CORE-RL: 信頼性指向信頼性評価のためのブラックボックスRLポリシーを提案する。 パイプラインは有限サンプルのクロッパー・ピアソン境界を統一信頼度で計算し、ホーフディングスは報酬と安全性のコストを低くする。 継続的制御タスクの実験は、CORE-RLパイプラインが非準拠ポリシーを自動的に拒否する能力を示している。
  論文  参考訳（メタデータ） (2026-10-03T10:15:09Z)
• Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents [66.97968363332465]
  エージェントベンチマークの3つのギャップに対処するエンドツーエンド評価スイートであるClaw-Evalを紹介した。 Claw-Evalは3つのグループにまたがる9つのカテゴリにまたがる300の人間検証タスクで構成されている。 すべてのエージェントアクションは、3つの独立したエビデンスチャネルを通じて記録される。
  論文  参考訳（メタデータ） (2026-04-07T17:43:18Z)
• SecPI: Secure Code Generation with Reasoning Models via Security Reasoning Internalization [50.71047638695205]
  RLM(Reasoning Language Model)は、プログラミングにおいてますます使われている言語モデルである。 しかし、最先端のRLMでさえ、生成されたコードに重大なセキュリティ脆弱性を頻繁に導入する。 我々は、構造化されたセキュリティ推論を内部化するためのRTMを教える微調整パイプラインであるSecPIを提案する。
  論文  参考訳（メタデータ） (2026-04-04T04:29:11Z)
• BAPO: Boundary-Aware Policy Optimization for Reliable Agentic Search [72.87861928940929]
  バウンダリ・アウェア・ポリシー・オプティマイゼーション(BAPO)は、信頼性の高い境界認識を精度を損なうことなく育成する新しいRLフレームワークである。 BAPOは2つの重要な要素を導入する: (i) グループベースの境界対応報酬(i) 推論が限界に達したときのみIDK応答を促進させる) 適応報酬変調器(ii) 早期探索中にこの報酬を戦略的に停止させ、モデルがIDKをショートカットとして利用するのを防ぐ。
  論文  参考訳（メタデータ） (2026-01-16T07:06:58Z)
• Embedding Safety into RL: A New Take on Trust Region Methods [1.5733417396701983]
  我々は,信頼領域が安全な政策のみを含むことを保証するために,政策空間を再設定する制約付きトラスト地域政策最適化(C-TRPO)を導入する。 実験により、C-TRPOは競合リターンを維持しながら制約違反を低減することが示された。
  論文  参考訳（メタデータ） (2024-11-05T09:55:50Z)
• Safety Correction from Baseline: Towards the Risk-aware Policy in Robotics via Dual-agent Reinforcement Learning [64.11013095004786]
  本稿では,ベースラインと安全エージェントからなる二重エージェント型安全強化学習戦略を提案する。 このような分離されたフレームワークは、RLベースの制御に対して高い柔軟性、データ効率、リスク認識を可能にする。 提案手法は,難易度の高いロボットの移動・操作作業において,最先端の安全RLアルゴリズムより優れる。
  論文  参考訳（メタデータ） (2022-12-14T03:11:25Z)
• Safe Reinforcement Learning via Confidence-Based Filters [78.39359694273575]
  我々は,標準的な強化学習技術を用いて学習した名目政策に対して,国家安全の制約を認定するための制御理論的アプローチを開発する。 我々は、正式な安全保証を提供し、我々のアプローチの有効性を実証的に実証する。
  論文  参考訳（メタデータ） (2022-07-04T11:43:23Z)
• COPA: Certifying Robust Policies for Offline Reinforcement Learning against Poisoning Attacks [49.15885037760725]
  本研究は, 中毒発生時におけるオフライン強化学習(RL)の堅牢性を検証することに注力する。 本報告では, 許容可能な毒素トラジェクトリの数を認証する最初の認証フレームワークであるCOPAを提案する。 提案手法のいくつかは理論的に厳密であり,一部はNP-Complete問題であることを示す。
  論文  参考訳（メタデータ） (2022-03-16T05:02:47Z)
• Distillation of RL Policies with Formal Guarantees via Variational Abstraction of Markov Decision Processes (Technical Report) [0.0]
  我々は、強化学習(RL)を通して学んだ政策の文脈で、政策の単純化と検証の課題を考える。 未知の環境と学習された離散潜在モデルの間に新しい双シミュレーション境界を導出する。 本稿では、現状のRLを用いて得られたポリシーを用いて、ほぼ正しいバイシミュレーション保証を持つ離散潜在モデルを生成する変分オートエンコーダを効率的に訓練する方法を示す。
  論文  参考訳（メタデータ） (2021-12-17T17:57:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。