論文の概要: Conformal Policy Control
- arxiv url: http://arxiv.org/abs/2603.02196v1
- Date: Mon, 02 Mar 2026 18:54:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-03 19:50:57.043852
- Title: Conformal Policy Control
- Title（参考訳）: コンフォーマルポリシー制御
- Authors: Drew Prinster, Clara Fannjiang, Ji Won Park, Kyunghyun Cho, Anqi Liu, Suchi Saria, Samuel Stanton,
- Abstract要約: 我々は、安全な参照ポリシーを、最適化されているが未試験のポリシーの確率的規制として使う方法を示す。
保守的な最適化方法とは異なり、ユーザーが正しいモデルクラスを識別したとは仮定しない。
自然言語質問応答から生体分子工学まで,本研究の応用実験は,デプロイ開始当初から安全な探索が可能であることを示唆している。
- 参考スコア（独自算出の注目度）: 50.46542384484142
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: An agent must try new behaviors to explore and improve. In high-stakes environments, an agent that violates safety constraints may cause harm and must be taken offline, curtailing any future interaction. Imitating old behavior is safe, but excessive conservatism discourages exploration. How much behavior change is too much? We show how to use any safe reference policy as a probabilistic regulator for any optimized but untested policy. Conformal calibration on data from the safe policy determines how aggressively the new policy can act, while provably enforcing the user's declared risk tolerance. Unlike conservative optimization methods, we do not assume the user has identified the correct model class nor tuned any hyperparameters. Unlike previous conformal methods, our theory provides finite-sample guarantees even for non-monotonic bounded constraint functions. Our experiments on applications ranging from natural language question answering to biomolecular engineering show that safe exploration is not only possible from the first moment of deployment, but can also improve performance.
- Abstract（参考訳）: エージェントは探索と改善のために新しい行動を試さなければならない。
リスクの高い環境では、安全上の制約に違反するエージェントが害を負い、オフラインにされ、将来の相互作用が制限される可能性がある。
古い行動の緩和は安全だが、過度の保守主義は探索を妨げている。
どのくらいの行動変化が過剰か?
我々は、安全な参照ポリシーを、最適化されているが未試験のポリシーの確率的規制として使う方法を示す。
安全ポリシーからのデータのコンフォーマルキャリブレーションは、ユーザの宣言されたリスク許容性を確実に実施しながら、新しいポリシーがどれだけ積極的に行動できるかを決定する。
保守的な最適化方法とは異なり、ユーザーは正しいモデルクラスを特定したり、ハイパーパラメータを調整したりしていないと仮定する。
従来の共形法とは異なり、我々の理論は非単調な有界制約函数に対しても有限サンプル保証を与える。
自然言語質問応答から生体分子工学に至るまでの応用実験は、安全な探索はデプロイメントの開始時点から可能であるだけでなく、性能も向上できることを示している。
関連論文リスト
- Safe Exploration via Policy Priors [45.58021831092113]
我々は,SOOPERが学習を通して安全を保証し,その累積的後悔を束縛することで最適な政策への収束を確立することを示す。
キーセーフなRLベンチマークと実世界のハードウェアの実験では、SOOPERはスケーラブルであり、最先端技術よりも優れており、現実の理論的保証を検証しています。
論文 参考訳（メタデータ） (2026-01-27T13:45:28Z) - Proximal Ranking Policy Optimization for Practical Safety in Counterfactual Learning to Rank [64.44255178199846]
本稿では,ユーザ行動に関する仮定を伴わずにデプロイの安全性を提供する,PRPO (proximal ranking Policy Optimization) という新しいアプローチを提案する。
PRPOは、安全なランキングモデルとは相容れないランキング行動を学ぶためのインセンティブを取り除きます。
実験の結果,PRPOは既存の安全逆性評価手法よりも高い性能を示すことがわかった。
論文 参考訳（メタデータ） (2024-09-15T22:22:27Z) - CSPI-MT: Calibrated Safe Policy Improvement with Multiple Testing for Threshold Policies [30.57323631122579]
我々は、経済、医療、デジタル広告の応用に関する、ユビキタスなポリシーであるしきい値ポリシーに焦点を当てている。
既存の方法は、潜在的に非力な安全チェックに依存し、安全な改善を見つける機会を制限する。
本手法は, 逆条件下では, 既定誤差レベルに対して, 基準値よりも悪いポリシーを採用する確率を制御できることが示される。
論文 参考訳（メタデータ） (2024-08-21T21:38:03Z) - Practical and Robust Safety Guarantees for Advanced Counterfactual Learning to Rank [64.44255178199846]
我々は、既存の安全CLTRアプローチを一般化し、最先端の2重ロバストCLTRに適用する。
また,ユーザ行動に関する仮定を伴わずにデプロイの安全性を提供するPRPO(proximal ranking Policy Optimization)を提案する。
PRPOは、デプロイ時に無条件の安全性を持つ最初の方法であり、現実世界のアプリケーションの堅牢な安全性に変換される。
論文 参考訳（メタデータ） (2024-07-29T12:23:59Z) - Information-Theoretic Safe Bayesian Optimization [59.758009422067005]
そこでは、未知の(安全でない)制約に反するパラメータを評価することなく、未知の関数を最適化することを目的としている。
現在のほとんどのメソッドはドメインの離散化に依存しており、連続ケースに直接拡張することはできない。
本稿では,GP後部を直接利用して,最も情報に富む安全なパラメータを識別する情報理論的安全な探索基準を提案する。
論文 参考訳（メタデータ） (2024-02-23T14:31:10Z) - Information-Theoretic Safe Exploration with Gaussian Processes [89.31922008981735]
未知の(安全でない)制約に反するパラメータを評価できないような、逐次的な意思決定タスクについて検討する。
現在のほとんどのメソッドはドメインの離散化に依存しており、連続ケースに直接拡張することはできない。
本稿では,GP後部を直接利用して,最も情報に富む安全なパラメータを識別する情報理論的安全な探索基準を提案する。
論文 参考訳（メタデータ） (2022-12-09T15:23:58Z) - Conformal Off-Policy Prediction in Contextual Bandits [54.67508891852636]
コンフォーマルなオフ政治予測は、新しい目標ポリシーの下で、結果に対する信頼できる予測間隔を出力することができる。
理論上の有限サンプル保証は、標準的な文脈的バンディットの設定を超える追加の仮定をすることなく提供する。
論文 参考訳（メタデータ） (2022-06-09T10:39:33Z) - Learn Zero-Constraint-Violation Policy in Model-Free Constrained
Reinforcement Learning [7.138691584246846]
本稿では,安全指向エネルギー関数を用いてポリシー更新を限定するセーフセットアクタクリティカル(SSAC)アルゴリズムを提案する。
安全指数は、潜在的に危険な行動のために急速に増加するように設計されている。
我々は、値関数の学習と同様に、モデルのない方法でエネルギー関数を学習できると主張する。
論文 参考訳（メタデータ） (2021-11-25T07:24:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。