論文の概要: Conformal Policy Learning with Distribution-Free Safety Guarantees
- arxiv url: http://arxiv.org/abs/2609.17296v1
- Date: Tue, 15 Sep 2026 15:08:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 14:56:08.591484
- Title: Conformal Policy Learning with Distribution-Free Safety Guarantees
- Title（参考訳）: 配電不要安全保証によるコンフォーマルポリシー学習
- Abstract要約: 政策学習は、個々の特性に基づいて誰が扱われるべきかを決定することを目的としている。
安全が重要視される医療や公共政策などの高リスク環境では、平均的な成果だけでは不十分である。
我々は,新しい配電不要な安全保証を備えた政策学習手法であるテキストコンフォーマルポリシー学習(CPL)を提案する。
- 参考スコア（独自算出の注目度）: 8.587200177311516
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Policy learning aims to determine who should be treated based on individual characteristics. In high-stakes settings such as medicine and public policy where safety is a central concern, improving the average outcomes alone may not be sufficient: decision makers may also seek to protect individuals from harm, in line with the Hippocratic principle of ``do no harm.'' In this paper, we propose \textit{conformal policy learning} (CPL), a policy learning procedure with a new distribution-free safety guarantee that controls the probability of assigning treatment to an individual who would be harmed relative to control. CPL views each treatment decision as testing a hypothesis of counterfactual harm and assigns treatment by thresholding conformal p-values. These p-values use observable proxies and selective calibration to address the challenge that the potential outcomes under comparison are never simultaneously observed. For randomized experiments, under standard exchangeability conditions, CPL provides finite-sample safety guarantee at a user-specified level, without imposing any outcome modeling assumptions. Moreover, when the outcome model is consistently estimated, CPL achieves asymptotically optimal welfare subject to the safety constraint. In observational studies, CPL with learn-then-balance weights achieves doubly robust safety guarantees. We evaluate CPL through extensive simulations and apply it to an empirical study of AI-powered interventions designed to reduce conspiracy beliefs.
- Abstract（参考訳）: 政策学習は、個々の特性に基づいて誰が扱われるべきかを決定することを目的としている。
安全が重要視される医療や公共政策のような高い視点では、平均的な成果だけでは不十分であり、意思決定者は「無害」というヒポクラテス的な原則に従って個人を害から守ろうとすることもある。
そこで,本稿では,コントロールに対して危害を加える可能性のある個人に対して,治療を割り当てる確率を制御できる新しい配当のない安全保証を備えた政策学習手法である「textit{conformal policy learning} (CPL)」を提案する。
CPLは、各治療決定を反事実的害の仮説を検証し、共形p値の閾値付けによる治療を割り当てているとみなしている。
これらのp-値は、観測可能なプロキシと選択的なキャリブレーションを使用して、比較中の潜在的な結果が同時に観測されないという課題に対処する。
ランダム化実験では、標準交換性条件下では、CPLは、結果モデリングの前提を課すことなく、ユーザ指定レベルで有限サンプル安全性を保証する。
さらに、結果モデルが一貫して推定されると、CPLは、安全制約を受ける漸近的に最適な福祉を達成する。
観察的研究において、学習時バランスの重みを持つCPLは二重に堅牢な安全性を保証する。
我々は、広範囲なシミュレーションを通じてCPLを評価し、陰謀の信念を減らすために設計されたAIによる介入の実証研究に適用する。
関連論文リスト
- Topological Feasibility Guarantees for Differentiable Predictive Control [0.8880611506199766]
微分予測制御(DPC)は、明示的モデル予測制御(MPC)ポリシーを近似するための自己教師付き学習手法である。
安全管理のコア要件であるファシビリティ保証は、現在、確率的またはオンライン安全フィルタを介して提供されている。
本稿では,誘導可能な安全セットの新たなトポロジカル解析を用いて,DPCに対する決定論的実現可能性を保証する。
論文 参考訳（メタデータ） (2026-08-11T00:27:50Z) - PAC-Bayesian Reward-Certified Outcome Weighted Learning [0.0]
結果重み付け学習(OWL)による最適個別化処理規則(ITR)の推定は、しばしば真に潜伏したユーティリティに対してうるさいあるいは楽観的なプロキシである観察された報酬に依存する。
PAC-Bayesian Reward-Certified Outcome Weighted Learning (PROWL)を提案する。
一方的な不確実性証明が与えられた場合、PROWLは真の期待値に基づいて、保守的な報酬と厳密なポリシーに依存した下限を構築する。
論文 参考訳（メタデータ） (2026-04-02T12:08:56Z) - Constrained Language Model Policy Optimization via Risk-aware Stepwise Alignment [49.2305683068875]
本稿では,リスク認識を政策最適化プロセスに組み込んだ新しいアライメント手法であるリスク対応ステップワイドアライメント(RSA)を提案する。
RSAは、過剰なモデルシフトによって引き起こされるリスクを基準方針から緩和し、低確率で高影響の有害な振る舞いを明示的に抑制する。
実験により, 本手法は高い安全性を確保しつつ, 高い安全性を達成できることが確認された。
論文 参考訳（メタデータ） (2025-12-30T14:38:02Z) - SAFER: Risk-Constrained Sample-then-Filter in Large Language Models [38.97678256807034]
本稿では,無意識サンプリングと共形フィルタリングを組み合わせた2段階リスク制御フレームワークを提案する。
その結果,SAFERはタスク固有の基準やキャリブレーションテストのスプリット比と互換性があることが判明した。
論文 参考訳（メタデータ） (2025-10-11T12:12:41Z) - Learning Deterministic Policies with Policy Gradients in Constrained Markov Decision Processes [59.27926064817273]
我々はC-PGと呼ばれる探索非依存のアルゴリズムを導入し,支配的仮定の下でのグローバルな最終点収束保証を享受する。
制約制御タスクにおいて,アクションベース(C-PGAE)とパラメータベース(C-PGPE)の両方を実証的に検証する。
論文 参考訳（メタデータ） (2025-06-06T10:29:05Z) - SPoRt -- Safe Policy Ratio: Certified Training and Deployment of Task Policies in Model-Free RL [54.022106606140774]
本研究では,モデルフリーでエピソードな環境において,新しいタスク固有ポリシーの安全性特性に違反する確率に制約を課す理論的結果を示す。
この境界は、時間的に拡張された性質(安全性の他に)や堅牢な制御問題にも適用できる。
本研究は,このトレードオフを実証し,経験的違反率から得られる理論的境界と後続境界とを比較した実験結果である。
論文 参考訳（メタデータ） (2025-04-08T19:09:07Z) - Proximal Ranking Policy Optimization for Practical Safety in Counterfactual Learning to Rank [64.44255178199846]
本稿では,ユーザ行動に関する仮定を伴わずにデプロイの安全性を提供する,PRPO (proximal ranking Policy Optimization) という新しいアプローチを提案する。
PRPOは、安全なランキングモデルとは相容れないランキング行動を学ぶためのインセンティブを取り除きます。
実験の結果,PRPOは既存の安全逆性評価手法よりも高い性能を示すことがわかった。
論文 参考訳（メタデータ） (2024-09-15T22:22:27Z) - How Generalizable Is My Behavior Cloning Policy? A Statistical Approach to Trustworthy Performance Evaluation [17.638831964639834]
行動クローニングポリシーは、人間のデモンストレーションから学ぶことで複雑なタスクを解決することに成功している。
本稿では,任意の環境下でのロボット性能について,より低バウンドなフレームワークを提案する。
実験では,シミュレーションとハードウェアの両方におけるビジュモータ操作のポリシーを評価する。
論文 参考訳（メタデータ） (2024-05-08T22:00:35Z) - A Risk-Sensitive Approach to Policy Optimization [21.684251937825234]
標準深層強化学習(DRL)は、政策の定式化における収集経験を均等に考慮し、期待される報酬を最大化することを目的としている。
そこで本研究では,フルエピソード報酬の分布の累積分布関数 (CDF) で規定されるリスク感性目標を最適化する,より直接的なアプローチを提案する。
エージェントの動作が不十分なシナリオを強調する中程度の「悲観的」リスクプロファイルの使用が,探索の強化と,障害への継続的な対処に繋がることを示す。
論文 参考訳（メタデータ） (2022-08-19T00:55:05Z) - Conformal Off-Policy Prediction in Contextual Bandits [54.67508891852636]
コンフォーマルなオフ政治予測は、新しい目標ポリシーの下で、結果に対する信頼できる予測間隔を出力することができる。
理論上の有限サンプル保証は、標準的な文脈的バンディットの設定を超える追加の仮定をすることなく提供する。
論文 参考訳（メタデータ） (2022-06-09T10:39:33Z) - Reliable Off-policy Evaluation for Reinforcement Learning [53.486680020852724]
シーケンシャルな意思決定問題において、非政治評価は、目標政策の期待累積報酬を推定する。
本稿では、1つまたは複数のログデータを用いて、ロバストで楽観的な累積報酬推定を提供する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2020-11-08T23:16:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。