論文の概要: Counterfactually Safe Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2605.25114v1
• Date: Sun, 24 May 2026 14:54:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:18.835507
• Title: Counterfactually Safe Reinforcement Learning
• Title（参考訳）: 事実上安全な強化学習
• Authors: Jingyi Li, Peng Wu, Chengchun Shi,
• Abstract要約: 強化学習アルゴリズムは一般に、人口間で期待されるリターンを最大化するように設計されている。 まず、個別の害の概念を反現実的な観点から定式化し、選択された行動がベースラインの代替よりも厳格に悪い結果をもたらす事象として害を定義する。 次に,個別の害を考慮に入れながら,期待した利益を最大化する2段階の学習手順を提案する。
• 参考スコア（独自算出の注目度）: 25.8534002955263
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning algorithms are generally designed to maximize the expected return across a population. However, a policy that is optimal on average may be suboptimal for certain individuals, leading to potential safety concerns. To address this, we first formalize the notion of individual harm from a counterfactual perspective and define harm as the event in which a chosen action results in a strictly worse outcome than a baseline alternative. We then propose a general two-stage procedure for learning policies that maximize the expected return while accounting for individual harm. We further establish the finite-sample properties of the learned policy, derive an upper bound on its sub-optimality gap, and show that the harm rate remains well-controlled. Numerical experiments on both simulated and real-world datasets demonstrate the effectiveness of the proposed approach.
• Abstract（参考訳）: 強化学習アルゴリズムは一般に、人口間で期待されるリターンを最大化するように設計されている。 しかしながら、平均的に最適であるポリシーは、特定の個人に最適でないため、潜在的な安全上の懸念をもたらす可能性がある。 この問題に対処するために、まず、対実的な観点から個人的害の概念を定式化し、選択された行動がベースラインの代替よりも厳格に悪い結果をもたらす事象として害を定義する。 次に,個別の害を考慮に入れながら,期待した利益を最大化する2段階の学習手順を提案する。 さらに、学習されたポリシーの有限サンプル特性を確立し、その準最適ギャップの上限を導出し、調和率がよく制御されていることを示す。 シミュレーションと実世界の両方のデータセットに関する数値実験により,提案手法の有効性が示された。

関連論文リスト

• Efficient and Sharp Off-Policy Learning under Unobserved Confounding [25.068617118126824]
  本研究では,未観測のコンファウンディングを伴うシナリオにおいて,個人化された非政治学習のための新しい手法を開発する。 本手法は,未観測のコンバウンディングが問題となるような意思決定に極めて有用である。
  論文  参考訳（メタデータ） (2025-02-18T16:42:24Z)
• Optimal Policy Adaptation under Covariate Shift [15.703626346971182]
  目的領域における最適ポリシーを2つのデータセットを用いて学習するための原則的アプローチを提案する。 我々は、所定の政策によって引き起こされた報酬に対する識別可能性の仮定を導出する。 そして、推定報酬を最適化することで最適な政策を学ぶ。
  論文  参考訳（メタデータ） (2025-01-14T12:33:02Z)
• Importance-Weighted Offline Learning Done Right [16.4989952150404]
  文脈的帯域幅問題におけるオフラインポリシー最適化の問題について検討する。 目標は、準最適行動ポリシーによって収集された決定データのデータセットに基づいて、ほぼ最適ポリシーを学ぶことである。 我々は、citet2015の「単純探索」推定に基づく単純な代替手法が、過去の全ての結果よりもほぼ全ての可能な条件で優れた性能保証を与えることを示した。
  論文  参考訳（メタデータ） (2023-09-27T16:42:10Z)
• Provable Offline Preference-Based Reinforcement Learning [95.00042541409901]
  本研究では,PbRL(Preference-based Reinforcement Learning)の問題について,人間のフィードバックを用いて検討する。 我々は、報酬が軌道全体にわたって定義できる一般的な報酬設定について考察する。 我々は, 軌道毎の集中性によって上界に拘束できる新しい単極集中係数を導入する。
  論文  参考訳（メタデータ） (2023-05-24T07:11:26Z)
• Policy learning "without" overlap: Pessimism and generalized empirical Bernstein's inequality [94.89246810243053]
  本論文は,事前収集した観測値を利用して最適な個別化決定規則を学習するオフライン政策学習について検討する。 既存の政策学習法は、一様重なりの仮定、すなわち、全ての個々の特性に対する全ての作用を探索する正当性は、境界を低くしなければならない。 我々は,点推定の代わりに低信頼度境界(LCB)を最適化する新しいアルゴリズムであるPPLを提案する。
  論文  参考訳（メタデータ） (2022-12-19T22:43:08Z)
• Risk-Sensitive Deep RL: Variance-Constrained Actor-Critic Provably Finds Globally Optimal Policy [95.98698822755227]
  本研究は,リスクに敏感な深層強化学習を,分散リスク基準による平均報酬条件下で研究する試みである。 本稿では,ポリシー,ラグランジュ乗算器,フェンシェル双対変数を反復的かつ効率的に更新するアクタ批判アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-28T05:02:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。