論文の概要: A Distribution Mapping Approach to Counterfactually Fair Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2608.08743v1
• Date: Sun, 09 Aug 2026 14:42:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.938498
• Title: A Distribution Mapping Approach to Counterfactually Fair Reinforcement Learning
• Title（参考訳）: 対実的公正な強化学習のための分布マッピング手法
• Abstract要約: 強化学習(Reinforcement Learning, RL)は、人口レベルのメリットを時間とともに最大化するために、シーケンシャルな決定を最適化することを目指している。 カウンターファクトフェアネス(CF)は因果推論に基づいてこの問題に対処するための有望なフレームワークを提供する。 本稿では、ポリシー学習と組み合わせて使用した場合、RLにおけるCFを可能にするデータ前処理アルゴリズムを開発する。
• 参考スコア（独自算出の注目度）: 13.577985538159155
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning (RL) seeks to optimize sequential decisions to maximize population-level benefits over time. However, when deployed in high-stakes settings such as healthcare, RL decisions might systematically restrict some subpopulation's access to valuable services in a manner contrary to the values and goals of stakeholders. Counterfactual fairness (CF) offers a promising framework to address this problem based on causal reasoning. This paper develops a data preprocessing algorithm that, when used in tandem with policy learning, enables CF in RL. Our algorithm relies on a novel quantile distribution mapping method for sequentially estimating the counterfactual states and rewards in the data preprocessing step, subsuming common additivity assumptions used for counterfactual prediction as a special case. We theoretically prove that the per-step level of counterfactual unfairness and infinite-horizon suboptimality gap can be bounded under mild regularity conditions. We also empirically test our algorithm in numerical experiments as well as in application to a real-world interventional digital health dataset.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、人口レベルのメリットを時間とともに最大化するために、シーケンシャルな決定を最適化することを目指している。 しかし、医療などの高額な環境に配備された場合、RLの決定は利害関係者の価値観や目標に反して、一部のサブ人口が価値あるサービスにアクセスすることを体系的に制限する可能性がある。 カウンターファクトフェアネス(CF)は因果推論に基づいてこの問題に対処するための有望なフレームワークを提供する。 本稿では、ポリシー学習と組み合わせて使用した場合、RLにおけるCFを可能にするデータ前処理アルゴリズムを開発する。 提案アルゴリズムは,データ前処理ステップにおける反ファクト状態と報酬を逐次推定する新しい量分布マッピング法に依存し,特に反ファクト的予測に使用される一般的な付加性仮定を仮定する。 理論的には、対実不公平性と無限水平準最適ギャップのステップあたりのレベルは、穏やかな規則性条件下では有界であることが証明される。 また,我々のアルゴリズムを数値実験で実証的に検証し,実際の介入型デジタルヘルスデータセットに適用する。

関連論文リスト

• Data-dependent Exploration for Online Reinforcement Learning from Human Feedback [50.34161049551627]
  人的フィードバックからのオンライン強化学習(RLHF)は、トレーニング中に新たな嗜好フィードバックを継続的に収集することにより、大規模言語モデル(LLM)を整合させるための有望なパラダイムとして登場した。 既存の調査戦略は、しばしば政治上の期待を通じてボーナスを導き出すが、これは訓練中に利用できる限られた歴史的嗜好データから確実に見積もることが難しい。 高不確実性領域に対する余分な不確実性ボーナスを構築するために、履歴データを活用するシンプルでスケーラブルなデータ依存型選好最適化法(DEPO)を提案する。
  論文  参考訳（メタデータ） (2026-05-06T03:56:45Z)
• Empirical Likelihood-Based Fairness Auditing: Distribution-Free Certification and Flagging [18.71249153088185]
  リシビズム予測や人事自動選択といった高度な応用における機械学習モデルは、しばしば体系的な性能格差を示す。 本稿では,モデル性能の相違に対する頑健な統計的尺度を構築するための実験的可能性ベース(EL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-28T05:36:19Z)
• Bayesian Neural Scaling Law Extrapolation with Prior-Data Fitted Networks [100.13335639780415]
  スケーリング法則は、しばしばパワーローに従っており、より大きなスケールでのスケーリングの振る舞いを予測するために、パワーロー関数のいくつかの変種を提案した。 既存の手法は主に点推定に依存しており、現実のアプリケーションにとって欠かせない不確実性を定量化しない。 本研究では,ニューラルスケーリング法外挿のためのPFNに基づくベイズフレームワークについて検討する。
  論文  参考訳（メタデータ） (2025-05-29T03:19:17Z)
• Counterfactually Fair Reinforcement Learning via Sequential Data Preprocessing [13.34215548232296]
  対実公正(CF)は、因果推論に基づく有望な統計ツールであり、公正を定式化し研究する。 我々は,最適なCFポリシーを理論的に特徴づけ,その定常性を証明し,最適なCFポリシーの探索を大幅に単純化する。 我々は、不公平を防ぎ、シミュレーションを通じて最適な価値を得るための政策学習アプローチを証明し、検証する。
  論文  参考訳（メタデータ） (2025-01-10T22:27:44Z)
• Preference-Based Multi-Agent Reinforcement Learning: Data Coverage and Algorithmic Techniques [65.55451717632317]
  PbMARL(Preference-based Multi-Agent Reinforcement Learning)について検討する。 一般ゲームにおける嗜好のみのオフラインデータセットからナッシュ平衡を同定する。 以上の結果から,PbMARLの多面的アプローチが示唆された。
  論文  参考訳（メタデータ） (2024-09-01T13:14:41Z)
• Conformal Validity Guarantees Exist for Any Data Distribution (and How to Find Them) [14.396431159723297]
  理論上,共形予測はテキスト共同データ分布に拡張可能であることを示す。 最も一般的なケースは計算に実用的でないが、具体的には特定の共形アルゴリズムを導出するための手順を概説する。
  論文  参考訳（メタデータ） (2024-05-10T17:40:24Z)
• Pessimistic Causal Reinforcement Learning with Mediators for Confounded Offline Data [17.991833729722288]
  我々は新しいポリシー学習アルゴリズム PESsimistic CAusal Learning (PESCAL) を提案する。 我々のキーとなる観察は、システム力学における作用の効果を媒介する補助変数を組み込むことで、Q-関数の代わりに媒介物分布関数の下位境界を学習することは十分であるということである。 提案するアルゴリズムの理論的保証とシミュレーションによる有効性の実証、および主要な配車プラットフォームからのオフラインデータセットを利用した実世界の実験を提供する。
  論文  参考訳（メタデータ） (2024-03-18T14:51:19Z)
• Offline Policy Optimization with Eligible Actions [34.4530766779594]
  オフラインポリシーの最適化は多くの現実世界の意思決定問題に大きな影響を与える可能性がある。 重要度サンプリングとその変種は、オフラインポリシー評価において一般的に使用されるタイプの推定器である。 そこで本稿では, 州ごとの正規化制約によって過度に適合することを避けるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-07-01T19:18:15Z)
• Federated Offline Reinforcement Learning [55.326673977320574]
  マルチサイトマルコフ決定プロセスモデルを提案する。 我々は,オフラインRLを対象とした最初のフェデレーション最適化アルゴリズムを設計する。 提案アルゴリズムでは,学習ポリシーの準最適性は,データが分散していないような速度に匹敵する,理論的保証を与える。
  論文  参考訳（メタデータ） (2022-06-11T18:03:26Z)
• False Correlation Reduction for Offline Reinforcement Learning [115.11954432080749]
  本稿では,実効的かつ理論的に証明可能なアルゴリズムであるオフラインRLに対するfalSe Correlation Reduction (SCORE)を提案する。 SCOREは、標準ベンチマーク(D4RL)において、様々なタスクにおいて3.1倍の高速化でSoTA性能を達成することを実証的に示す。
  論文  参考訳（メタデータ） (2021-10-24T15:34:03Z)
• Provably Good Batch Reinforcement Learning Without Great Exploration [51.51462608429621]
  バッチ強化学習(RL)は、RLアルゴリズムを多くの高利得タスクに適用するために重要である。 最近のアルゴリズムは将来性を示しているが、期待された結果に対して過度に楽観的である。 より保守的な更新を行うため、ベルマンの最適性と評価のバックアップに小さな修正を加えることで、はるかに強力な保証が得られることを示す。
  論文  参考訳（メタデータ） (2020-07-16T09:25:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。