論文の概要: Group-Sensitive Offline Contextual Bandits

• arxiv url: http://arxiv.org/abs/2510.27123v1
• Date: Fri, 31 Oct 2025 02:55:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-03 19:57:09.740385
• Title: Group-Sensitive Offline Contextual Bandits
• Title（参考訳）: グループ感性オフライン帯域
• Authors: Yihong Guo, Junjie Luo, Guodong Gao, Ritu Agarwal, Anqi Liu,
• Abstract要約: オフラインのコンテキスト帯は、オンラインインタラクションを必要とせずに、歴史的な/オフラインデータからポリシーを学ぶことができる。 一部のグループは、学習した方針の恩恵を受け、公平性への懸念を高めます。 オフラインの文脈的包帯におけるグループ感性公正性制約について検討し,グループ感性報酬格差を低減した。
• 参考スコア（独自算出の注目度）: 14.94229258597513
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Offline contextual bandits allow one to learn policies from historical/offline data without requiring online interaction. However, offline policy optimization that maximizes overall expected rewards can unintentionally amplify the reward disparities across groups. As a result, some groups might benefit more than others from the learned policy, raising concerns about fairness, especially when the resources are limited. In this paper, we study a group-sensitive fairness constraint in offline contextual bandits, reducing group-wise reward disparities that may arise during policy learning. We tackle the following common-parity requirements: the reward disparity is constrained within some user-defined threshold or the reward disparity should be minimized during policy optimization. We propose a constrained offline policy optimization framework by introducing group-wise reward disparity constraints into an off-policy gradient-based optimization procedure. To improve the estimation of the group-wise reward disparity during training, we employ a doubly robust estimator and further provide a convergence guarantee for policy optimization. Empirical results in synthetic and real-world datasets demonstrate that our method effectively reduces reward disparities while maintaining competitive overall performance.
• Abstract（参考訳）: オフラインのコンテキスト帯は、オンラインインタラクションを必要とせずに、履歴やオフラインのデータからポリシーを学ぶことができる。 しかしながら、全体的な期待される報酬を最大化するオフラインポリシー最適化は、グループ間の報酬格差を意図せずに増幅することができる。 その結果、一部のグループは学習方針の恩恵を受け、特に資源が限られている場合、公平性への懸念を提起する。 本稿では、オフラインの文脈的帯域におけるグループ感性公正性制約について検討し、ポリシー学習中に生じるグループ感性報酬格差を低減させる。 報酬格差は、あるユーザ定義のしきい値内で制限されるか、あるいはポリシー最適化中に報酬格差を最小化すべきである。 本稿では,集団的報酬格差制約を非政治的勾配に基づく最適化手法に導入することで,制約付きオフラインポリシー最適化フレームワークを提案する。 トレーニング中のグループワイド報酬格差の推定を改善するために,2倍頑健な評価器を用い,さらに政策最適化のための収束保証を提供する。 合成および実世界のデータセットにおける実験結果から,本手法は,競争全体の性能を維持しつつ,報酬格差を効果的に低減することを示した。

関連論文リスト

• A2PO: Towards Effective Offline Reinforcement Learning from an Advantage-aware Perspective [29.977702744504466]
  本稿では,オフライン学習におけるアドバンテージ・アウェア政策最適化(A2PO)手法を提案する。 A2POは条件付き変分自動エンコーダを用いて、絡み合った行動ポリシーの動作分布をアンタングルする。 D4RLベンチマークの単一品質データセットと混合品質データセットの両方で実施された実験では、A2POがA2POよりも優れた結果が得られることが示された。
  論文  参考訳（メタデータ） (2024-03-12T02:43:41Z)
• Goal-conditioned Offline Reinforcement Learning through State Space Partitioning [9.38848713730931]
  オフライン強化学習(RL)は、オフラインデータセットのみを使用してシーケンシャルな決定ポリシーを推論することを目的としている。 我々は,その利点にもかかわらず,分散シフトやマルチモダリティ問題を完全に解決するには,このアプローチは依然として不十分である,と論じる。 本稿では,帰納的バイアスの新たな源となる相補的優位性に基づく重み付け手法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T14:52:53Z)
• Trust-Region-Free Policy Optimization for Stochastic Policies [60.52463923712565]
  本研究では,政策に対する信頼領域の制約が,基礎となるモノトニック改善の保証を損なうことなく,信頼領域のない制約によって安全に置き換えられることを示す。 我々は,TREFree(Trust-Region-Free Policy Optimization)と呼ばれるアルゴリズムを,信頼領域の制約が不要であるとして明示する。
  論文  参考訳（メタデータ） (2023-02-15T23:10:06Z)
• COptiDICE: Offline Constrained Reinforcement Learning via Stationary Distribution Correction Estimation [73.17078343706909]
  オフラインの制約付き強化学習(RL)問題。エージェントは、所定のコスト制約を満たしながら期待されるリターンを最大化するポリシーを計算し、事前に収集されたデータセットからのみ学習する。 定常分布空間におけるポリシーを最適化するオフライン制約付きRLアルゴリズムを提案する。 我々のアルゴリズムであるCOptiDICEは、コスト上限を制約しながら、利益に対する最適政策の定常分布補正を直接見積もる。
  論文  参考訳（メタデータ） (2022-04-19T15:55:47Z)
• Latent-Variable Advantage-Weighted Policy Optimization for Offline RL [70.01851346635637]
  オフラインの強化学習メソッドは、新しいトランジションを環境に問い合わせる必要なしに、事前にコンパイルされたデータセットから学習ポリシーを保証します。 実際には、オフラインデータセットは、しばしば異種、すなわち様々なシナリオで収集される。 より広範な政策分布を表現できる潜在変数ポリシーを活用することを提案する。 提案手法は,次回のオフライン強化学習法の性能を,異種データセット上で49%向上させる。
  論文  参考訳（メタデータ） (2022-03-16T21:17:03Z)
• False Correlation Reduction for Offline Reinforcement Learning [115.11954432080749]
  本稿では,実効的かつ理論的に証明可能なアルゴリズムであるオフラインRLに対するfalSe Correlation Reduction (SCORE)を提案する。 SCOREは、標準ベンチマーク(D4RL)において、様々なタスクにおいて3.1倍の高速化でSoTA性能を達成することを実証的に示す。
  論文  参考訳（メタデータ） (2021-10-24T15:34:03Z)
• Off-policy Reinforcement Learning with Optimistic Exploration and Distribution Correction [73.77593805292194]
  我々は、政治以外のアクター批判的枠組みにおいて、批評家のほぼ上位信頼度を最大化するために、別の調査政策を訓練する。 最近導入されたDICEフレームワークを応用して、非政治アクター犯罪訓練のための分布補正比を学習する。
  論文  参考訳（メタデータ） (2021-10-22T22:07:51Z)
• Non-Stationary Off-Policy Optimization [50.41335279896062]
  本研究では,時間的空間的帯域幅の非政治最適化の新たな課題について検討する。 オフライン学習フェーズでは、ログ化されたデータをカテゴリの潜在状態に分割し、各状態に対してほぼ最適のサブポリシーを学ぶ。 オンラインデプロイメントの段階では、学習したサブ政治をそのパフォーマンスに基づいて順応的に切り替える。
  論文  参考訳（メタデータ） (2020-06-15T09:16:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。