論文の概要: Cross-Domain Off-Policy Evaluation and Learning for Contextual Bandits

• arxiv url: http://arxiv.org/abs/2607.22012v1
• Date: Fri, 24 Jul 2026 06:17:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 20:58:57.058386
• Title: Cross-Domain Off-Policy Evaluation and Learning for Contextual Bandits
• Title（参考訳）: コンテキスト帯域のクロスドメインオフポリシー評価と学習
• Abstract要約: 文脈的帯域におけるオフ・ポリティ・アセスメント・アンド・ラーニング(OPE/L)は,現実のシステムにおいて急速に普及している。 OPE/Lの既存のメソッドは、少数ショットデータ、決定論的ロギングポリシー、新しいアクションなど、多くの困難なシナリオに対処できない。 我々は、対象ドメインからのログデータだけでなく、他のドメインから収集したログデータセットにもアクセス可能な、クロスドメインOPE/Lの新たな問題設定を提案する。
• 参考スコア（独自算出の注目度）: 17.993446186878188
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Off-Policy Evaluation and Learning (OPE/L) in contextual bandits is rapidly gaining popularity in real systems because new policies can be evaluated and learned securely using only historical logged data. However, existing methods in OPE/L cannot handle many challenging but prevalent scenarios such as few-shot data, deterministic logging policies, and new actions. In many applications, such as personalized medicine, content recommendations, education, and advertising, we need to evaluate and learn new policies in the presence of these challenges. Existing methods cannot evaluate and optimize effectively in these situations due to the notorious variance issue or limited exploration in the logged data. To enable OPE/L even under these unsolved challenges, we propose a new problem setup of Cross-Domain OPE/L, where we have access not only to the logged data from the target domain in which the new policy will be implemented but also to logged datasets collected from other domains. This novel formulation is widely applicable because we can often use historical data not only from the target hospital, country, device, or user segment but also from other hospitals, countries, devices, or segments. We develop a new estimator and policy gradient method to solve OPE/L by leveraging both target and source datasets, resulting in substantially enhanced OPE/L in the previously unsolved situations in our empirical evaluations.
• Abstract（参考訳）: 歴史的記録データのみを用いて新しいポリシーを評価・学習できるため,文脈的帯域におけるオフポリシー評価学習(OPE/L)が現実システムで急速に普及している。 しかし、OPE/Lの既存のメソッドは、少数ショットデータ、決定論的ロギングポリシー、新しいアクションなど、難しいが一般的なシナリオの多くを処理できない。 パーソナライズドメディカル、コンテンツレコメンデーション、教育、広告など、多くのアプリケーションにおいて、これらの課題の存在下で新しいポリシーを評価し、学習する必要がある。 既存の手法は、悪名高い分散問題やログデータの限られた探索のため、これらの状況において効果的に評価・最適化できない。 我々は,これらの未解決課題の下でもOPE/Lを有効にするために,新たなポリシを実装した対象ドメインからのログデータだけでなく,他のドメインから収集したデータセットにもアクセス可能なクロスドメインOPE/Lの新たな問題設定を提案する。 この新定式化は, 対象病院, 国, デバイス, ユーザセグメントだけでなく, 他の病院, 国, デバイス, セグメントからも, 歴史的データを利用することができるため, 広く適用可能である。 我々は,OPE/Lをターゲットとソースの両方のデータセットを利用して解くための新しい推定法とポリシー勾配法を開発し,実験的な評価において未解決の状況において,OPE/Lを大幅に向上させた。

関連論文リスト

• Data-dependent Exploration for Online Reinforcement Learning from Human Feedback [50.34161049551627]
  人的フィードバックからのオンライン強化学習(RLHF)は、トレーニング中に新たな嗜好フィードバックを継続的に収集することにより、大規模言語モデル(LLM)を整合させるための有望なパラダイムとして登場した。 既存の調査戦略は、しばしば政治上の期待を通じてボーナスを導き出すが、これは訓練中に利用できる限られた歴史的嗜好データから確実に見積もることが難しい。 高不確実性領域に対する余分な不確実性ボーナスを構築するために、履歴データを活用するシンプルでスケーラブルなデータ依存型選好最適化法(DEPO)を提案する。
  論文  参考訳（メタデータ） (2026-05-06T03:56:45Z)
• SNPL: Simultaneous Policy Learning and Evaluation for Safe Multi-Objective Policy Improvement [33.60500554561509]
  効果的なデジタル介入を設計するために、実験者はオフラインデータを用いて複数の目的をバランスさせる決定ポリシーを学ぶという課題に直面している。 信頼できるレコメンデーションを提供するためには、実験者は目標とガードレールの結果の望ましい変化を満たすポリシーを識別するだけでなく、これらのポリシーが引き起こす変化に関する確率的保証を提供する必要がある。 本稿では,これらの課題に対処するために,アルゴリズム安定性の概念を活用する新しいアプローチであるSNPL(Safe Noisy Policy Learning)を提案する。
  論文  参考訳（メタデータ） (2025-03-17T02:53:53Z)
• Predicting Long Term Sequential Policy Value Using Softer Surrogates [45.9831721774649]
  オフ政治政策評価は、異なる政策から収集された歴史的データを用いて、新しい政策の結果を推定する。 我々は,全地平線データの10%を観測した後のみ,政策値の正確な予測を行うことができることを示した。
  論文  参考訳（メタデータ） (2024-12-30T01:01:15Z)
• OPERA: Automatic Offline Policy Evaluation with Re-weighted Aggregates of Multiple Estimators [13.408838970377035]
  オフライン政策評価(OPE)により、新たなシーケンシャルな意思決定方針のパフォーマンスを評価し、見積もることができる。 統計的手法を用いた明示的な選択に頼ることなく,データセットに与えられたOPE推定器の集合を適応的にブレンドするアルゴリズムを提案する。 我々の研究は、オフラインRLのための汎用的、推定対象に依存しない、非政治評価フレームワークの使いやすさの向上に寄与する。
  論文  参考訳（メタデータ） (2024-05-27T23:51:20Z)
• When is Off-Policy Evaluation (Reward Modeling) Useful in Contextual Bandits? A Data-Centric Perspective [64.73162159837956]
  ログ化されたデータセットだけで仮説的ターゲットポリシーの価値を評価することは重要だが、難しい。 データ中心のフレームワークであるDataCOPEを提案する。 医療データセットを用いたログ化された文脈的帯域設定におけるDataCOPEの実証分析により、機械学習と人間の専門家ポリシーの両方を評価する能力が確認された。
  論文  参考訳（メタデータ） (2023-11-23T17:13:37Z)
• Conformal Off-Policy Evaluation in Markov Decision Processes [53.786439742572995]
  強化学習は、データから効率的な制御ポリシーを特定し評価することを目的としている。 この学習タスクのほとんどの方法は、Off-Policy Evaluation (OPE)と呼ばれ、正確さと確実性を保証するものではない。 本稿では,目標方針の真報を含む区間を所定の確信度で出力するコンフォーマル予測に基づく新しいOPE手法を提案する。
  論文  参考訳（メタデータ） (2023-04-05T16:45:11Z)
• Variance-Optimal Augmentation Logging for Counterfactual Evaluation in Contextual Bandits [25.153656462604268]
  オフラインのA/Bテストと反ファクトラーニングの手法は、検索システムやレコメンデーションシステムに急速に採用されている。 これらの手法で一般的に使用される対物推定器は、ログポリシが評価対象のポリシーと大きく異なる場合、大きなバイアスと大きなばらつきを持つ可能性がある。 本稿では,下流評価や学習問題の分散を最小限に抑えるロギングポリシーを構築するための,MVAL(Minimum Variance Augmentation Logging)を提案する。
  論文  参考訳（メタデータ） (2022-02-03T17:37:11Z)
• Active Offline Policy Selection [19.18251239758809]
  本稿では,ログデータの多いドメインにおけるポリシ選択の問題に対処するが,インタラクション予算が非常に制限されている。 ログデータのみを用いてポリシーの価値を評価するために、いくつかのオフ・ポリティクス・アセスメント(OPE)技術が提案されている。 本稿では、ログデータとオンラインインタラクションの制限を組み合わさって、最適なポリシーを識別する、新しい緊急オフラインポリシー選択問題の定式化を導入する。
  論文  参考訳（メタデータ） (2021-06-18T17:33:13Z)
• Benchmarks for Deep Off-Policy Evaluation [152.28569758144022]
  我々は,政策外の評価のベンチマークに使用できるポリシーの集合を提案する。 私たちのベンチマークの目標は、一連の原則から動機付けられた進歩の標準化された尺度を提供することです。 この領域における今後の研究を促進するために、当社のデータとコードに対するオープンソースアクセスを提供しています。
  論文  参考訳（メタデータ） (2021-03-30T18:09:33Z)
• MUSBO: Model-based Uncertainty Regularized and Sample Efficient Batch Optimization for Deployment Constrained Reinforcement Learning [108.79676336281211]
  データ収集とオンライン学習のための新しいポリシーの継続的展開はコスト非効率か非現実的かのどちらかである。 モデルベース不確実性正規化とサンプル効率的なバッチ最適化という新しいアルゴリズム学習フレームワークを提案する。 本フレームワークは,各デプロイメントの新規で高品質なサンプルを発見し,効率的なデータ収集を実現する。
  論文  参考訳（メタデータ） (2021-02-23T01:30:55Z)
• Confounding-Robust Policy Evaluation in Infinite-Horizon Reinforcement Learning [70.01650994156797]
  教育医療などのバッチ強化学習において、観察データからのシーケンシャルな意思決定方針のオフ・アセスメントが必要である。 我々は、ある政策の境界を推定するアプローチを開発する。 より凝縮したデータを集めることで、シャープな境界への収束を証明します。
  論文  参考訳（メタデータ） (2020-02-11T16:18:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。