論文の概要: Off-Policy Evaluation and Counterfactual Methods in Dynamic Auction Environments

• arxiv url: http://arxiv.org/abs/2501.05278v1
• Date: Thu, 09 Jan 2025 14:39:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-10 14:00:16.166670
• Title: Off-Policy Evaluation and Counterfactual Methods in Dynamic Auction Environments
• Title（参考訳）: 動的オークション環境におけるオフポリティ評価と対策
• Authors: Ritam Guha, Nilavra Pathak,
• Abstract要約: オフ・ポリティ・アセスメント(Off-Policy Evaluation)は、研究者がコストのかかる実験をせずに新しいポリシーを評価できるようにし、評価プロセスを高速化する。 A/Bテストのようなオンライン実験手法は有効であるが、しばしば遅いため、政策選択と最適化プロセスが遅れる。 A/B試験実施前の予備段階として, 対物推定器を活用することにより, 評価プロセスの合理化を目指す。
• 参考スコア（独自算出の注目度）: 0.6445605125467574
• License:
• Abstract: Counterfactual estimators are critical for learning and refining policies using logged data, a process known as Off-Policy Evaluation (OPE). OPE allows researchers to assess new policies without costly experiments, speeding up the evaluation process. Online experimental methods, such as A/B tests, are effective but often slow, thus delaying the policy selection and optimization process. In this work, we explore the application of OPE methods in the context of resource allocation in dynamic auction environments. Given the competitive nature of environments where rapid decision-making is crucial for gaining a competitive edge, the ability to quickly and accurately assess algorithmic performance is essential. By utilizing counterfactual estimators as a preliminary step before conducting A/B tests, we aim to streamline the evaluation process, reduce the time and resources required for experimentation, and enhance confidence in the chosen policies. Our investigation focuses on the feasibility and effectiveness of using these estimators to predict the outcomes of potential resource allocation strategies, evaluate their performance, and facilitate more informed decision-making in policy selection. Motivated by the outcomes of our initial study, we envision an advanced analytics system designed to seamlessly and dynamically assess new resource allocation strategies and policies.
• Abstract（参考訳）: 対実推定器は、オフ・ポリシィ・アセスメント(OPE)と呼ばれるプロセスであるログデータを用いてポリシーを学習し、精錬するために重要である。 OPEは、研究者がコストのかかる実験をせずに新しいポリシーを評価できるようにし、評価プロセスを高速化する。 A/Bテストのようなオンライン実験手法は有効であるが、しばしば遅いため、政策選択と最適化プロセスが遅れる。 本研究では,動的オークション環境における資源配分の文脈におけるOPE手法の適用について検討する。 急激な意思決定が競争力を得る上で不可欠である環境の競争性を考えると、アルゴリズムの性能を迅速かつ正確に評価する能力は不可欠である。 A/Bテスト実施前の予備的なステップとして対物推定器を活用することにより、評価プロセスの合理化、実験に必要な時間と資源の削減、選択された政策の信頼性の向上を目指す。 本研究は、資源配分戦略の結果を予測し、その性能を評価し、政策選択におけるより深い意思決定を促進するために、これらの推定装置の有効性と有効性に焦点を当てる。 本研究の成果に触発されて,新たな資源配分戦略と政策をシームレスかつ動的に評価する高度分析システムを提案する。

関連論文リスト

• OPERA: Automatic Offline Policy Evaluation with Re-weighted Aggregates of Multiple Estimators [13.408838970377035]
  オフライン政策評価(OPE)により、新たなシーケンシャルな意思決定方針のパフォーマンスを評価し、見積もることができる。 統計的手法を用いた明示的な選択に頼ることなく,データセットに与えられたOPE推定器の集合を適応的にブレンドするアルゴリズムを提案する。 我々の研究は、オフラインRLのための汎用的、推定対象に依存しない、非政治評価フレームワークの使いやすさの向上に寄与する。
  論文  参考訳（メタデータ） (2024-05-27T23:51:20Z)
• Logarithmic Smoothing for Pessimistic Off-Policy Evaluation, Selection and Learning [7.085987593010675]
  本研究は,文脈的包帯問題のオフライン定式化について検討する。 目標は、行動ポリシーの下で収集された過去のインタラクションを活用して、新しい、より優れたパフォーマンスのポリシーを評価し、選択し、学習することである。 重要度重み付けリスク推定器の幅広いクラスに対して,新しい完全経験的濃度境界を導入する。
  論文  参考訳（メタデータ） (2024-05-23T09:07:27Z)
• Towards Assessing and Benchmarking Risk-Return Tradeoff of Off-Policy Evaluation [17.319113169622806]
  Off-Policy Evaluation (OPE) は、オフラインログデータのみを使用して、反ファクトポリシーの有効性を評価することを目的としている。 OPE推定器の既存の評価指標は、主にOPEの「正確性」や下流政策の選択に焦点を当てている。 我々は、OPE推定器によって形成される政策ポートフォリオのリスク・リターントレードオフを測定するSharpeRatio@kと呼ばれる新しい指標を開発する。
  論文  参考訳（メタデータ） (2023-11-30T02:56:49Z)
• IOB: Integrating Optimization Transfer and Behavior Transfer for Multi-Policy Reuse [50.90781542323258]
  強化学習(RL)エージェントは、ソースポリシーからの知識を関連する目標タスクに転送することができる。 従来手法では,階層的なポリシやソースポリシの値関数の見積など,新たなコンポーネントが導入されていた。 本稿では,余分なコンポーネントを訓練せずにソースポリシーを選択する新しい転送RL法を提案する。
  論文  参考訳（メタデータ） (2023-08-14T09:22:35Z)
• On the Value of Myopic Behavior in Policy Reuse [67.37788288093299]
  未知のシナリオで学習戦略を活用することは、人間の知性の基本である。 本稿では,Selectivemyopic bEhavior Control(SMEC)というフレームワークを提案する。 SMECは、事前ポリシーの共有可能な短期的行動とタスクポリシーの長期的行動を適応的に集約し、協調的な決定につながる。
  論文  参考訳（メタデータ） (2023-05-28T03:59:37Z)
• Improved Policy Evaluation for Randomized Trials of Algorithmic Resource Allocation [54.72195809248172]
  提案する新しい概念を応用した新しい推定器を提案する。 我々は,このような推定器が,サンプル手段に基づく一般的な推定器よりも精度が高いことを理論的に証明した。
  論文  参考訳（メタデータ） (2023-02-06T05:17:22Z)
• A Deep Reinforcement Learning Approach to Marginalized Importance Sampling with the Successor Representation [61.740187363451746]
  マージナライズド・プライバシ・サンプリング(MIS)は、ターゲットポリシーのステートアクション占有率とサンプリング分布の密度比を測定する。 我々は,MISと深層強化学習のギャップを,目標方針の後継表現から密度比を計算することによって埋める。 我々は,Atari環境とMuJoCo環境に対するアプローチの実証的性能を評価した。
  論文  参考訳（メタデータ） (2021-06-12T20:21:38Z)
• Reliable Off-policy Evaluation for Reinforcement Learning [53.486680020852724]
  シーケンシャルな意思決定問題において、非政治評価は、目標政策の期待累積報酬を推定する。 本稿では、1つまたは複数のログデータを用いて、ロバストで楽観的な累積報酬推定を提供する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-11-08T23:16:19Z)
• Adaptive Estimator Selection for Off-Policy Evaluation [48.66170976187225]
  オフポリシー評価設定における推定器選択のための汎用的データ駆動手法を開発した。 また,本手法の性能保証を確立し,オラクル推定器と競合することを示す。
  論文  参考訳（メタデータ） (2020-02-18T16:57:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。