論文の概要: Online Policy Learning and Inference by Matrix Completion

• arxiv url: http://arxiv.org/abs/2404.17398v2
• Date: Thu, 19 Dec 2024 02:45:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-20 13:28:34.897717
• Title: Online Policy Learning and Inference by Matrix Completion
• Title（参考訳）: 行列補完によるオンライン政策学習と推論
• Authors: Congyuan Duan, Jingyang Li, Dong Xia,
• Abstract要約: 我々は、集団的嗜好に基づく意思決定のための協調フィルタリングアプローチを採っている。 本稿では,意思決定のための$varepsilon$-greedyポリシーと,帯域パラメータ推定のためのオンライン降下アルゴリズムを組み合わせた政策学習手法を提案する。 推論のために,逆ポリシー重み付けに基づくオンラインデバイアス法を開発し,その正規性を確立する。
• 参考スコア（独自算出の注目度）: 12.527541242185404
• License:
• Abstract: Is it possible to make online decisions when personalized covariates are unavailable? We take a collaborative-filtering approach for decision-making based on collective preferences. By assuming low-dimensional latent features, we formulate the covariate-free decision-making problem as a matrix completion bandit. We propose a policy learning procedure that combines an $\varepsilon$-greedy policy for decision-making with an online gradient descent algorithm for bandit parameter estimation. Our novel two-phase design balances policy learning accuracy and regret performance. For policy inference, we develop an online debiasing method based on inverse propensity weighting and establish its asymptotic normality. Our methods are applied to data from the San Francisco parking pricing project, revealing intriguing discoveries and outperforming the benchmark policy.
• Abstract（参考訳）: パーソナライズされた共変体が利用できない場合、オンライン決定は可能か? 我々は、集団的嗜好に基づく意思決定のための協調フィルタリングアプローチを採っている。 低次元潜在特徴を仮定することにより、共変量自由決定問題を行列完備帯域として定式化する。 本稿では,意思決定のための$\varepsilon$-greedyポリシーと,帯域パラメータ推定のためのオンライン勾配降下アルゴリズムを組み合わせた政策学習手法を提案する。 我々の新しい二相設計は、ポリシー学習の精度と後悔する性能のバランスをとる。 政策推論のために,逆確率重み付けに基づくオンラインデバイアス法を開発し,その漸近正規性を確立する。 当社の手法は,サンフランシスコの駐車料金プロジェクトから得られたデータに適用され,興味深い発見とベンチマークポリシーを上回ります。

関連論文リスト

• Optimal Baseline Corrections for Off-Policy Contextual Bandits [61.740094604552475]
  オンライン報酬指標の偏りのないオフライン推定を最適化する意思決定ポリシーを学習することを目指している。 学習シナリオにおける同値性に基づく単一のフレームワークを提案する。 我々のフレームワークは、分散最適非バイアス推定器の特徴付けを可能にし、それに対する閉形式解を提供する。
  論文  参考訳（メタデータ） (2024-05-09T12:52:22Z)
• High-probability sample complexities for policy evaluation with linear function approximation [88.87036653258977]
  本研究では,2つの広く利用されている政策評価アルゴリズムに対して,最適線形係数の予め定義された推定誤差を保証するために必要なサンプル複素量について検討する。 高確率収束保証に縛られた最初のサンプル複雑性を確立し、許容レベルへの最適依存を実現する。
  論文  参考訳（メタデータ） (2023-05-30T12:58:39Z)
• Efficient Policy Evaluation with Offline Data Informed Behavior Policy Design [18.326126953667842]
  オンラインモンテカルロ推定器のデータ効率を向上させる新しい手法を提案する。 まず,オンラインモンテカルロ推定器のばらつきを確実に低減する閉形式行動ポリシーを提案する。 次に、以前に収集したオフラインデータから、このクローズドフォームの動作ポリシーを学習するための効率的なアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2023-01-31T16:12:31Z)
• Policy Gradient for Rectangular Robust Markov Decision Processes [62.397882389472564]
  我々は,長方形ロバストなマルコフ決定過程(MDP)を効率的に解く政策ベース手法であるロバストなポリシー勾配(RPG)を導入する。 結果のRPGは、非ロバストな等価値と同じ時間のデータから推定することができる。
  論文  参考訳（メタデータ） (2023-01-31T12:40:50Z)
• Randomized Policy Optimization for Optimal Stopping [0.0]
  本稿では,ランダム化線形ポリシーに基づく最適停止手法を提案する。 提案手法は最先端手法を著しく上回り得ることを示す。
  論文  参考訳（メタデータ） (2022-03-25T04:33:15Z)
• Off-Policy Evaluation with Policy-Dependent Optimization Response [90.28758112893054]
  我々は,テキスト政治に依存した線形最適化応答を用いた非政治評価のための新しいフレームワークを開発した。 摂動法による政策依存推定のための非バイアス推定器を構築する。 因果介入を最適化するための一般的なアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2022-02-25T20:25:37Z)
• Identification of Subgroups With Similar Benefits in Off-Policy Policy Evaluation [60.71312668265873]
  我々は,パーソナライズの必要性と自信ある予測とのバランスをとる方法を開発した。 本手法は不均一な治療効果の正確な予測に有効であることを示す。
  論文  参考訳（メタデータ） (2021-11-28T23:19:12Z)
• A Reinforcement Learning Approach to the Stochastic Cutting Stock Problem [0.0]
  本稿では,削減された無限水平決定プロセスとして,カットストック問題の定式化を提案する。 最適解は、各状態と決定を関連付け、期待される総コストを最小化するポリシーに対応する。
  論文  参考訳（メタデータ） (2021-09-20T14:47:54Z)
• Off-Policy Evaluation of Bandit Algorithm from Dependent Samples under Batch Update Policy [8.807587076209566]
  オフ・ポリティクス評価(OPE)の目的は、行動政策を通じて得られた履歴データを用いて、新しい政策を評価することである。 文脈的帯域幅は過去の観測に基づいてポリシーを更新するため、サンプルは独立ではなく、同一に分布する。 本稿では,従属サンプルに対するマーチンゲール差分列(MDS)から推定器を構築することにより,この問題に対処する。
  論文  参考訳（メタデータ） (2020-10-23T15:22:57Z)
• Statistical Inference for Online Decision Making via Stochastic Gradient Descent [31.103438051597887]
  我々は、決定を下し、決定ルールをオンラインで更新するオンラインアルゴリズムを提案する。 効率的だけでなく、あらゆる種類のパラメトリック報酬モデルもサポートしている。 提案アルゴリズムと理論的結果は,ニュース記事レコメンデーションへのシミュレーションおよび実データ応用によって検証される。
  論文  参考訳（メタデータ） (2020-10-14T18:25:18Z)
• Doubly Robust Off-Policy Value and Gradient Estimation for Deterministic Policies [80.42316902296832]
  本研究では,行動継続時の非政治データから決定論的政策の政策値と勾配を推定する。 この設定では、密度比が存在しないため、標準重要度サンプリングとポリシー値と勾配の2倍の頑健な推定が失敗する。 異なるカーネル化アプローチに基づく2つの新しい頑健な推定器を提案する。
  論文  参考訳（メタデータ） (2020-06-06T15:52:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。