論文の概要: Online Policy Learning and Inference by Matrix Completion

• arxiv url: http://arxiv.org/abs/2404.17398v2
• Date: Thu, 19 Dec 2024 02:45:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-20 13:28:34.897717
• Title: Online Policy Learning and Inference by Matrix Completion
• Title（参考訳）: 行列補完によるオンライン政策学習と推論
• Authors: Congyuan Duan, Jingyang Li, Dong Xia,
• Abstract要約: 我々は、集団的嗜好に基づく意思決定のための協調フィルタリングアプローチを採っている。 本稿では,意思決定のための$varepsilon$-greedyポリシーと,帯域パラメータ推定のためのオンライン降下アルゴリズムを組み合わせた政策学習手法を提案する。 推論のために,逆ポリシー重み付けに基づくオンラインデバイアス法を開発し,その正規性を確立する。
• 参考スコア（独自算出の注目度）: 12.527541242185404
• License:
• Abstract: Is it possible to make online decisions when personalized covariates are unavailable? We take a collaborative-filtering approach for decision-making based on collective preferences. By assuming low-dimensional latent features, we formulate the covariate-free decision-making problem as a matrix completion bandit. We propose a policy learning procedure that combines an $\varepsilon$-greedy policy for decision-making with an online gradient descent algorithm for bandit parameter estimation. Our novel two-phase design balances policy learning accuracy and regret performance. For policy inference, we develop an online debiasing method based on inverse propensity weighting and establish its asymptotic normality. Our methods are applied to data from the San Francisco parking pricing project, revealing intriguing discoveries and outperforming the benchmark policy.
• Abstract（参考訳）: パーソナライズされた共変体が利用できない場合、オンライン決定は可能か? 我々は、集団的嗜好に基づく意思決定のための協調フィルタリングアプローチを採っている。 低次元潜在特徴を仮定することにより、共変量自由決定問題を行列完備帯域として定式化する。 本稿では,意思決定のための$\varepsilon$-greedyポリシーと,帯域パラメータ推定のためのオンライン勾配降下アルゴリズムを組み合わせた政策学習手法を提案する。 我々の新しい二相設計は、ポリシー学習の精度と後悔する性能のバランスをとる。 政策推論のために,逆確率重み付けに基づくオンラインデバイアス法を開発し,その漸近正規性を確立する。 当社の手法は,サンフランシスコの駐車料金プロジェクトから得られたデータに適用され,興味深い発見とベンチマークポリシーを上回ります。

関連論文リスト

• Learning Optimal Deterministic Policies with Stochastic Policy Gradients [62.81324245896716]
  政策勾配法(PG法)は連続強化学習(RL法)問題に対処する手法として成功している。 一般的には、収束(ハイパー)政治は、決定論的バージョンをデプロイするためにのみ学習される。 本稿では,サンプルの複雑性とデプロイされた決定論的ポリシのパフォーマンスのトレードオフを最適化するために,学習に使用する探索レベルの調整方法を示す。
  論文  参考訳（メタデータ） (2024-05-03T16:45:15Z)
• An Online Gradient-Based Caching Policy with Logarithmic Complexity and Regret Guarantees [13.844896723580858]
  我々は、対数計算の複雑さを突破するグラデーションベースのオンラインキャッシュポリシーを新たに導入する。 この進歩により、何百万ものリクエストやアイテムを伴って、大規模で現実世界のトレース上でポリシーをテストすることができます。
  論文  参考訳（メタデータ） (2024-05-02T13:11:53Z)
• When is Agnostic Reinforcement Learning Statistically Tractable? [76.1408672715773]
  エンフスパンニング容量と呼ばれる新しい複雑性測度は、設定された$Pi$にのみ依存し、MDPダイナミクスとは独立である。 我々は、学習するためにスーパーポリノミカルな数のサンプルを必要とする制限付きスパンリング能力を持つポリシークラス$Pi$が存在することを示した。 これにより、生成的アクセスとオンラインアクセスモデルの間の学習可能性の驚くほどの分離が明らかになる。
  論文  参考訳（メタデータ） (2023-10-09T19:40:54Z)
• Efficient Policy Evaluation with Offline Data Informed Behavior Policy Design [18.326126953667842]
  オンラインモンテカルロ推定器のデータ効率を向上させる新しい手法を提案する。 まず,オンラインモンテカルロ推定器のばらつきを確実に低減する閉形式行動ポリシーを提案する。 次に、以前に収集したオフラインデータから、このクローズドフォームの動作ポリシーを学習するための効率的なアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2023-01-31T16:12:31Z)
• Policy learning "without" overlap: Pessimism and generalized empirical Bernstein's inequality [94.89246810243053]
  本論文は,事前収集した観測値を利用して最適な個別化決定規則を学習するオフライン政策学習について検討する。 既存の政策学習法は、一様重なりの仮定、すなわち、全ての個々の特性に対する全ての作用を探索する正当性は、境界を低くしなければならない。 我々は,点推定の代わりに低信頼度境界(LCB)を最適化する新しいアルゴリズムであるPPLを提案する。
  論文  参考訳（メタデータ） (2022-12-19T22:43:08Z)
• Offline Policy Evaluation and Optimization under Confounding [35.778917456294046]
  構築されたMDPのオフライン政策評価の状況について概説する。 一貫性のある値推定が達成不可能な設定を特徴付ける。 オフライン政策改善のための新しいアルゴリズムを提案し、局所収束保証を証明する。
  論文  参考訳（メタデータ） (2022-11-29T20:45:08Z)
• Model-based Safe Deep Reinforcement Learning via a Constrained Proximal Policy Optimization Algorithm [4.128216503196621]
  オンライン方式で環境の遷移動態を学習する,オンライン型モデルに基づくセーフディープRLアルゴリズムを提案する。 我々は,本アルゴリズムがより標本効率が高く,制約付きモデルフリーアプローチと比較して累積的ハザード違反が低いことを示す。
  論文  参考訳（メタデータ） (2022-10-14T06:53:02Z)
• Offline Stochastic Shortest Path: Learning, Evaluation and Towards Optimality [57.91411772725183]
  本稿では,状態空間と動作空間が有限である場合のオフライン最短経路問題について考察する。 オフラインポリシ評価(OPE)とオフラインポリシ学習タスクの両方を扱うための,シンプルな値ベースアルゴリズムを設計する。 これらの単純なアルゴリズムの解析は、極小値に近い最悪のケース境界を示唆する強いインスタンス依存境界をもたらす。
  論文  参考訳（メタデータ） (2022-06-10T07:44:56Z)
• Combining Online Learning and Offline Learning for Contextual Bandits with Deficient Support [53.11601029040302]
  現在のオフライン政治学習アルゴリズムは、主に逆確率スコア(IPS)重み付けに基づいている。 オフライン学習とオンライン探索を組み合わせた新しい手法を提案する。 提案手法は,最小限のオンライン探索数を用いて理論的保証を伴う最適政策を決定する。
  論文  参考訳（メタデータ） (2021-07-24T05:07:43Z)
• Toward Optimal Adversarial Policies in the Multiplicative Learning System with a Malicious Expert [87.12201611818698]
  専門家のアドバイスを組み合わせて真の結果を予測する学習システムについて考察する。 専門家の一人が悪意があり、システムに最大損失を課すことを目指していると推測されている。 誤予測を常に報告する単純な欲求ポリシーは、近似比が1+O(sqrtfracln NN)$で最適であることを示す。 悪意のある専門家がその判断を適応的に行うことができるオンライン環境では、最適のオンラインポリシーを$O(N3)$で動的プログラムを解くことで効率的に計算できることが示される。
  論文  参考訳（メタデータ） (2020-01-02T18:04:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。