論文の概要: Leveraging Offline Data in Linear Latent Bandits

• arxiv url: http://arxiv.org/abs/2405.17324v1
• Date: Mon, 27 May 2024 16:23:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-28 14:33:59.920144
• Title: Leveraging Offline Data in Linear Latent Bandits
• Title（参考訳）: 線形潜在帯域におけるオフラインデータの活用
• Authors: Chinmaya Kausik, Kevin Tan, Ambuj Tewari,
• Abstract要約: 我々は、$textitevery$ exchangeable and coherent stateless decision process is a latent bandit. 本稿では,この部分空間を短いオフライン軌道から保証付きで学習する方法を提案する。 LOCAL-UCBとProBALL-UCBの2つの方法を提案する。
• 参考スコア（独自算出の注目度）: 16.006405951752903
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sequential decision-making domains such as recommender systems, healthcare and education often have unobserved heterogeneity in the population that can be modeled using latent bandits $-$ a framework where an unobserved latent state determines the model for a trajectory. While the latent bandit framework is compelling, the extent of its generality is unclear. We first address this by establishing a de Finetti theorem for decision processes, and show that $\textit{every}$ exchangeable and coherent stateless decision process is a latent bandit. The latent bandit framework lends itself particularly well to online learning with offline datasets, a problem of growing interest in sequential decision-making. One can leverage offline latent bandit data to learn a complex model for each latent state, so that an agent can simply learn the latent state online to act optimally. We focus on a linear model for a latent bandit with $d_A$-dimensional actions, where the latent states lie in an unknown $d_K$-dimensional subspace for $d_K \ll d_A$. We present SOLD, a novel principled method to learn this subspace from short offline trajectories with guarantees. We then provide two methods to leverage this subspace online: LOCAL-UCB and ProBALL-UCB. We demonstrate that LOCAL-UCB enjoys $\tilde O(\min(d_A\sqrt{T}, d_K\sqrt{T}(1+\sqrt{d_AT/d_KN})))$ regret guarantees, where the effective dimension is lower when the size $N$ of the offline dataset is larger. ProBALL-UCB enjoys a slightly weaker guarantee, but is more practical and computationally efficient. Finally, we establish the efficacy of our methods using experiments on both synthetic data and real-life movie recommendation data from MovieLens.
• Abstract（参考訳）: 推薦システム、医療、教育といった一連の意思決定領域は、しばしば、非観測潜在状態が軌道のモデルを決定づける枠組みである、潜在帯域でモデル化できる人口の不均一性を持つ。 潜在バンディットフレームワークは説得力があるが、その一般化の程度は不明確である。 まず、決定過程に対するデ・フィネッティの定理を定め、$\textit{every}$交換可能でコヒーレントなステートレスな決定過程が遅延バンディットであることを示す。 遅延バンディットフレームワークは、シーケンシャルな意思決定への関心が高まっている問題である、オフラインデータセットによるオンライン学習に特に適している。 オフラインの潜伏バンドデータを利用して各潜伏状態の複雑なモデルを学ぶことができ、エージェントはオンラインで潜伏状態を学び、最適に振る舞うことができる。 遅延状態は未知の$d_K$-dimensional subspace for $d_K \ll d_A$である。 我々は、この部分空間を短いオフライン軌道から保証付きで学習する新しい原理的手法であるSOLDを提案する。 次に、このサブスペースをオンラインで活用する2つの方法、LOCAL-UCBとProBALL-UCBを提供する。 LOCAL-UCB は $\tilde O(\min(d_A\sqrt{T}, d_K\sqrt{T}(1+\sqrt{d_AT/d_KN})) を楽しめます。 ProBALL-UCBは若干保証が弱いが、より実用的で計算効率が良い。 最後に,MovieLensの合成データと実写映画レコメンデーションデータの両方を用いて,本手法の有効性を確立した。

関連論文リスト

• Regret Minimization and Statistical Inference in Online Decision Making with High-dimensional Covariates [7.21848268647674]
  我々は、決定のための$varepsilon$-greedybanditアルゴリズムと、疎帯域パラメータを推定するためのハードしきい値アルゴリズムを統合する。 マージン条件下では、我々の手法は、$O(T1/2)$ regret あるいは古典的な$O(T1/2)$-consistent推論のいずれかを達成する。
  論文  参考訳（メタデータ） (2024-11-10T01:47:11Z)
• Anytime Model Selection in Linear Bandits [61.97047189786905]
  ALEXPは,その後悔に対するM$への依存を指数関数的に改善した。 提案手法は,オンライン学習と高次元統計学の新たな関連性を確立するために,ラッソの時間的一様解析を利用する。
  論文  参考訳（メタデータ） (2023-07-24T15:44:30Z)
• Optimal Best-Arm Identification in Bandits with Access to Offline Data [27.365122983434887]
  オフラインデータとオンライン学習を組み合わせることを検討する。 差分$が小さい場合、サンプルの複雑さに基づいて低い境界に一致するアルゴリズムを開発する。 我々のアルゴリズムは, サンプル当たりの平均取得コストが$tildeO(K)$で計算的に効率的であり, 下界問題の最適条件の注意深い評価に頼っている。
  論文  参考訳（メタデータ） (2023-06-15T11:12:35Z)
• Pessimism in the Face of Confounders: Provably Efficient Offline Reinforcement Learning in Partially Observable Markov Decision Processes [99.26864533035454]
  半可観測マルコフ決定過程におけるオフライン強化学習(RL)について検討する。 本稿では,UnderlineProxy変数 underlinePessimistic UnderlinePolicy UnderlineOptimization (textttP3O)アルゴリズムを提案する。 textttP3Oは、確立されたデータセットを持つPOMDPのための証明可能な最初のオフラインRLアルゴリズムである。
  論文  参考訳（メタデータ） (2022-05-26T19:13:55Z)
• Online Sparse Reinforcement Learning [60.44832065993122]
  固定地平線, スパース線形決定過程(MDP)におけるオンライン強化学習の難しさについて検討する。 この場合、よく条件付きデータを収集するポリシーが存在するとしても、線形後悔は一般的に避けられないことを示す。 このことは、大規模な行動において、学習の難しさは、優れた探索政策を見つけるのが困難であることに起因していることを示している。
  論文  参考訳（メタデータ） (2020-11-08T16:47:42Z)
• Restless-UCB, an Efficient and Low-complexity Algorithm for Online Restless Bandits [61.490254407420906]
  我々は、各腕の状態がマルコフ連鎖に従って進化するオンラインレス・バンディット問題について研究する。 本研究では,探索研究の枠組みに従う学習方針であるReestless-UCBを提案する。
  論文  参考訳（メタデータ） (2020-11-05T05:16:04Z)
• Nearly Dimension-Independent Sparse Linear Bandit over Small Action Spaces via Best Subset Selection [71.9765117768556]
  本研究では,高次元線形モデルの下での文脈的帯域問題について考察する。 この設定は、パーソナライズされたレコメンデーション、オンライン広告、パーソナライズされた医療など、不可欠な応用を見出す。 本稿では,最適部分集合選択法を用いて2重成長エポックを推定する手法を提案する。
  論文  参考訳（メタデータ） (2020-09-04T04:10:39Z)
• Latent Bandits Revisited [55.88616813182679]
  潜伏盗賊問題は、学習エージェントが未知の離散潜伏状態に条件付けられた腕の報酬分布を知知する問題である。 本稿では, 上位信頼境界(UCB)とトンプソンサンプリング(Thompson sample)の両方に基づいて, この設定のための一般的なアルゴリズムを提案する。 我々はアルゴリズムの統一的な理論的解析を行い、遅延状態の数がアクションよりも小さい場合、古典的なバンディットポリシーよりも後悔度が低い。
  論文  参考訳（メタデータ） (2020-06-15T19:24:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。