論文の概要: Thompson Sampling in Partially Observable Contextual Bandits

• arxiv url: http://arxiv.org/abs/2402.10289v1
• Date: Thu, 15 Feb 2024 19:37:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-19 18:16:30.153342
• Title: Thompson Sampling in Partially Observable Contextual Bandits
• Title（参考訳）: 部分観測可能なコンテキスト帯域におけるトンプソンサンプリング
• Authors: Hongju Park and Mohamad Kazem Shirani Faradonbeh
• Abstract要約: 我々は、観測データに基づいて最適な腕を選択することを学ぶための盗賊政策について研究する。 我々の理論的分析は、トンプソンサンプリング政策が探索と搾取のバランスをうまくとれることを示している。 これらの技術は、文脈情報や部分的な観察とともに、他の意思決定問題の研究への道を開く。
• 参考スコア（独自算出の注目度）: 2.465689259704613
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contextual bandits constitute a classical framework for decision-making under uncertainty. In this setting, the goal is to learn the arms of highest reward subject to contextual information, while the unknown reward parameters of each arm need to be learned by experimenting that specific arm. Accordingly, a fundamental problem is that of balancing exploration (i.e., pulling different arms to learn their parameters), versus exploitation (i.e., pulling the best arms to gain reward). To study this problem, the existing literature mostly considers perfectly observed contexts. However, the setting of partial context observations remains unexplored to date, despite being theoretically more general and practically more versatile. We study bandit policies for learning to select optimal arms based on the data of observations, which are noisy linear functions of the unobserved context vectors. Our theoretical analysis shows that the Thompson sampling policy successfully balances exploration and exploitation. Specifically, we establish the followings: (i) regret bounds that grow poly-logarithmically with time, (ii) square-root consistency of parameter estimation, and (iii) scaling of the regret with other quantities including dimensions and number of arms. Extensive numerical experiments with both real and synthetic data are presented as well, corroborating the efficacy of Thompson sampling. To establish the results, we introduce novel martingale techniques and concentration inequalities to address partially observed dependent random variables generated from unspecified distributions, and also leverage problem-dependent information to sharpen probabilistic bounds for time-varying suboptimality gaps. These techniques pave the road towards studying other decision-making problems with contextual information as well as partial observations.
• Abstract（参考訳）: 文脈的包帯は不確実性の下での意思決定の古典的な枠組みを構成する。 この設定では、文脈情報に基づく最高報酬の腕を学習することを目的としているが、各腕の未知の報酬パラメータは、特定の腕を実験することによって学習する必要がある。 したがって、基本的な問題は、探検(例えば、異なる腕でパラメータを学習する)と搾取(すなわち、最高の腕で報酬を得る)のバランスをとることである。 この問題を研究するために、既存の文献は主に完全に観察された文脈を考察している。 しかし、理論上はより一般的であり、実際はより汎用的であるにもかかわらず、部分的な文脈観測の設定はいまだに探索されていない。 本研究では,非観測コンテキストベクトルのノイズ線形関数である観測データに基づいて最適なアームを選択するためのバンディットポリシーについて検討する。 我々の理論的分析は、トンプソンサンプリング政策が探索と搾取のバランスをうまくとれることを示している。 具体的には、以下のものを確立する。 (i)時間とともに多義的に成長する後悔境界 (ii)パラメータ推定の平方根一貫性、及び (iii)寸法や腕の数を含む他の量による後悔のスケーリング。 実データと合成データの両方を用いた大規模な数値実験も、トンプソンサンプリングの有効性を裏付けるものである。 そこで本研究では,不特定分布から発生する局所的に観測される従属確率変数に対して,新しいマルティンゲール法と濃度不等式を導入するとともに,問題依存情報を用いて時間変動サブオプティリティギャップの確率的境界を鋭くする手法を提案する。 これらの技術は、文脈情報や部分的な観察とともに、他の意思決定問題の研究への道を開く。

関連論文リスト

• Sequential Manipulation Against Rank Aggregation: Theory and Algorithm [119.57122943187086]
  脆弱なデータ収集プロセスに対するオンライン攻撃を活用します。 ゲーム理論の観点からは、対決シナリオは分布的に堅牢なゲームとして定式化される。 提案手法は,ランクアグリゲーション手法の結果を逐次的に操作する。
  論文  参考訳（メタデータ） (2024-07-02T03:31:21Z)
• Worst-case Performance of Greedy Policies in Bandits with Imperfect Context Observations [1.370633147306388]
  この研究は、パラメータと観測されていないコンテキストの現在の推定値が対応する真の値と一致するかのように行動をとるグレディ強化学習ポリシーを考察する。 非漸近的な最悪の後悔は、時間軸や失敗確率と対数的に増大する一方、腕の数と線形にスケールする。
  論文  参考訳（メタデータ） (2022-04-10T21:27:56Z)
• From Optimality to Robustness: Dirichlet Sampling Strategies in Stochastic Bandits [0.0]
  本研究では、腕の観察を再サンプリングした経験的指標のペア比較に基づいて、ジェネリックディリクレサンプリング(DS)アルゴリズムについて検討する。 この戦略の異なる変種は、分布が有界であるときに証明可能な最適後悔保証と、半有界分布に対して軽度量子状態の対数後悔を実現することを示す。
  論文  参考訳（メタデータ） (2021-11-18T14:34:21Z)
• Analysis of Thompson Sampling for Partially Observable Contextual Multi-Armed Bandits [1.8275108630751844]
  我々は、部分的に観測可能なコンテキスト多重武装バンディットのためのトンプソンサンプリングアルゴリズムを提案する。 提示された政策の後悔は、時間と武器の数に応じて対数的にスケールし、寸法と直線的にスケールすることを示す。
  論文  参考訳（メタデータ） (2021-10-23T08:51:49Z)
• Residual Overfit Method of Exploration [78.07532520582313]
  提案手法は,2点推定値の調整と1点オーバーフィットに基づく近似探索手法を提案する。 このアプローチは、調整されたモデルと比較して、オーバーフィットモデルが最も過度な適合を示すアクションへの探索を促進する。 ROMEを3つのデータセット上の確立されたコンテキスト的帯域幅法と比較し、最も優れたパフォーマンスの1つとみなす。
  論文  参考訳（メタデータ） (2021-10-06T17:05:33Z)
• Learning with Instance Bundles for Reading Comprehension [61.823444215188296]
  質問応答スコアを複数の関連インスタンスで比較する新しい監視手法を提案する。 具体的には、密接に対照的な質問や回答のさまざまな近所でこれらのスコアを正規化します。 2つのデータセット上のインスタンスバンドルによるトレーニングの有効性を実証的に実証する。
  論文  参考訳（メタデータ） (2021-04-18T06:17:54Z)
• Doubly-Adaptive Thompson Sampling for Multi-Armed and Contextual Bandits [28.504921333436833]
  本稿では,トンプソンサンプリングに基づくアルゴリズムの変種について,両腕の真の平均報酬に対する2倍頑健な推定器の項を適応的に再検討する。 提案アルゴリズムは, 半合成実験における最適(最小)後悔率とその経験的評価に適合する。 このアプローチは、適応データ収集とは別に、より多くのバイアス源が存在するコンテキスト的包帯に拡張する。
  論文  参考訳（メタデータ） (2021-02-25T22:29:25Z)
• Continuous Mean-Covariance Bandits [39.820490484375156]
  本稿では,選択肢相関を考慮した連続平均共分散帯域モデルを提案する。 CMCBでは、与えられた選択肢の重みベクトルを逐次選択し、決定に従ってランダムなフィードバックを観察する学習者がいる。 最適な後悔(対数的因子を含む)を伴う新しいアルゴリズムを提案し、それらの最適性を検証するために一致した下界を提供する。
  論文  参考訳（メタデータ） (2021-02-24T06:37:05Z)
• Online Model Selection: a Rested Bandit Formulation [49.69377391589057]
  静止したバンディット設定における最善のアーム識別問題を紹介し,解析する。 我々は、この問題の後悔の新しい概念を定義し、ゲームの終わりに最小の期待損失を持つ腕を常に再生するポリシーと比較します。 最近のバンディット文献における既知のモデル選択の試みとは異なり、アルゴリズムは問題の特定の構造を利用して、予想される損失関数の未知のパラメータを学習する。
  論文  参考訳（メタデータ） (2020-12-07T08:23:08Z)
• Robustness Guarantees for Mode Estimation with an Application to Bandits [131.21717367564963]
  平均ではなく報酬分布のモードを値とするマルチアームバンディットの理論を導入する。 我々は,我々のアルゴリズムが逆雑音列による腕の摂動に頑健であることを示すシミュレーションで示す。
  論文  参考訳（メタデータ） (2020-03-05T21:29:27Z)
• The Price of Incentivizing Exploration: A Characterization via Thompson Sampling and Sample Complexity [83.81297078039836]
  インセンティブ付き探索(Incentivized Exploring)は、武器の選択を自給自足エージェントによって制御するマルチアーム・バンディットのバージョンである。 我々は、インセンティブの価格に焦点を合わせ、インセンティブの適合性のために、広く解釈された、パフォーマンスの喪失が引き起こされる。
  論文  参考訳（メタデータ） (2020-02-03T04:58:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。