論文の概要: Thompson Sampling Regret Bounds for Contextual Bandits with sub-Gaussian rewards

• arxiv url: http://arxiv.org/abs/2304.13593v1
• Date: Wed, 26 Apr 2023 14:40:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-27 14:02:55.113261
• Title: Thompson Sampling Regret Bounds for Contextual Bandits with sub-Gaussian rewards
• Title（参考訳）: ガウス以下の報酬を持つ文脈帯域に対するレグレト境界のトンプソンサンプリング
• Authors: Amaury Gouverneur, Borja Rodr\'iguez-G\'alvez, Tobias J. Oechtering, and Mikael Skoglund
• Abstract要約: 文脈帯域問題に対するトンプソンサンプリングアルゴリズムの性能について検討する。 ガウス以南の報奨に充てられる情報比率の引き上げに関する新たな限界を導入する。
• 参考スコア（独自算出の注目度）: 44.025369660607645
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we study the performance of the Thompson Sampling algorithm for Contextual Bandit problems based on the framework introduced by Neu et al. and their concept of lifted information ratio. First, we prove a comprehensive bound on the Thompson Sampling expected cumulative regret that depends on the mutual information of the environment parameters and the history. Then, we introduce new bounds on the lifted information ratio that hold for sub-Gaussian rewards, thus generalizing the results from Neu et al. which analysis requires binary rewards. Finally, we provide explicit regret bounds for the special cases of unstructured bounded contextual bandits, structured bounded contextual bandits with Laplace likelihood, structured Bernoulli bandits, and bounded linear contextual bandits.
• Abstract（参考訳）: 本研究では,Neuらが導入したフレームワークに基づく文脈帯域問題に対するトンプソンサンプリングアルゴリズムの性能と,リフト情報比の概念について検討する。 まず,環境パラメータと履歴の相互情報に依存するトンプソンサンプリング期待累積後悔の包括的境界を証明した。 そこで我々は,準ガウスの報奨に充てられる持ち上げ情報比の新たな限界を導入し,二進の報奨を必要とするNeuらの結果を一般化する。 最後に,非構造化境界境界バンディット,ラプラス確率を持つ構造化境界バンディット,構造化ベルヌーイバンディット,および有界線形境界バンディットの特別な場合に対して,明示的な後悔の限界を与える。

関連論文リスト

• Neural Dueling Bandits [58.90189511247936]
  ニューラルネットワークを用いて、予め選択した腕の好みフィードバックを用いて報酬関数を推定する。 次に、理論結果を二項フィードバックによる文脈的帯域幅問題に拡張し、それはそれ自体は自明な寄与ではない。
  論文  参考訳（メタデータ） (2024-07-24T09:23:22Z)
• Feel-Good Thompson Sampling for Contextual Dueling Bandits [49.450050682705026]
  FGTS.CDBという名前のトンプソンサンプリングアルゴリズムを提案する。 われわれのアルゴリズムの核心は、デュエルバンディットに適した新しいFeel-Good探索用語である。 我々のアルゴリズムは最小限の誤差、すなわち $tildemathcalO(dsqrt T)$, $d$ はモデル次元、$T$ は時間水平線である。
  論文  参考訳（メタデータ） (2024-04-09T04:45:18Z)
• Information Capacity Regret Bounds for Bandits with Mediator Feedback [55.269551124587224]
  我々は,政策セットの複雑さに対する情報理論尺度として,政策セットの容量を導入する。 古典的なEXP4アルゴリズムを採用することで、ポリシーセットの容量に応じて、新たな後悔の限界を提供する。 ポリシーセットファミリの選択については、キャパシティと同じようなスケールで、ほぼ整合性の低い境界を証明します。
  論文  参考訳（メタデータ） (2024-02-15T19:18:47Z)
• Thompson Sampling for Stochastic Bandits with Noisy Contexts: An Information-Theoretic Regret Analysis [4.297070083645049]
  本研究では,エージェントが真コンテキストのノイズや破損したバージョンを観測するコンテキスト線形帯域問題について検討する。 我々の目標は、託宣の「近似可能なアクションポリシー」を設計することである。
  論文  参考訳（メタデータ） (2024-01-21T18:57:38Z)
• Contextual bandits with concave rewards, and an application to fair ranking [108.48223948875685]
  CBCR (Contextual Bandits with Concave Rewards) に対する反省点のある最初のアルゴリズムを提案する。 我々は,スカラー・リワード問題に対するCBCRの後悔から,新たな縮小を導出した。 推薦の公正さによって動機づけられたCBCRの特別事例として,ランク付けと公正を意識した目的について述べる。
  論文  参考訳（メタデータ） (2022-10-18T16:11:55Z)
• Lifting the Information Ratio: An Information-Theoretic Analysis of Thompson Sampling for Contextual Bandits [17.470829701201435]
  我々は,RussoとVan Royの情報理論的視点を,情報比という新たな概念を導入して,文脈設定に適用する。 これにより、非常に単純な証明を通じて、先行分布のエントロピーの観点から、後悔を束縛することができる。 興味深いケースは、d-次元パラメータを持つロジスティック・バンディット、K アクション、リプシッツ・ロジットであり、そこでは、シグモイドリンク関数の最小勾配に依存しない$widetildeO(sqrtdKT)$ regret上界を提供する。
  論文  参考訳（メタデータ） (2022-05-27T12:04:07Z)
• Thompson Sampling for Bandits with Clustered Arms [7.237493755167875]
  理論的および実験的に、与えられたクラスタ構造をどのように活用すれば、後悔と計算コストを大幅に改善できるかを示す。 我々のアルゴリズムは、以前に提案されたクラスタ化された腕を持つバンディットのアルゴリズムと比較してよく機能する。
  論文  参考訳（メタデータ） (2021-09-06T08:58:01Z)
• A Unifying Theory of Thompson Sampling for Continuous Risk-Averse Bandits [91.3755431537592]
  本稿では,多腕バンディット問題に対するリスク-逆トンプソンサンプリングアルゴリズムの解析を統一する。 大規模偏差理論における収縮原理を用いることで、連続リスク汎関数に対する新しい濃度境界が証明される。 リスク関数の幅広いクラスと「ニセ」関数が連続性条件を満たすことを示す。
  論文  参考訳（メタデータ） (2021-08-25T17:09:01Z)
• Greedy Bandits with Sampled Context [0.0]
  Greedy Bandits with Sampled Context (GB-SC) は、コンテキスト情報から事前の開発を行うためのコンテキスト多重武装バンディットの手法である。 以上の結果から,Mushroom環境において,期待される後悔と期待される累積的後悔の両面での競争性能が示された。
  論文  参考訳（メタデータ） (2020-07-27T17:17:45Z)
• On Thompson Sampling for Smoother-than-Lipschitz Bandits [6.929312022493406]
  我々はトンプソン・サンプリングの弱い条件下での連続的な武装バンディットに対する後悔に関する最初の境界を提供する。 我々の境界は、可溶性次元の分析によって実現される。 我々は、リプシッツ微分を持つ函数の類に対するユーラダー次元の新しい境界を導出する。
  論文  参考訳（メタデータ） (2020-01-08T00:46:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。