論文の概要: Posterior Tempering Explains Variance Inflation in Linear and Generalized Linear Thompson Sampling
- arxiv url: http://arxiv.org/abs/2609.01999v1
- Date: Wed, 02 Sep 2026 02:17:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-03 17:53:18.029325
- Title: Posterior Tempering Explains Variance Inflation in Linear and Generalized Linear Thompson Sampling
- Title（参考訳）: 線形および一般化線形トンプソンサンプリングにおける後方テンパリングのばらつきについて
- Abstract要約: 我々は、一般化線形帯域問題の解法として、$$-TSと呼ばれるトンプソンサンプリングアルゴリズムの変種について研究する。
分散インフレーションの考え方は、標準後部ではなく分数または$$-posteriorを使用する$-TSを導入することで定式化する。
本研究の主な貢献は, 先行分布および報奨分布の一般規則性条件の同定であり, 後部分布の抽出可能な近似を仮定することなく, 約$-TSの後悔解析を可能にする。
- 参考スコア（独自算出の注目度）: 6.1259398119902
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study a variant of the Thompson Sampling (TS) algorithm, called $α$-TS, for solving stochastic generalized linear bandit problems. Existing analyses of TS require inflating the posterior variance to derive near-optimal regret guarantees. We formalize the idea of variance inflation by introducing $α$-TS that uses a fractional or $α$-posterior instead of the standard posterior. Our main contribution is to identify general regularity conditions on the prior and reward distributions that enable a regret analysis of $α$-TS without assuming any tractable approximation of the posterior distribution, unlike previous works. For a specific choice of $α\propto d^{-1}$, our general regret bound yields the best known regret bound of $O(d^{3/2}\sqrt{T}\log T)$ for both the exponential and sub-Gaussian families of reward distributions. We further provide an $α$-dependent lower bound showing that the regret constant depends on the product $αd$, and that when $α\propto d^{-1}$ the regret scales as $Ω(d^{3/2}\sqrt{T})$, explaining the origin of the $d^{3/2}$ factor in the upper bound. Our proof technique adapts and combines recent advancements in the analysis of linear bandit problems with first- and second-order posterior concentration theory from the Bayesian statistics literature.
- Abstract（参考訳）: 本稿では,確率的一般化線形帯域問題の解法として,Thompson Sampling (TS)アルゴリズムの変種である$α$-TSについて検討する。
既存のTSの分析では、後部変分を膨らませることで、ほぼ最適の後悔の保証を導出する必要がある。
偏差インフレーションの考え方は、標準後部の代わりに分数または$α$-posteriorを使用する$α$-TSを導入することで定式化する。
我々の主な貢献は、先行分布と報奨分布の一般的な正則性条件を同定することであり、これは、以前の研究とは異なり、後続分布の抽出可能な近似を仮定することなく、$α$-TSの後悔解析を可能にする。
α\propto d^{-1}$ の特定の選択に対して、我々の一般的な後悔境界は、指数関数的および準ガウス的な報酬分布の族に対して、$O(d^{3/2}\sqrt{T}\log T)$の最もよく知られた後悔境界をもたらす。
さらに、後悔定数が積 $αd$ に依存すること、そして $α\propto d^{-1} が Ω(d^{3/2}\sqrt{T})$ であるときに、上界の $d^{3/2}$ 因子の起源を説明するために、後悔のスケールが $Ω(d^{3/2}\sqrt{T})$ となることを示す$α$依存下界も提供する。
ベイズ統計学における線形バンディット問題と1次および2次後続濃度理論を応用し,近年の進歩と組み合わせる。
関連論文リスト
- Bayesian Best-Arm Identification with Abstention: A Polynomial-to-Exponential Phase Transition [51.253617466579335]
本研究では,学習者が端末の推薦を控えることができるベイジアン固定予算のベストアーム識別問題について検討する。
本研究は,非検出誤りの確率を解析し,吸収を伴わない準最適腕を推奨するリスクについて考察する。
論文 参考訳（メタデータ） (2026-06-28T05:07:27Z) - How Neural Reward Models Learn Features for Policy Optimization: A Single-Index Analysis [53.063298916923976]
r*(x) = *(langle *, xrangle)$ と $x sim N(0, I_d)$ でガウスの単一インデックスモデルでフィードバックを研究する。
まず、報酬重み付きサンプルから隠れた方向を*$で学習し、次に重み付きリッジ回帰により読み出し層に適合する2段階のニューラル報酬モデルを分析する。
論文 参考訳（メタデータ） (2026-05-23T22:00:38Z) - Frequentist Regret Analysis of Gaussian Process Thompson Sampling via Fractional Posteriors [5.7099901327884695]
既存のGP-TS分析で一般的に仮定される分散インフレーションをトンプソンサンプリングと解釈できることを示す。
我々は、情報ゲインパラメータ $_t$ と後部収縮率 $_t$ で表されるカーネルに依存しない後悔境界を導出する。
全体として、我々の分析は、カーネルクラスに広く適用されるGP-TSに対して、統一的で離散化のない後悔のフレームワークを提供する。
論文 参考訳（メタデータ） (2026-02-16T05:18:13Z) - Variance-Dependent Regret Bounds for Non-stationary Linear Bandits [52.872628573907434]
報酬分布の分散と$B_K$の分散を利用するアルゴリズムを提案する。
Restarted Weighted$textOFUL+$とRestarted$textSAVE+$の2つの新しいアルゴリズムを紹介します。
特に、V_K$が$K$よりはるかに小さい場合、我々のアルゴリズムは、異なる設定下での非定常線形バンドレットの最先端結果よりも優れている。
論文 参考訳（メタデータ） (2024-03-15T23:36:55Z) - $(\epsilon, u)$-Adaptive Regret Minimization in Heavy-Tailed Bandits [29.966828248335972]
我々は,学習者に対して,$epsilon$と$u$が不明な場合に,後悔の最小化問題を調査する。
AdaR-UCBは、適応しない重みを帯びたケースとほぼ一致した後悔の保証を享受する最初のアルゴリズムである。
論文 参考訳（メタデータ） (2023-10-04T17:11:15Z) - Generalized Regret Analysis of Thompson Sampling using Fractional
Posteriors [12.43000662545423]
トンプソンサンプリング(Thompson sample, TS)は、マルチアームバンディット問題を解くアルゴリズムの1つである。
TSの変種である$alpha$-TSを考え、標準的な後続分布の代わりに$alpha$-posteriorまたは$alpha$-posteriorを使用する。
論文 参考訳（メタデータ） (2023-09-12T16:15:33Z) - Optimistic Posterior Sampling for Reinforcement Learning with Few
Samples and Tight Guarantees [43.13918072870693]
強化学習(OPSRL)のための楽観的後部サンプリングアルゴリズムを提案する。
殆どの$widetildemathcalO(sqrtH3SAT)$ ignoring $textpolylog(HSAT)$ termsにおいて、高い確率で再帰的な順序境界を保証する。
我々の境界は位数$Omega(sqrtH3SAT)$の下位境界と一致し、Agrawal と Jia が提起した開問題に答える。
論文 参考訳（メタデータ） (2022-09-28T20:49:34Z) - Finite-Time Regret of Thompson Sampling Algorithms for Exponential
Family Multi-Armed Bandits [88.21288104408556]
本研究では,指数関数族バンドイットに対するトンプソンサンプリング (TS) アルゴリズムの遺残について検討する。
最適な腕の過小評価を避けるために,新しいサンプリング分布を用いたトンプソンサンプリング(Expulli)を提案する。
論文 参考訳（メタデータ） (2022-06-07T18:08:21Z) - Fast Rates for the Regret of Offline Reinforcement Learning [69.23654172273085]
無限水平割引決定プロセス(MDP)における固定行動ポリシーによって生成されたオフラインデータからの強化学習の後悔について検討する。
最適品質関数 $Q*$ に対する任意の推定が与えられたとき、定義するポリシーの後悔は、$Q*$-estimate の点収束率の指数によって与えられる速度で収束することを示す。
論文 参考訳（メタデータ） (2021-01-31T16:17:56Z) - Variance-Aware Confidence Set: Variance-Dependent Bound for Linear
Bandits and Horizon-Free Bound for Linear Mixture MDP [76.94328400919836]
線形バンドイットと線形混合決定プロセス(mdp)に対する分散認識信頼セットの構築方法を示す。
線形バンドイットに対しては、$d を特徴次元とする$widetildeo(mathrmpoly(d)sqrt1 + sum_i=1ksigma_i2) が成り立つ。
線形混合 MDP に対し、$widetildeO(mathrmpoly(d)sqrtK)$ regret bound を得る。
論文 参考訳（メタデータ） (2021-01-29T18:57:52Z) - On Frequentist Regret of Linear Thompson Sampling [8.071506311915398]
本稿では,決定者側が $mathbbRd$ の時間依存ベクトル集合から行動を選択し,雑音の報奨を受ける線形帯域問題について検討する。
目的は、後悔を最小限に抑えることであり、決定者の累積的な報奨と、各アクションの期待報奨にアクセスできる神託の報奨とを、一連のT$決定に比較して区別することである。
論文 参考訳（メタデータ） (2020-06-11T20:19:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。