論文の概要: Leveraging priors on distribution functions for multi-arm bandits

• arxiv url: http://arxiv.org/abs/2503.04518v1
• Date: Thu, 06 Mar 2025 15:06:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-07 17:59:00.891325
• Title: Leveraging priors on distribution functions for multi-arm bandits
• Title（参考訳）: マルチアームバンディットの分布関数の活用
• Authors: Sumit Vashishtha, Odalric-Ambrym Maillard,
• Abstract要約: 本稿では,Dirichlet Process Posterior Sampling (DPPS)を導入する。 本研究では,DPPSの総合的および実世界のバンディット環境における優れた実証性能を示す。
• 参考スコア（独自算出の注目度）: 14.41820479851616
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Dirichlet Process Posterior Sampling (DPPS), a Bayesian non-parametric algorithm for multi-arm bandits based on Dirichlet Process (DP) priors. Like Thompson-sampling, DPPS is a probability-matching algorithm, i.e., it plays an arm based on its posterior-probability of being optimal. Instead of assuming a parametric class for the reward generating distribution of each arm, and then putting a prior on the parameters, in DPPS the reward generating distribution is directly modeled using DP priors. DPPS provides a principled approach to incorporate prior belief about the bandit environment, and in the noninformative limit of the DP posteriors (i.e. Bayesian Bootstrap), we recover Non Parametric Thompson Sampling (NPTS), a popular non-parametric bandit algorithm, as a special case of DPPS. We employ stick-breaking representation of the DP priors, and show excellent empirical performance of DPPS in challenging synthetic and real world bandit environments. Finally, using an information-theoretic analysis, we show non-asymptotic optimality of DPPS in the Bayesian regret setup.
• Abstract（参考訳）: 本稿では,Dirichlet Process Posterior Sampling (DPPS)を導入する。 トンプソンサンプリングと同様に、DPPSは確率マッチングアルゴリズムである。 各アームの報酬生成分布をパラメトリッククラスとして仮定する代わりに、DPPSでは報酬生成分布をDPプリエントを用いて直接モデル化する。 DPPSは,帯域幅環境に対する事前の信念を取り入れ,DP後部(ベイジアンブートストラップ)の非形式的限界(非パラメトリックトンプソンサンプリング(NPTS))をDPPSの特別な場合として回復する原理的アプローチを提供する。 我々は,DPPSの先駆的な表現を採用し,DPPSの優れた経験的性能を,合成および実世界のバンディット環境に挑戦する上で発揮する。 最後に,情報理論解析を用いて,ベイジアン・リット・セットアップにおけるDPPSの漸近的最適性を示す。

関連論文リスト

• Scalable DP-SGD: Shuffling vs. Poisson Subsampling [61.19794019914523]
  バッチサンプリングをシャッフルしたマルチエポック適応線形クエリ(ABLQ)機構のプライバシ保証に対する新たな下位境界を提供する。 ポアソンのサブサンプリングと比較すると大きな差がみられ, 以前の分析は1つのエポックに限られていた。 本稿では,大規模な並列計算を用いて,Poissonサブサンプリングを大規模に実装する実践的手法を提案する。
  論文  参考訳（メタデータ） (2024-11-06T19:06:16Z)
• Zeroth-Order Policy Gradient for Reinforcement Learning from Human Feedback without Reward Inference [15.038210624870656]
  リワード推論は、ヒューマンフィードバックパイプラインからの強化学習における重要な中間ステップである。 本稿では,帯域幅を超える一般RL問題と決定論的MDP帯域幅,Bradley-Terryモデルを超える一般選好モデルについて,報酬推論のない2つのRLHFアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-09-25T22:20:11Z)
• Convergent Bregman Plug-and-Play Image Restoration for Poisson Inverse Problems [8.673558396669806]
  Plug-noise-and-Play (Play) 法は画像逆問題に対する効率的な反復アルゴリズムである。 2つ提案する。 Bregman Score gradient Denoise 逆問題に基づくアルゴリズム。
  論文  参考訳（メタデータ） (2023-06-06T07:36:47Z)
• Plug-and-Play split Gibbs sampler: embedding deep generative priors in Bayesian inference [12.91637880428221]
  本稿では, 後方分布から効率的にサンプリングするために, 可変分割を利用したプラグアンドプレイサンプリングアルゴリズムを提案する。 後方サンプリングの課題を2つの単純なサンプリング問題に分割する。 その性能は最近の最先端の最適化とサンプリング手法と比較される。
  論文  参考訳（メタデータ） (2023-04-21T17:17:51Z)
• The Choice of Noninformative Priors for Thompson Sampling in Multiparameter Bandit Models [56.31310344616837]
  トンプソンサンプリング(TS)は、様々な報酬モデルにまたがる理論的な保証によって支持される卓越した経験的性能で知られている。 本研究では,理論的理解の欠如のある新しいモデルを扱う際に,非形式的事前選択がTSの性能に与える影響について考察する。
  論文  参考訳（メタデータ） (2023-02-28T08:42:42Z)
• Optimality of Thompson Sampling with Noninformative Priors for Pareto Bandits [81.45853204922795]
  トンプソンサンプリングは、いくつかの報酬モデルにおいて問題依存の低い境界を達成することが示されている。 重い尾を持つパレートモデルに対するTSの最適性は、2つの未知のパラメータによってパラメータ化される。 ジェフリーズおよび参照先行値を持つTSは、トラルニケート手順を使用すると、下界を達成できる。
  論文  参考訳（メタデータ） (2023-02-03T04:47:14Z)
• Thompson Sampling for High-Dimensional Sparse Linear Contextual Bandits [17.11922027966447]
  この研究は、高次元およびスパースな文脈的包帯におけるトンプソンサンプリングの理論的な保証を提供する。 より高速な計算のために、MCMCの代わりに未知のパラメータと変分推論をモデル化するために、スパイク・アンド・スラブを用いる。
  論文  参考訳（メタデータ） (2022-11-11T02:23:39Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• Langevin Monte Carlo for Contextual Bandits [72.00524614312002]
  Langevin Monte Carlo Thompson Sampling (LMC-TS) が提案されている。 提案アルゴリズムは,文脈的帯域幅の特別な場合において,最高のトンプソンサンプリングアルゴリズムと同じサブ線形残差を達成できることを示す。
  論文  参考訳（メタデータ） (2022-06-22T17:58:23Z)
• Bayesian decision-making under misspecified priors with applications to meta-learning [64.38020203019013]
  トンプソンサンプリングやその他のシーケンシャルな意思決定アルゴリズムは、文脈的包帯における探索と探索のトレードオフに取り組むための一般的なアプローチである。 性能は不特定な事前条件で優雅に低下することを示す。
  論文  参考訳（メタデータ） (2021-07-03T23:17:26Z)
• RL for Latent MDPs: Regret Guarantees and a Lower Bound [74.41782017817808]
  後期マルコフ決定過程(LMDP)における強化学習における後悔問題の検討 LMDPにおいて、M$可能なMDPのセットからMDPをランダムに描画するが、選択したMDPの同一性はエージェントに明らかにしない。 鍵となるリンクは、MDPシステムの力学の分離の概念であることを示す。
  論文  参考訳（メタデータ） (2021-02-09T16:49:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。