論文の概要: An Evaluation on Practical Batch Bayesian Sampling Algorithms for Online
Adaptive Traffic Experimentation
- arxiv url: http://arxiv.org/abs/2305.14704v1
- Date: Wed, 24 May 2023 04:16:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-25 19:48:28.402967
- Title: An Evaluation on Practical Batch Bayesian Sampling Algorithms for Online
Adaptive Traffic Experimentation
- Title（参考訳）: オンライン適応交通実験のための実用的なバッチベイズサンプリングアルゴリズムの評価
- Authors: Zezhong Zhang and Ted Yuan
- Abstract要約: 本稿では,ベイジアンバッチバンドレートアルゴリズム(NB-TS,WB-TS,NB-TTTS,WB-TTTS)の導出と評価を行う。
4つのベイズサンプリングアルゴリズムに関する総合的な評価は、信頼性、感度、そして試験手法の後悔をカバーしている。
評価の結果, (a) 同等のベストアームを持つ偽陽性インフレが存在する一方で, 文献ではほとんど議論されていないこと, (b) 偽陽性を制御するために, 後続の最適確率の収束と中性後部再形成の関係が発見されたこと, (d) NB-TS は, 精度と堅牢性を除いて, 後悔の試行を最小化すること, (e) WB-TTTS は有望であることが明らかとなった。
- 参考スコア（独自算出の注目度）: 4.88351513966202
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: To speed up online testing, adaptive traffic experimentation through
multi-armed bandit algorithms is rising as an essential complementary
alternative to the fixed horizon A/B testing. Based on recent research on best
arm identification and statistical inference with adaptively collected data,
this paper derives and evaluates four Bayesian batch bandit algorithms (NB-TS,
WB-TS, NB-TTTS, WB-TTTS), which are combinations of two ways of weighting
batches (Naive Batch and Weighted Batch) and two Bayesian sampling strategies
(Thompson Sampling and Top-Two Thompson Sampling) to adaptively determine
traffic allocation. These derived Bayesian sampling algorithms are practically
based on summary batch statistics of a reward metric for pilot experiments,
where one of the combination WB-TTTS in this paper seems to be newly discussed.
The comprehensive evaluation on the four Bayesian sampling algorithms covers
trustworthiness, sensitivity and regret of a testing methodology. Moreover, the
evaluation includes 4 real-world eBay experiments and 40 reproducible synthetic
experiments to reveal the learnings, which covers both stationary and
non-stationary situations. Our evaluation reveals that, (a) There exist false
positives inflation with equivalent best arms, while seldom discussed in
literatures; (b) To control false positives, connections between convergence of
posterior optimal probabilities and neutral posterior reshaping are discovered;
(c) WB-TTTS shows competitive recall, higher precision, and robustness against
non-stationary trend; (d) NB-TS outperforms on minimizing regret trials except
on precision and robustness; (e) WB-TTTS is a promising alternative if regret
of A/B Testing is affordable, otherwise NB-TS is still a powerful choice with
regret consideration for pilot experiments.
- Abstract（参考訳）: オンラインテストの高速化のため、固定水平A/Bテストに欠かせない代替手段として、マルチアームバンディットアルゴリズムによる適応的な交通実験が増えている。
適応的に収集されたデータを用いたベストアーム識別と統計的推測に関する最近の研究に基づいて,2つのバッチの重み付け方法(Naive Batch,Weighted Batch)と2つのベイズサンプリング戦略(Thompson Sampling,Top-Two Thompson Sampling)を組み合わせたベイズバッチバンドレートアルゴリズム(NB-TS,WB-TS,NB-TTTS,WB-TTTS,WB-TTTS)を導出した。
これらのベイジアンサンプリングアルゴリズムは, パイロット実験においてWB-TTTSの組み合わせの1つを新たに検討した, 報奨基準の要約バッチ統計に基づくものである。
4つのベイズサンプリングアルゴリズムの包括的評価は、テスト手法の信頼性、感度、後悔をカバーする。
さらに、評価には4つの実世界のeBay実験と40の再現可能な合成実験が含まれており、これは静止状態と非静止状態の両方をカバーする。
我々の評価は
a) 文献で論じられることはめったにないが,同等のベストアームを有する偽陽性インフレが存在すること
(b)偽陽性を制御するために、後方最適確率の収束と中性後方転位との間の関係が発見される。
(c)WB-TTTSは、競争的リコール、高い精度、非定常傾向に対する堅牢性を示す。
(d)NB-TSは、正確性及び堅牢性以外の後悔裁判の最小化に優れる。
(e)WB-TTTSは、A/Bテストに対する後悔が安価である場合、有望な代替手段である。
関連論文リスト
- Revisiting Confidence Estimation: Towards Reliable Failure Prediction [53.79160907725975]
多くの信頼度推定法は誤分類誤りを検出するのに有害である。
本稿では, 最先端の故障予測性能を示す平坦な最小値を求めることにより, 信頼性ギャップを拡大することを提案する。
論文 参考訳（メタデータ） (2024-03-05T11:44:14Z) - Towards Evaluating Transfer-based Attacks Systematically, Practically,
and Fairly [79.07074710460012]
ディープニューラルネットワーク(DNN)の敵対的脆弱性に大きな注目を集めている。
ブラックボックスDNNモデルを騙すための転送ベース手法が増えている。
30以上のメソッドを実装した転送ベースアタックベンチマーク(TA-Bench)を確立する。
論文 参考訳（メタデータ） (2023-11-02T15:35:58Z) - Optimization-Free Test-Time Adaptation for Cross-Person Activity
Recognition [30.350005654271868]
Test-Time Adaptationは、テストストリームを使用して、リアルタイムの推論で予測を調整することを目的としている。
計算コストが高いため、リソース制約のあるエッジデバイス上での動作が困難になる。
センサベースHARのための最適化自由テスト時間適応フレームワークを提案する。
論文 参考訳（メタデータ） (2023-10-28T02:20:33Z) - Binary Classification with Confidence Difference [100.08818204756093]
本稿では,信頼性差分法 (ConfDiff) という,弱教師付き二項分類問題について考察する。
本稿では,この問題に対処するためのリスク一貫性のあるアプローチを提案し,推定誤差が最適収束率と一致することを示す。
また,整合性や収束率も証明されたオーバーフィッティング問題を緩和するためのリスク補正手法も導入する。
論文 参考訳（メタデータ） (2023-10-09T11:44:50Z) - Diverse Data Augmentation with Diffusions for Effective Test-time Prompt
Tuning [73.75282761503581]
DiffTPTを提案する。DiffTPTは,事前学習した拡散モデルを用いて,多種多様な情報データを生成する。
DiffTPTがゼロショット精度を平均5.13%向上することを示す。
論文 参考訳（メタデータ） (2023-08-11T09:36:31Z) - On Pitfalls of Test-Time Adaptation [82.8392232222119]
TTA(Test-Time Adaptation)は、分散シフトの下で堅牢性に取り組むための有望なアプローチとして登場した。
TTABは,10の最先端アルゴリズム,多種多様な分散シフト,および2つの評価プロトコルを含むテスト時間適応ベンチマークである。
論文 参考訳（メタデータ） (2023-06-06T09:35:29Z) - A Semi-Bayesian Nonparametric Estimator of the Maximum Mean Discrepancy
Measure: Applications in Goodness-of-Fit Testing and Generative Adversarial
Networks [3.623570119514559]
そこで我々は,GoF(Goness-of-fit)テストのための半ベイズ非パラメトリック(セミBNP)手順を提案する。
提案手法は,最大平均誤差(MMD)測定のための新しいベイズ推定器を提案する。
提案手法は, 誤り仮説の誤認率と受理率を低くすることで, 頻繁なMDD法よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-03-05T10:36:21Z) - Post-Contextual-Bandit Inference [57.88785630755165]
コンテキストバンディットアルゴリズムは、電子商取引、医療、政策立案における非適応的なA/Bテストを置き換える傾向にある。
研究参加者の成果を改善することもでき、良い方針や最良の政策を特定できる可能性を高めることもできる。
研究の終盤における新規介入の信頼性推論を支援するため, 平均治療効果, サブグループ効果, あるいは新政策の価値について, 有効な信頼区間を構築したい。
論文 参考訳（メタデータ） (2021-06-01T12:01:51Z) - Doubly-Adaptive Thompson Sampling for Multi-Armed and Contextual Bandits [28.504921333436833]
本稿では,トンプソンサンプリングに基づくアルゴリズムの変種について,両腕の真の平均報酬に対する2倍頑健な推定器の項を適応的に再検討する。
提案アルゴリズムは, 半合成実験における最適(最小)後悔率とその経験的評価に適合する。
このアプローチは、適応データ収集とは別に、より多くのバイアス源が存在するコンテキスト的包帯に拡張する。
論文 参考訳（メタデータ） (2021-02-25T22:29:25Z) - TSEC: a framework for online experimentation under experimental
constraints [1.1470070927586016]
トンプソンサンプリングは、複数の武装したバンディット問題を解決する一般的なアルゴリズムである。
今回提案するThompson Sampling under Experimental Constraints (TSEC)法は、このいわゆる「武器予算制約」に対処するものである。
我々は,arm予算制約を伴う2つの問題に対するtsecの有効性を実証する。
論文 参考訳（メタデータ） (2021-01-17T05:04:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。