論文の概要: Adaptive Experimentation with Delayed Binary Feedback

• arxiv url: http://arxiv.org/abs/2202.00846v1
• Date: Wed, 2 Feb 2022 01:47:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-03 15:24:55.499066
• Title: Adaptive Experimentation with Delayed Binary Feedback
• Title（参考訳）: 遅延バイナリフィードバックを用いた適応実験
• Authors: Zenan Wang, Carlos Carrion, Xiliang Lin, Fuhua Ji, Yongjun Bao, Weipeng Yan
• Abstract要約: 本稿では,2値フィードバックの遅延目的に適した適応型実験法を提案する。 実際の目的を推定し、見積もりに基づいて変種を動的に割り当てる。 このソリューションは現在、JD.comのオンライン実験プラットフォームにデプロイされている。
• 参考スコア（独自算出の注目度）: 11.778924435036519
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Conducting experiments with objectives that take significant delays to materialize (e.g. conversions, add-to-cart events, etc.) is challenging. Although the classical "split sample testing" is still valid for the delayed feedback, the experiment will take longer to complete, which also means spending more resources on worse-performing strategies due to their fixed allocation schedules. Alternatively, adaptive approaches such as "multi-armed bandits" are able to effectively reduce the cost of experimentation. But these methods generally cannot handle delayed objectives directly out of the box. This paper presents an adaptive experimentation solution tailored for delayed binary feedback objectives by estimating the real underlying objectives before they materialize and dynamically allocating variants based on the estimates. Experiments show that the proposed method is more efficient for delayed feedback compared to various other approaches and is robust in different settings. In addition, we describe an experimentation product powered by this algorithm. This product is currently deployed in the online experimentation platform of JD.com, a large e-commerce company and a publisher of digital ads.
• Abstract（参考訳）: 実現にかなりの遅延を要する目的(例えば、変換、追加カートイベントなど)で実験を行うことは困難である。 従来の"スプリットサンプルテスト(split sample testing)"は、遅延したフィードバックには依然として有効だが、実験の完了には時間がかかる。 あるいは、"multi-armed bandits"のような適応的アプローチは、実験のコストを効果的に削減することができる。 しかし、これらのメソッドは一般的に、最初から遅延した目的を直接扱えない。 本稿では,遅延二元フィードバックの目的に合わせた適応実験解について,推定に基づいて変形を具現化し動的に割り当てる前に,実際の目標を推定し,提案手法を提案する。 実験の結果,提案手法は他の手法に比べて遅延フィードバックに対して効率的であり,異なる設定で頑健であることが判明した。 さらに,本アルゴリズムを用いた実験製品について述べる。 この製品は現在、大手電子商取引会社でデジタル広告の発行元であるJD.comのオンライン実験プラットフォームにデプロイされている。

関連論文リスト

• Bidirectional Decoding: Improving Action Chunking via Closed-Loop Resampling [51.38330727868982]
  双方向デコーディング(BID)は、クローズドループ操作で動作チャンキングをブリッジするテスト時間推論アルゴリズムである。 BIDは、7つのシミュレーションベンチマークと2つの実世界のタスクにまたがって、最先端の2つの生成ポリシーの性能を向上させることを示す。
  論文  参考訳（メタデータ） (2024-08-30T15:39:34Z)
• Dual Test-time Training for Out-of-distribution Recommender System [91.15209066874694]
  DT3ORと呼ばれるOODレコメンデーションのための新しいDual Test-Time-Trainingフレームワークを提案する。 DT3ORでは、テスト期間中にモデル適応機構を導入し、リコメンデーションモデルを慎重に更新する。 我々の知る限りでは、テストタイムトレーニング戦略を通じてOODレコメンデーションに対処する最初の研究である。
  論文  参考訳（メタデータ） (2024-07-22T13:27:51Z)
• Adaptive Experimentation When You Can't Experiment [55.86593195947978]
  本稿では,Emphcon founded the pure exploration transductive linear bandit (textttCPET-LB) problem。 オンラインサービスは、ユーザーを特定の治療にインセンティブを与える、適切にランダム化された励ましを利用することができる。
  論文  参考訳（メタデータ） (2024-06-15T20:54:48Z)
• Optimizing Adaptive Experiments: A Unified Approach to Regret Minimization and Best-Arm Identification [9.030753181146176]
  実験内性能と実験後の成果を同時に考慮した統一モデルを提案する。 実験期間の大幅な短縮は、実験内および実験後の後悔の両方に最小限の影響を伴って達成できることが示されている。
  論文  参考訳（メタデータ） (2024-02-16T11:27:48Z)
• Unraveling Batch Normalization for Realistic Test-Time Adaptation [22.126177142716188]
  本稿では,ミニバッチ劣化問題について考察する。 バッチ正規化を解き放つことにより、不正確なターゲット統計は、バッチのクラス多様性が大幅に減少することに起因することが判明した。 テスト時間指数移動平均(TEMA)という簡単なツールを導入し、トレーニングとテストバッチ間のクラス多様性のギャップを埋める。
  論文  参考訳（メタデータ） (2023-12-15T01:52:35Z)
• Search Strategies for Self-driving Laboratories with Pending Experiments [4.416701099409113]
  自動運転研究所(SDL)は、材料合成と特性化のタスクを行う複数のステーションから構成されている。 複数の実験を異なる段階で一度に行うという、非同期並列で実験を行うことは現実的である。 マルチステージSDLのためのシミュレータを構築し、遅延フィードバックと非同期並列化操作を扱うための最適化戦略を比較する。
  論文  参考訳（メタデータ） (2023-12-06T12:41:53Z)
• Task-specific experimental design for treatment effect estimation [59.879567967089145]
  因果推論の標準は大規模ランダム化試験(RCT)である。 近年の研究では、RCTのよりサンプル効率の良い代替案が提案されているが、これらは因果効果を求める下流の応用には適用できない。 実験的な設計のためのタスク固有のアプローチを開発し、特定の下流アプリケーションにカスタマイズされたサンプリング戦略を導出する。
  論文  参考訳（メタデータ） (2023-06-08T18:10:37Z)
• Evaluation of Test-Time Adaptation Under Computational Time Constraints [80.40939405129102]
  テスト時間適応(TTA)メソッドは、テスト時にラベルのないデータを活用して、分散シフトに適応する。 現在の評価プロトコルは、この余分なコストの影響を見落とし、実際の適用性に影響を与える。 本稿では,TTA手法のより現実的な評価プロトコルを提案し,一定の速度のデータストリームからデータをオンライン形式で受信する。
  論文  参考訳（メタデータ） (2023-04-10T18:01:47Z)
• Clustering-based Imputation for Dropout Buyers in Large-scale Online Experimentation [4.753069295451989]
  オンライン実験では、適切な指標(例えば購入)が仮説を支持し、意思決定プロセスを強化する強力な証拠を提供する。 本研究では,ドロップアウト購入者の概念を導入し,不完全なメトリック値を持つユーザを,訪問者とドロップアウト購入者という2つのグループに分類する。 不完全なメトリクスを分析するために、$k$-nearest 隣人を用いたクラスタリングベースの計算法を提案する。
  論文  参考訳（メタデータ） (2022-09-09T01:05:53Z)
• Deep Adaptive Design: Amortizing Sequential Bayesian Experimental Design [11.414086057582324]
  本稿では,逐次適応実験のコストを補正する手法であるDeep Adaptive Design (DAD)を紹介する。 DADが実験設計のプロセスに成功したことを実証し、いくつかの問題に対する代替戦略を上回ります。
  論文  参考訳（メタデータ） (2021-03-03T14:43:48Z)
• Dynamic Scale Training for Object Detection [111.33112051962514]
  本稿では,オブジェクト検出におけるスケール変動問題を軽減するために,動的スケールトレーニングパラダイム(DST)を提案する。 提案したDSTのスケール変動処理に対する有効性を示す実験結果を得た。 推論オーバーヘッドを導入せず、一般的な検出設定のための無料ランチとして機能する。
  論文  参考訳（メタデータ） (2020-04-26T16:48:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。