論文の概要: Experimenting, Fast and Slow: Bayesian Optimization of Long-term Outcomes with Online Experiments

• arxiv url: http://arxiv.org/abs/2506.18744v1
• Date: Mon, 23 Jun 2025 15:18:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-24 19:06:37.05028
• Title: Experimenting, Fast and Slow: Bayesian Optimization of Long-term Outcomes with Online Experiments
• Title（参考訳）: 実験・高速・低速:オンライン実験による長期成果のベイズ最適化
• Authors: Qing Feng, Samuel Dalton, Benjamin Letham, Maximilian Balandat, Eytan Bakshy,
• Abstract要約: 意思決定者は、システム変更の長期的な治療効果を最適化したいと考えています。 高速な実験(例えば、偏りのある実験は数時間から数日しか実行されない)と長時間の遅い実験を組み合わせた新しいアプローチについて述べる。
• 参考スコア（独自算出の注目度）: 15.085200856788392
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Online experiments in internet systems, also known as A/B tests, are used for a wide range of system tuning problems, such as optimizing recommender system ranking policies and learning adaptive streaming controllers. Decision-makers generally wish to optimize for long-term treatment effects of the system changes, which often requires running experiments for a long time as short-term measurements can be misleading due to non-stationarity in treatment effects over time. The sequential experimentation strategies--which typically involve several iterations--can be prohibitively long in such cases. We describe a novel approach that combines fast experiments (e.g., biased experiments run only for a few hours or days) and/or offline proxies (e.g., off-policy evaluation) with long-running, slow experiments to perform sequential, Bayesian optimization over large action spaces in a short amount of time.
• Abstract（参考訳）: A/Bテストとしても知られるインターネットシステムにおけるオンライン実験は、推薦システムランキングポリシーの最適化や適応型ストリーミングコントローラの学習など、幅広いシステムチューニング問題に使用されている。 意思決定者は一般的に、システム変更の長期的治療効果の最適化を望んでおり、短期的な測定が時間の経過とともに治療効果の非定常性のために誤解を招く可能性があるため、長期にわたる実験を必要とすることが多い。 シーケンシャルな実験戦略(典型的には数回のイテレーションを含む)は、そのような場合、禁断的に長くなります。 本稿では、高速な実験(例えば、数時間または数日でしか実行されないバイアス実験)とオフラインなプロキシ(例えば、政治外の評価)と、長時間に渡り、連続的なベイズ最適化を行うための遅い実験を短時間で組み合わせた新しいアプローチについて述べる。

関連論文リスト

• Pessimistic asynchronous sampling in high-cost Bayesian optimization [0.0]
  非同期ベイズ最適化(英: Asynchronous Bayesian optimization)は実験系と解離系の並列動作を可能にする手法である。 悲観的な非同期ポリシーは、等価なシリアルポリシーよりもはるかに少ない実験で最適な実験条件に達した。 この研究で示された悲観的アルゴリズムは、より高速なサンプリングレートを考慮せずに、より効率的なアルゴリズム駆動による高コスト実験空間の最適化をもたらす可能性がある。
  論文  参考訳（メタデータ） (2024-06-21T16:35:27Z)
• Adaptive Experimentation When You Can't Experiment [55.86593195947978]
  本稿では,Emphcon founded the pure exploration transductive linear bandit (textttCPET-LB) problem。 オンラインサービスは、ユーザーを特定の治療にインセンティブを与える、適切にランダム化された励ましを利用することができる。
  論文  参考訳（メタデータ） (2024-06-15T20:54:48Z)
• Choosing a Proxy Metric from Past Experiments [54.338884612982405]
  多くのランダム化実験では、長期的な計量の処理効果は測定が困難または不可能であることが多い。 一般的な方法は、いくつかの短期的プロキシメトリクスを計測して、長期的メトリックを綿密に追跡することである。 ランダム化実験の同種集団において最適なプロキシメトリックを定義し構築するための新しい統計フレームワークを導入する。
  論文  参考訳（メタデータ） (2023-09-14T17:43:02Z)
• FuzzyFlow: Leveraging Dataflow To Find and Squash Program Optimization Bugs [92.47146416628965]
  FuzzyFlowはプログラム最適化をテストするために設計されたフォールトローカライゼーションとテストケース抽出フレームワークである。 我々は、データフロープログラム表現を活用して、完全に再現可能なシステム状態と最適化のエリア・オブ・エフェクトをキャプチャする。 テスト時間を削減するため,テスト入力を最小限に抑えるアルゴリズムを設計し,再計算のためのメモリ交換を行う。
  論文  参考訳（メタデータ） (2023-06-28T13:00:17Z)
• Practical Policy Optimization with Personalized Experimentation [7.928781593773402]
  ユーザレベルでの治療グループ割り当てを最適化するパーソナライズされた実験フレームワークを提案する。 実際に成功したことが証明され、オープンソースソフトウェアを使って簡単に実装できるエンドツーエンドワークフローについて説明する。
  論文  参考訳（メタデータ） (2023-03-30T18:25:11Z)
• Adaptive Experimentation with Delayed Binary Feedback [11.778924435036519]
  本稿では,2値フィードバックの遅延目的に適した適応型実験法を提案する。 実際の目的を推定し、見積もりに基づいて変種を動的に割り当てる。 このソリューションは現在、JD.comのオンライン実験プラットフォームにデプロイされている。
  論文  参考訳（メタデータ） (2022-02-02T01:47:10Z)
• Time-varying Gaussian Process Bandit Optimization with Non-constant Evaluation Time [93.6788993843846]
  非定常評価時間を効果的に処理できる新しい時間変化ベイズ最適化アルゴリズムを提案する。 我々の限界は、評価時間列のパターンが問題の難易度に大きな影響を与えることを決定づける。
  論文  参考訳（メタデータ） (2020-03-10T13:28:33Z)
• Dynamic Causal Effects Evaluation in A/B Testing with a Reinforcement Learning Framework [68.96770035057716]
  A/Bテスト(A/B Testing)は、新しい製品を製薬、技術、伝統産業の古い製品と比較するビジネス戦略である。 本稿では,オンライン実験においてA/Bテストを実施するための強化学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-05T10:25:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。