論文の概要: AExGym: Benchmarks and Environments for Adaptive Experimentation
- arxiv url: http://arxiv.org/abs/2408.04531v1
- Date: Thu, 8 Aug 2024 15:32:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-09 15:18:18.448902
- Title: AExGym: Benchmarks and Environments for Adaptive Experimentation
- Title(参考訳): AExGym: 適応実験のためのベンチマークと環境
- Authors: Jimmy Wang, Ethan Che, Daniel R. Jiang, Hongseok Namkoong,
- Abstract要約: 実世界のデータセットに基づく適応実験のためのベンチマークを提案する。
非定常性、バッチ/遅延フィードバック、複数の成果と目標、外部の妥当性。
- 参考スコア(独自算出の注目度): 7.948144726705323
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Innovations across science and industry are evaluated using randomized trials (a.k.a. A/B tests). While simple and robust, such static designs are inefficient or infeasible for testing many hypotheses. Adaptive designs can greatly improve statistical power in theory, but they have seen limited adoption due to their fragility in practice. We present a benchmark for adaptive experimentation based on real-world datasets, highlighting prominent practical challenges to operationalizing adaptivity: non-stationarity, batched/delayed feedback, multiple outcomes and objectives, and external validity. Our benchmark aims to spur methodological development that puts practical performance (e.g., robustness) as a central concern, rather than mathematical guarantees on contrived instances. We release an open source library, AExGym, which is designed with modularity and extensibility in mind to allow experimentation practitioners to develop custom environments and algorithms.
- Abstract(参考訳): 科学と産業のイノベーションはランダム化試験(A/Bテスト)によって評価される。
単純で堅牢な設計であるが、そのような静的な設計は多くの仮説をテストするのに非効率または非効率である。
適応設計は理論上の統計的パワーを大幅に向上させることができるが、実際には脆弱性のために採用が限られている。
本稿では,非定常性,バッチ/遅延フィードバック,複数の結果と目的,外部妥当性など,適応性を運用する上での顕著な実践的課題を取り上げ,実世界のデータセットに基づく適応実験のベンチマークを示す。
本ベンチマークは,提案手法を応用した手法開発を推し進めることを目的としている。
我々はオープンソースのライブラリであるAExGymをリリースし、モジュラリティと拡張性を念頭に設計し、実験実践者がカスタム環境やアルゴリズムを開発できるようにする。
関連論文リスト
- Adaptive Experimentation When You Can't Experiment [55.86593195947978]
本稿では,Emphcon founded the pure exploration transductive linear bandit (textttCPET-LB) problem。
オンラインサービスは、ユーザーを特定の治療にインセンティブを与える、適切にランダム化された励ましを利用することができる。
論文 参考訳(メタデータ) (2024-06-15T20:54:48Z) - Adaptive Instrument Design for Indirect Experiments [48.815194906471405]
RCTとは異なり、間接的な実験は条件付き機器変数を利用して治療効果を推定する。
本稿では,データ収集ポリシーを適応的に設計することで,間接実験におけるサンプル効率の向上に向けた最初のステップについて述べる。
我々の主な貢献は、影響関数を利用して最適なデータ収集ポリシーを探索する実用的な計算手順である。
論文 参考訳(メタデータ) (2023-12-05T02:38:04Z) - ExPT: Synthetic Pretraining for Few-Shot Experimental Design [33.5918976228562]
実験事前変換器(Experiment Pretrained Transformers、ExPT)は、数発の実験設計の基礎モデルである。
ExPTは、合成事前学習と文脈内学習を組み合わせた新しい組み合わせを採用している。
挑戦領域における数ショットの実験設計におけるExPTの評価を行った。
論文 参考訳(メタデータ) (2023-10-30T19:25:43Z) - Flexible and Robust Counterfactual Explanations with Minimal Satisfiable
Perturbations [56.941276017696076]
我々は、最小満足度摂動(CEMSP)を用いた対実的説明法という概念的に単純だが効果的な解を提案する。
CEMSPは、意味論的に意味のある正常範囲の助けを借りて、異常な特徴の値を変更することを制限している。
既存の手法と比較して、我々は合成データセットと実世界のデータセットの両方で包括的な実験を行い、柔軟性を維持しつつ、より堅牢な説明を提供することを示した。
論文 参考訳(メタデータ) (2023-09-09T04:05:56Z) - Task-specific experimental design for treatment effect estimation [59.879567967089145]
因果推論の標準は大規模ランダム化試験(RCT)である。
近年の研究では、RCTのよりサンプル効率の良い代替案が提案されているが、これらは因果効果を求める下流の応用には適用できない。
実験的な設計のためのタスク固有のアプローチを開発し、特定の下流アプリケーションにカスタマイズされたサンプリング戦略を導出する。
論文 参考訳(メタデータ) (2023-06-08T18:10:37Z) - Adaptive Experimentation at Scale: A Computational Framework for
Flexible Batches [7.390918770007728]
結果がバッチで測定される少数の実測を含む実例によって動機付けられ,適応駆動型実験フレームワークを開発した。
我々の主な観察は、統計的推論において普遍的な正規近似は適応アルゴリズムの設計を導くことができることである。
論文 参考訳(メタデータ) (2023-03-21T04:17:03Z) - Adaptive Experimental Design and Counterfactual Inference [20.666734673282495]
本稿では, 適応型実験システムを用いた産業環境におけるナレーションの課題と落とし穴について, 教訓を共有した。
我々は,これらの経験に基づいて,対実的推論のための適応型実験設計フレームワークを開発した。
論文 参考訳(メタデータ) (2022-10-25T22:29:16Z) - Design Amortization for Bayesian Optimal Experimental Design [70.13948372218849]
予測情報ゲイン(EIG)のバウンダリに関してパラメータ化された変分モデルを最適化する。
実験者が1つの変分モデルを最適化し、潜在的に無限に多くの設計に対してEIGを推定できる新しいニューラルアーキテクチャを提案する。
論文 参考訳(メタデータ) (2022-10-07T02:12:34Z) - Benchopt: Reproducible, efficient and collaborative optimization
benchmarks [67.29240500171532]
Benchoptは、機械学習で最適化ベンチマークを自動化、再生、公開するためのフレームワークである。
Benchoptは実験を実行、共有、拡張するための既製のツールを提供することで、コミュニティのベンチマークを簡単にする。
論文 参考訳(メタデータ) (2022-06-27T16:19:24Z) - Bayesian optimization with known experimental and design constraints for
chemistry applications [0.0]
実験計画アルゴリズムであるPhoenicsとGryffinを拡張して、任意の制約を扱えるようにします。
2つのシミュレーション化学研究シナリオでその実用性を解説する。
論文 参考訳(メタデータ) (2022-03-29T22:16:54Z) - Parameter-free Online Test-time Adaptation [19.279048049267388]
実世界の様々なシナリオにおいて,テスト時間適応手法が事前学習されたモデルにどのような効果をもたらすかを示す。
我々は特に「保守的」なアプローチを提案し、ラプラシアン適応最大推定(LAME)を用いてこの問題に対処する。
提案手法では,既存の手法よりもシナリオの平均精度がはるかに高く,メモリフットプリントもはるかに高速である。
論文 参考訳(メタデータ) (2022-01-15T00:29:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。