論文の概要: Choosing a Proxy Metric from Past Experiments

• arxiv url: http://arxiv.org/abs/2309.07893v2
• Date: Sat, 15 Jun 2024 19:56:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 12:40:28.012093
• Title: Choosing a Proxy Metric from Past Experiments
• Title（参考訳）: 過去の実験からプロキシメトリックを選択する
• Authors: Nilesh Tripuraneni, Lee Richardson, Alexander D'Amour, Jacopo Soriano, Steve Yadlowsky,
• Abstract要約: 多くのランダム化実験では、長期的な計量の処理効果は測定が困難または不可能であることが多い。 一般的な方法は、いくつかの短期的プロキシメトリクスを計測して、長期的メトリックを綿密に追跡することである。 ランダム化実験の同種集団において最適なプロキシメトリックを定義し構築するための新しい統計フレームワークを導入する。
• 参考スコア（独自算出の注目度）: 54.338884612982405
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In many randomized experiments, the treatment effect of the long-term metric (i.e. the primary outcome of interest) is often difficult or infeasible to measure. Such long-term metrics are often slow to react to changes and sufficiently noisy they are challenging to faithfully estimate in short-horizon experiments. A common alternative is to measure several short-term proxy metrics in the hope they closely track the long-term metric -- so they can be used to effectively guide decision-making in the near-term. We introduce a new statistical framework to both define and construct an optimal proxy metric for use in a homogeneous population of randomized experiments. Our procedure first reduces the construction of an optimal proxy metric in a given experiment to a portfolio optimization problem which depends on the true latent treatment effects and noise level of experiment under consideration. We then denoise the observed treatment effects of the long-term metric and a set of proxies in a historical corpus of randomized experiments to extract estimates of the latent treatment effects for use in the optimization problem. One key insight derived from our approach is that the optimal proxy metric for a given experiment is not apriori fixed; rather it should depend on the sample size (or effective noise level) of the randomized experiment for which it is deployed. To instantiate and evaluate our framework, we employ our methodology in a large corpus of randomized experiments from an industrial recommendation system and construct proxy metrics that perform favorably relative to several baselines.
• Abstract（参考訳）: 多くのランダム化実験では、長期的な計量(すなわち、関心の最初の結果)の治療効果は、しばしば測定が困難または不可能である。 このような長期的なメトリクスは、しばしば変化に反応するのが遅く、短時間の水平実験で忠実に見積もるのは十分うるさい。 一般的な方法は、いくつかの短期的なプロキシメトリクスを測定して、彼らが長期的な指標を綿密に追跡することを期待することです。 ランダム化実験の同種集団で使用する最適なプロキシメトリックの定義と構築を両立する新しい統計フレームワークを提案する。 提案手法はまず,与えられた実験における最適プロキシメトリックの構成を,実際の潜時処理効果と検討中の実験の雑音レベルに依存するポートフォリオ最適化問題に還元する。 そこで我々は, ランダム化実験の歴史的コーパスにおいて, 長期的測定値と一連のプロキシの観察された治療効果を識別し, 最適化問題における潜在治療効果の評価を抽出する。 提案手法から得られた重要な洞察の一つは、与えられた実験の最適プロキシ指標がアプリオリ固定ではなく、その配置するランダム化実験のサンプルサイズ(あるいは有効雑音レベル)に依存することである。 提案手法を産業レコメンデーションシステムからのランダム化実験の大規模コーパスに応用し,いくつかの基準値に対して良好に作用するプロキシ指標を構築した。

関連論文リスト

• Experimenting on Markov Decision Processes with Local Treatments [13.182388658918502]
  マルコフ決定過程(MDP)をモデル化した力学系におけるランダム化実験について検討する。 我々のゴールは、比較的短期的な観察による長期累積報酬に対する治療・制御政策の影響を評価することである。
  論文  参考訳（メタデータ） (2024-07-29T00:41:11Z)
• Adaptive Experimentation When You Can't Experiment [55.86593195947978]
  本稿では,Emphcon founded the pure exploration transductive linear bandit (textttCPET-LB) problem。 オンラインサービスは、ユーザーを特定の治療にインセンティブを与える、適切にランダム化された励ましを利用することができる。
  論文  参考訳（メタデータ） (2024-06-15T20:54:48Z)
• Adaptive Instrument Design for Indirect Experiments [48.815194906471405]
  RCTとは異なり、間接的な実験は条件付き機器変数を利用して治療効果を推定する。 本稿では,データ収集ポリシーを適応的に設計することで,間接実験におけるサンプル効率の向上に向けた最初のステップについて述べる。 我々の主な貢献は、影響関数を利用して最適なデータ収集ポリシーを探索する実用的な計算手順である。
  論文  参考訳（メタデータ） (2023-12-05T02:38:04Z)
• Pareto optimal proxy metrics [62.997667081978825]
  プロキシメトリクスは、北の恒星の8倍の感度を持ち、常に同じ方向に移動することを示す。 我々は,大規模産業レコメンデーションシステムによる実験に方法論を適用した。
  論文  参考訳（メタデータ） (2023-07-03T13:29:14Z)
• A Reinforcement Learning Approach to Estimating Long-term Treatment Effects [13.371851720834918]
  ランダム化実験による制限は、長期効果を測定するために容易に拡張できないことである。 マルコフ過程における平均報酬を推定する強化学習(RL)アプローチを採用する。 観測された状態遷移が非定常である実世界のシナリオに動機付けられ、非定常問題のクラスのための新しいアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2022-10-14T05:33:19Z)
• Local Evaluation of Time Series Anomaly Detection Algorithms [9.717823994163277]
  本稿では,弱い仮定下でのほとんどすべてのデータセットに対して,逆アルゴリズムが高精度に到達し,リコール可能であることを示す。 本稿では,精度/リコール指標に対する理論的基盤,頑健,パラメータフリー,解釈可能な拡張を提案する。
  論文  参考訳（メタデータ） (2022-06-27T10:18:41Z)
• Partial Identification with Noisy Covariates: A Robust Optimization Approach [94.10051154390237]
  観測データセットからの因果推論は、しばしば共変量の測定と調整に依存する。 このロバストな最適化手法により、広範囲な因果調整法を拡張し、部分的同定を行うことができることを示す。 合成および実データセット全体で、このアプローチは既存の手法よりも高いカバレッジ確率でATEバウンダリを提供する。
  論文  参考訳（メタデータ） (2022-02-22T04:24:26Z)
• Adaptive neighborhood Metric learning [184.95321334661898]
  適応的近傍距離距離学習(ANML)という新しい距離距離距離距離距離距離学習アルゴリズムを提案する。 ANMLは線形埋め込みと深層埋め込みの両方を学ぶのに使うことができる。 本手法で提案するemphlog-exp平均関数は,深層学習手法をレビューするための新たな視点を与える。
  論文  参考訳（メタデータ） (2022-01-20T17:26:37Z)
• Efficient Adaptive Experimental Design for Average Treatment Effect Estimation [18.027128141189355]
  本研究では, 依存サンプルから構築した推定器を用いた効率的な実験法を提案する。 提案手法を正当化するために,有限および無限サンプル解析を行う。
  論文  参考訳（メタデータ） (2020-02-13T02:04:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。