論文の概要: Pareto optimal proxy metrics

• arxiv url: http://arxiv.org/abs/2307.01000v1
• Date: Mon, 3 Jul 2023 13:29:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-05 13:00:24.629272
• Title: Pareto optimal proxy metrics
• Title（参考訳）: paretoの最適プロキシメトリクス
• Authors: Lee Richardson, Alessandro Zito, Dylan Greaves and Jacopo Soriano
• Abstract要約: プロキシメトリクスは、北の恒星の8倍の感度を持ち、常に同じ方向に移動することを示す。 我々は,大規模産業レコメンデーションシステムによる実験に方法論を適用した。
• 参考スコア（独自算出の注目度）: 62.997667081978825
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: North star metrics and online experimentation play a central role in how technology companies improve their products. In many practical settings, however, evaluating experiments based on the north star metric directly can be difficult. The two most significant issues are 1) low sensitivity of the north star metric and 2) differences between the short-term and long-term impact on the north star metric. A common solution is to rely on proxy metrics rather than the north star in experiment evaluation and launch decisions. Existing literature on proxy metrics concentrates mainly on the estimation of the long-term impact from short-term experimental data. In this paper, instead, we focus on the trade-off between the estimation of the long-term impact and the sensitivity in the short term. In particular, we propose the Pareto optimal proxy metrics method, which simultaneously optimizes prediction accuracy and sensitivity. In addition, we give an efficient multi-objective optimization algorithm that outperforms standard methods. We applied our methodology to experiments from a large industrial recommendation system, and found proxy metrics that are eight times more sensitive than the north star and consistently moved in the same direction, increasing the velocity and the quality of the decisions to launch new features.
• Abstract（参考訳）: ノーススターのメトリクスとオンライン実験は、テクノロジー企業が製品を改善する上で中心的な役割を果たす。 しかし、多くの実用的な環境では、直接ノーススター計量に基づく実験の評価は困難である。 最も重要な2つの問題は 1)ノーススター計量の感度が低いこと、及び 2) ノーススター計量における短期的および長期的影響の差異 一般的な解決策は、実験評価と打ち上げ決定において、ノーススターではなくプロキシメトリクスに依存することだ。 プロキシメトリクスに関する既存の文献は、主に短期実験データからの長期的な影響の推定に焦点を当てている。 本稿では,その代わりに,長期的影響の推定と短期的感度とのトレードオフに着目した。 特に,予測精度と感度を同時に最適化するpareto optimal proxy metrics法を提案する。 さらに,標準手法に勝る効率的な多目的最適化アルゴリズムを提案する。 提案手法を大規模産業レコメンデーションシステムからの実験に適用し,北星より8倍感度が高く,常に同じ方向に移動しているプロキシメトリクスを発見し,新機能のローンチに向けた意思決定のベロシティと品質を高めた。

関連論文リスト

• Metric Learning for Tag Recommendation: Tackling Data Sparsity and Cold Start Issues [4.315795907799471]
  本稿では,メトリクス学習に基づくラベル推薦アルゴリズムを提案する。 従来のレコメンデーションシステムの課題を、効果的な距離や類似度を学習することで克服することを目的としている。 最初のいくつかの推奨項目の精度で特によく機能する。
  論文  参考訳（メタデータ） (2024-11-10T06:46:44Z)
• Are We Really Achieving Better Beyond-Accuracy Performance in Next Basket Recommendation? [57.91114305844153]
  次のバスケットレコメンデーション(NBR)は、ますます注目を集めている特別なタイプのシーケンシャルレコメンデーションである。 NBRに関する最近の研究は、繰り返し項目を推奨することと項目を探索することの間に大きなパフォーマンス差が見つかった。 本稿では,繰り返しアイテムを扱い,個別にアイテムを探索する2段階反復探索フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-02T09:59:35Z)
• Learning Metrics that Maximise Power for Accelerated A/B-Tests [13.528097424046823]
  ノーススター測度は通常遅延し、感度が低い。 実験は長い時間実行する必要があるが、それでも型IIエラーは多い。 短期的な信号からメトリクスを学習することで、この問題に対処することを提案する。
  論文  参考訳（メタデータ） (2024-02-06T11:31:04Z)
• Navigating the Metrics Maze: Reconciling Score Magnitudes and Accuracies [24.26653413077486]
  10年前、単一のメトリクスBLEUが機械翻訳研究の進歩を支配した。 本稿では,現代のメトリクスの「ダイナミックレンジ」について考察する。
  論文  参考訳（メタデータ） (2024-01-12T18:47:40Z)
• Choosing a Proxy Metric from Past Experiments [54.338884612982405]
  多くのランダム化実験では、長期的な計量の処理効果は測定が困難または不可能であることが多い。 一般的な方法は、いくつかの短期的プロキシメトリクスを計測して、長期的メトリックを綿密に追跡することである。 ランダム化実験の同種集団において最適なプロキシメトリックを定義し構築するための新しい統計フレームワークを導入する。
  論文  参考訳（メタデータ） (2023-09-14T17:43:02Z)
• Vanishing Point Estimation in Uncalibrated Images with Prior Gravity Direction [82.72686460985297]
  我々はマンハッタンのフレームを推定する問題に取り組む。 2つの新しい2行解法が導出され、そのうちの1つは既存の解法に影響を与える特異点に悩まされない。 また、局所最適化の性能を高めるために、任意の行で実行される新しい最小でないメソッドを設計する。
  論文  参考訳（メタデータ） (2023-08-21T13:03:25Z)
• A New Super-Resolution Measurement of Perceptual Quality and Fidelity [2.901173495131855]
  超高解像度結果は、通常、フルリファレンス画像の品質指標または人間の評価スコアによって測定される。 本研究では,超解像の1対1マッピング特性に基づいて評価問題を解析する。 提案手法は人間の知覚的品質と高い相関性を示し,既存の指標よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-10T21:08:24Z)
• Reenvisioning Collaborative Filtering vs Matrix Factorization [65.74881520196762]
  近年,行列因数分解に基づく協調フィルタリングモデルや,ニューラルネットワーク(ANN)を用いた類似性の学習が注目されている。 推薦エコシステム内でのANNの発表が最近疑問視され、効率性と有効性に関していくつかの比較がなされている。 本研究では,これらの手法が相補的評価次元に与える影響を解析しながら,超精度評価にもたらす可能性を示す。
  論文  参考訳（メタデータ） (2021-07-28T16:29:38Z)
• SIMPLE: SIngle-network with Mimicking and Point Learning for Bottom-up Human Pose Estimation [81.03485688525133]
  Single-network with Mimicking and Point Learning for Bottom-up Human Pose Estimation (SIMPLE) を提案する。 具体的には、トレーニングプロセスにおいて、SIMPLEが高性能なトップダウンパイプラインからのポーズ知識を模倣できるようにする。 さらに、SIMPLEは人間検出とポーズ推定を統一的なポイントラーニングフレームワークとして定式化し、単一ネットワークで相互に補完する。
  論文  参考訳（メタデータ） (2021-04-06T13:12:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。