論文の概要: Virtual Control Group: Measuring Hidden Performance Metrics

• arxiv url: http://arxiv.org/abs/2208.12941v1
• Date: Sat, 27 Aug 2022 06:58:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-30 14:16:41.294376
• Title: Virtual Control Group: Measuring Hidden Performance Metrics
• Title（参考訳）: virtual control group: 隠れたパフォーマンスメトリクスの測定
• Authors: Moshe Tocker
• Abstract要約: 本稿では,調査理論と因果推論に基づく統計的手法を用いて,システムの偽陽性率や単一ブロッキングポリシーを推定する。 本稿では,サイバーセキュリティなどの他の統合ドメインに適用可能なアプローチについて述べる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Performance metrics measuring in Financial Integrity systems are crucial for maintaining an efficient and cost effective operation. An important performance metric is False Positive Rate. This metric cannot be directly monitored since we don't know for sure if a user is bad once blocked. We present a statistical method based on survey theory and causal inference methods to estimate the false positive rate of the system or a single blocking policy. We also suggest a new approach of outcome matching that in some cases including empirical data outperformed other commonly used methods. The approaches described in this paper can be applied in other Integrity domains such as Cyber Security.
• Abstract（参考訳）: 財務整合性システムにおけるパフォーマンス指標の測定は、効率的で費用対効果の高いオペレーションを維持するために不可欠である。 重要なパフォーマンス指標は偽陽性率である。 このメトリクスは、ユーザが一度ブロックされたときに悪いかどうか確信が持てないので、直接監視することはできない。 本稿では,調査理論と因果推論に基づく統計的手法を用いて,システムの偽陽性率や単一ブロッキングポリシーを推定する。 また、実験データを含むいくつかのケースでは、他の一般的な手法よりも優れた結果マッチング手法を提案する。 本稿では,サイバーセキュリティなどの他の統合ドメインに適用可能なアプローチについて述べる。

関連論文リスト

• Evaluating the Effectiveness of Index-Based Treatment Allocation [42.040099398176665]
  リソースが不足している場合には、リソースを誰が受け取るかを決定するためにアロケーションポリシーが必要である。 本稿では、ランダム化制御試験のデータを用いて、インデックスベースのアロケーションポリシーを評価する手法を提案する。
  論文  参考訳（メタデータ） (2024-02-19T01:55:55Z)
• Variance Reduction in Ratio Metrics for Efficient Online Experiments [12.036747050794135]
  大規模なショートビデオプラットフォーム上での比率測定に分散低減手法を適用した: ShareChat。 その結果,77%の症例でA/Bテストの信頼性を向上できるか,データポイントを30%減らして同一の信頼性を維持することができることがわかった。
  論文  参考訳（メタデータ） (2024-01-08T18:01:09Z)
• Efficient Conformal Prediction under Data Heterogeneity [79.35418041861327]
  コンフォーマル予測(CP)は不確実性定量化のための頑健な枠組みである。 非交換性に対処するための既存のアプローチは、最も単純な例を超えて計算不可能なメソッドにつながる。 この研究は、比較的一般的な非交換可能なデータ分布に対して証明可能な信頼セットを生成する、CPに新しい効率的なアプローチを導入する。
  論文  参考訳（メタデータ） (2023-12-25T20:02:51Z)
• Auditing Fairness by Betting [47.53732591434]
  我々は,デプロイされた分類モデルと回帰モデルの公平性を評価するための,実用的で効率的で非パラメトリックな手法を提供する。 我々の手法は逐次的であり、入ってくるデータの継続的なモニタリングを可能にする。 提案手法の有効性を3つのベンチマークフェアネスデータセットに示す。
  論文  参考訳（メタデータ） (2023-05-27T20:14:11Z)
• Uncertainty-Aware Instance Reweighting for Off-Policy Learning [63.31923483172859]
  本研究では,不確実性を考慮した逆確率スコア推定器 (UIPS) を提案する。 実世界の3つのレコメンデーションデータセットを用いた実験結果から,提案したUIPS推定器の有効サンプル効率が示された。
  論文  参考訳（メタデータ） (2023-03-11T11:42:26Z)
• Evaluating Membership Inference Through Adversarial Robustness [6.983991370116041]
  本稿では,敵の強靭性に基づくメンバシップ推論攻撃の強化手法を提案する。 提案手法をFashion-MNIST, CIFAR-10, CIFAR-100の3つのデータセットで評価した。
  論文  参考訳（メタデータ） (2022-05-14T06:48:47Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• CoinDICE: Off-Policy Confidence Interval Estimation [107.86876722777535]
  強化学習における高信頼行動非依存のオフ政治評価について検討する。 様々なベンチマークにおいて、信頼区間推定が既存の手法よりも厳密で精度が高いことが示されている。
  論文  参考訳（メタデータ） (2020-10-22T12:39:11Z)
• Binary Classification from Positive Data with Skewed Confidence [85.18941440826309]
  肯定的信頼度(Pconf)分類は、有望な弱教師付き学習法である。 実際には、信頼はアノテーションプロセスで生じるバイアスによって歪められることがある。 本稿では、スキュード信頼度のパラメータ化モデルを導入し、ハイパーパラメータを選択する方法を提案する。
  論文  参考訳（メタデータ） (2020-01-29T00:04:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。