論文の概要: Active Assessment of Prediction Services as Accuracy Surface Over Attribute Combinations

• arxiv url: http://arxiv.org/abs/2108.06514v1
• Date: Sat, 14 Aug 2021 10:59:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-17 14:55:03.286259
• Title: Active Assessment of Prediction Services as Accuracy Surface Over Attribute Combinations
• Title（参考訳）: 属性の組み合わせに対する精度面としての予測サービスの能動的評価
• Authors: Vihari Piratla, Soumen Chakrabarty, Sunita Sarawagi
• Abstract要約: Attributed Accuracy Assay (AAA) はそのような精度表面の確率的推定器である。 GPは, 巨大属性空間上の不確実性に対処できないことを示す。 スパース観測のプール化と,ベータ密度のスケールパラメータの正規化という2つの拡張を提案する。
• 参考スコア（独自算出の注目度）: 22.18147577177574
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Our goal is to evaluate the accuracy of a black-box classification model, not as a single aggregate on a given test data distribution, but as a surface over a large number of combinations of attributes characterizing multiple test data distributions. Such attributed accuracy measures become important as machine learning models get deployed as a service, where the training data distribution is hidden from clients, and different clients may be interested in diverse regions of the data distribution. We present Attributed Accuracy Assay (AAA)--a Gaussian Process (GP)--based probabilistic estimator for such an accuracy surface. Each attribute combination, called an 'arm', is associated with a Beta density from which the service's accuracy is sampled. We expect the GP to smooth the parameters of the Beta density over related arms to mitigate sparsity. We show that obvious application of GPs cannot address the challenge of heteroscedastic uncertainty over a huge attribute space that is sparsely and unevenly populated. In response, we present two enhancements: pooling sparse observations, and regularizing the scale parameter of the Beta densities. After introducing these innovations, we establish the effectiveness of AAA in terms of both its estimation accuracy and exploration efficiency, through extensive experiments and analysis.
• Abstract（参考訳）: 本研究の目的は,ブラックボックス分類モデルの精度を評価することであり,テストデータ分布の1つの集合ではなく,複数のテストデータ分布を特徴付ける多数の属性の組み合わせの曲面として評価することである。 トレーニングデータ分散がクライアントから隠蔽され、異なるクライアントがデータ分散のさまざまな領域に興味を持つようになると、マシンラーニングモデルがサービスとしてデプロイされるにつれて、このような帰結した正確性測定が重要になる。 本稿では,AAA(Attributed Accuracy Assay) - ガウス過程(GP)に基づく,そのような精度表面の確率的推定器を提案する。 各属性の組み合わせは'arm'と呼ばれ、サービスの精度をサンプリングしたベータ密度に関連付けられている。 GPが関連するアーム上でベータ密度のパラメータを滑らかにすることで、間隔を緩和することを期待している。 gpsの明らかな応用は,人口の少ない巨大な属性空間におけるヘテロシデスティックな不確実性の課題に対処できないことを示す。 これに反応して,スパース観測をプールし,ベータ密度のスケールパラメータを定式化する2つの機能拡張を行った。 これらのイノベーションを導入した後、広範囲な実験と分析を通じて、推定精度と探索効率の両方の観点からAAAの有効性を確立した。

関連論文リスト

• Semiparametric conformal prediction [79.6147286161434]
  リスクに敏感なアプリケーションは、複数の、潜在的に相関したターゲット変数に対して、よく校正された予測セットを必要とする。 スコアをランダムなベクトルとして扱い、それらの連接関係構造を考慮した予測セットを構築することを目的とする。 実世界のレグレッション問題に対して,所望のカバレッジと競争効率について報告する。
  論文  参考訳（メタデータ） (2024-11-04T14:29:02Z)
• Investigating the Impact of Hard Samples on Accuracy Reveals In-class Data Imbalance [4.291589126905706]
  AutoMLドメインでは、モデルの有効性を評価するための重要な指標として、テスト精度が宣言される。 しかし、主性能指標としての試験精度の信頼性は疑問視されている。 トレーニングセットとテストセット間のハードサンプルの分布は、これらのセットの難易度に影響を与える。 本稿では,ハードサンプル識別法を比較するためのベンチマーク手法を提案する。
  論文  参考訳（メタデータ） (2024-09-22T11:38:14Z)
• Predictive Accuracy-Based Active Learning for Medical Image Segmentation [5.25147264940975]
  医用画像セグメンテーションのための効果的な予測精度に基づく能動学習法を提案する。 PAALは、精度予測器(AP)と軽量ポーリング戦略(WPS)から構成される。 複数のデータセットに対する実験結果は、PAALの優位性を示している。
  論文  参考訳（メタデータ） (2024-05-01T11:12:08Z)
• A Targeted Accuracy Diagnostic for Variational Approximations [8.969208467611896]
  変分推論(VI)はマルコフ・チェイン・モンテカルロ(MCMC)の魅力的な代替品である 既存の方法は、全変分分布の品質を特徴付ける。 配電近似精度(TADDAA)のためのTArgeted診断法を提案する。
  論文  参考訳（メタデータ） (2023-02-24T02:50:18Z)
• Bayes Classification using an approximation to the Joint Probability Distribution of the Attributes [1.0660480034605242]
  本研究では,テストサンプルの近傍の情報を用いて条件付き確率を推定する手法を提案する。 本稿では,カリフォルニア大学アーバイン校(UCI)の機械学習リポジトリから得られた幅広いデータセットに対する提案手法の性能について述べる。
  論文  参考訳（メタデータ） (2022-05-29T22:24:02Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)
• Data Dependent Randomized Smoothing [127.34833801660233]
  データ依存フレームワークは、3つのランダムな平滑化アプローチにシームレスに組み込むことができます。 CIFAR10とImageNetで0.5の半径の最強ベースラインの認定精度よりも9%と6%の改善が得られています。
  論文  参考訳（メタデータ） (2020-12-08T10:53:11Z)
• AutoAssign: Differentiable Label Assignment for Dense Object Detection [94.24431503373884]
  Auto COCOは、物体検出のためのアンカーフリー検出器である。 外観認識は、完全に微分可能な重み付け機構によって実現される。 我々の最良のモデルでは52.1%のAPが達成され、既存の1段検出器よりも優れている。
  論文  参考訳（メタデータ） (2020-07-07T14:32:21Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。