論文の概要: Active Assessment of Prediction Services as Accuracy Surface Over
Attribute Combinations
- arxiv url: http://arxiv.org/abs/2108.06514v1
- Date: Sat, 14 Aug 2021 10:59:14 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-17 14:55:03.286259
- Title: Active Assessment of Prediction Services as Accuracy Surface Over
Attribute Combinations
- Title(参考訳): 属性の組み合わせに対する精度面としての予測サービスの能動的評価
- Authors: Vihari Piratla, Soumen Chakrabarty, Sunita Sarawagi
- Abstract要約: Attributed Accuracy Assay (AAA) はそのような精度表面の確率的推定器である。
GPは, 巨大属性空間上の不確実性に対処できないことを示す。
スパース観測のプール化と,ベータ密度のスケールパラメータの正規化という2つの拡張を提案する。
- 参考スコア(独自算出の注目度): 22.18147577177574
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Our goal is to evaluate the accuracy of a black-box classification model, not
as a single aggregate on a given test data distribution, but as a surface over
a large number of combinations of attributes characterizing multiple test data
distributions. Such attributed accuracy measures become important as machine
learning models get deployed as a service, where the training data distribution
is hidden from clients, and different clients may be interested in diverse
regions of the data distribution. We present Attributed Accuracy Assay (AAA)--a
Gaussian Process (GP)--based probabilistic estimator for such an accuracy
surface. Each attribute combination, called an 'arm', is associated with a Beta
density from which the service's accuracy is sampled. We expect the GP to
smooth the parameters of the Beta density over related arms to mitigate
sparsity. We show that obvious application of GPs cannot address the challenge
of heteroscedastic uncertainty over a huge attribute space that is sparsely and
unevenly populated. In response, we present two enhancements: pooling sparse
observations, and regularizing the scale parameter of the Beta densities. After
introducing these innovations, we establish the effectiveness of AAA in terms
of both its estimation accuracy and exploration efficiency, through extensive
experiments and analysis.
- Abstract(参考訳): 本研究の目的は,ブラックボックス分類モデルの精度を評価することであり,テストデータ分布の1つの集合ではなく,複数のテストデータ分布を特徴付ける多数の属性の組み合わせの曲面として評価することである。
トレーニングデータ分散がクライアントから隠蔽され、異なるクライアントがデータ分散のさまざまな領域に興味を持つようになると、マシンラーニングモデルがサービスとしてデプロイされるにつれて、このような帰結した正確性測定が重要になる。
本稿では,AAA(Attributed Accuracy Assay) - ガウス過程(GP)に基づく,そのような精度表面の確率的推定器を提案する。
各属性の組み合わせは'arm'と呼ばれ、サービスの精度をサンプリングしたベータ密度に関連付けられている。
GPが関連するアーム上でベータ密度のパラメータを滑らかにすることで、間隔を緩和することを期待している。
gpsの明らかな応用は,人口の少ない巨大な属性空間におけるヘテロシデスティックな不確実性の課題に対処できないことを示す。
これに反応して,スパース観測をプールし,ベータ密度のスケールパラメータを定式化する2つの機能拡張を行った。
これらのイノベーションを導入した後、広範囲な実験と分析を通じて、推定精度と探索効率の両方の観点からAAAの有効性を確立した。
関連論文リスト
- A Targeted Accuracy Diagnostic for Variational Approximations [8.969208467611896]
変分推論(VI)はマルコフ・チェイン・モンテカルロ(MCMC)の魅力的な代替品である
既存の方法は、全変分分布の品質を特徴付ける。
配電近似精度(TADDAA)のためのTArgeted診断法を提案する。
論文 参考訳(メタデータ) (2023-02-24T02:50:18Z) - Bayes Classification using an approximation to the Joint Probability
Distribution of the Attributes [1.0660480034605242]
本研究では,テストサンプルの近傍の情報を用いて条件付き確率を推定する手法を提案する。
本稿では,カリフォルニア大学アーバイン校(UCI)の機械学習リポジトリから得られた幅広いデータセットに対する提案手法の性能について述べる。
論文 参考訳(メタデータ) (2022-05-29T22:24:02Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳(メタデータ) (2022-01-11T23:01:12Z) - Meta Learning Low Rank Covariance Factors for Energy-Based Deterministic
Uncertainty [58.144520501201995]
ニューラルネットワーク層のBi-Lipschitz正規化は、各レイヤの特徴空間におけるデータインスタンス間の相対距離を保存する。
注意セットエンコーダを用いて,タスク固有の共分散行列を効率的に構築するために,対角的,対角的,低ランクな要素のメタ学習を提案する。
また,最終的な予測分布を達成するために,スケールしたエネルギーを利用する推論手法を提案する。
論文 参考訳(メタデータ) (2021-10-12T22:04:19Z) - Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。
彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。
本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
論文 参考訳(メタデータ) (2021-02-22T07:02:37Z) - Data Dependent Randomized Smoothing [127.34833801660233]
データ依存フレームワークは、3つのランダムな平滑化アプローチにシームレスに組み込むことができます。
CIFAR10とImageNetで0.5の半径の最強ベースラインの認定精度よりも9%と6%の改善が得られています。
論文 参考訳(メタデータ) (2020-12-08T10:53:11Z) - Few-shot Learning for Spatial Regression [31.022722103424684]
空間回帰のための数ショット学習法を提案する。
本モデルは,地域によって異なる属性の空間的データセットを用いて訓練されている。
本研究では,提案手法が既存のメタ学習手法よりも優れた予測性能を実現することを示す。
論文 参考訳(メタデータ) (2020-10-09T04:05:01Z) - DeepSampling: Selectivity Estimation with Predicted Error and Response
Time [7.23389716633927]
本稿では,サンプルベースAQPアルゴリズムの精度を予測するディープラーニングモデルであるDeepSamplingを提案する。
DeepSamplingは、既存の空間データベースがAQPの精度を制御するための信頼性の高いツールを提供する最初のシステムである。
論文 参考訳(メタデータ) (2020-08-16T03:23:01Z) - AutoAssign: Differentiable Label Assignment for Dense Object Detection [94.24431503373884]
Auto COCOは、物体検出のためのアンカーフリー検出器である。
外観認識は、完全に微分可能な重み付け機構によって実現される。
我々の最良のモデルでは52.1%のAPが達成され、既存の1段検出器よりも優れている。
論文 参考訳(メタデータ) (2020-07-07T14:32:21Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳(メタデータ) (2020-06-26T13:50:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。