論文の概要: ALT-MAS: A Data-Efficient Framework for Active Testing of Machine Learning Algorithms

• arxiv url: http://arxiv.org/abs/2104.04999v1
• Date: Sun, 11 Apr 2021 12:14:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-13 14:41:40.837740
• Title: ALT-MAS: A Data-Efficient Framework for Active Testing of Machine Learning Algorithms
• Title（参考訳）: ALT-MAS: 機械学習アルゴリズムのアクティブテストのためのデータ効率の良いフレームワーク
• Authors: Huong Ha, Sunil Gupta, Santu Rana, Svetha Venkatesh
• Abstract要約: 少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。 ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
• 参考スコア（独自算出の注目度）: 58.684954492439424
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning models are being used extensively in many important areas, but there is no guarantee a model will always perform well or as its developers intended. Understanding the correctness of a model is crucial to prevent potential failures that may have significant detrimental impact in critical application areas. In this paper, we propose a novel framework to efficiently test a machine learning model using only a small amount of labeled test data. The idea is to estimate the metrics of interest for a model-under-test using Bayesian neural network (BNN). We develop a novel data augmentation method helping to train the BNN to achieve high accuracy. We also devise a theoretic information based sampling strategy to sample data points so as to achieve accurate estimations for the metrics of interest. Finally, we conduct an extensive set of experiments to test various machine learning models for different types of metrics. Our experiments show that the metrics estimations by our method are significantly better than existing baselines.
• Abstract（参考訳）: 機械学習モデルは、多くの重要な分野で広く使われているが、モデルが常にうまく機能するか、あるいは開発者が意図したように動作する保証はない。 モデルの正しさを理解することは、重要なアプリケーション領域において重大な有害な影響をもたらす可能性のある潜在的な失敗を防ぐために不可欠である。 本稿では,少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストするための新しいフレームワークを提案する。 ベイジアンニューラルネットワーク(BNN)を用いて、モデルアンダーテストの関心度を推定する。 我々は,BNNを高精度に訓練するための新しいデータ拡張手法を開発した。 また,データポイントをサンプリングするための理論的情報に基づくサンプリング戦略を考案し,興味のあるメトリクスの正確な推定を実現する。 最後に、さまざまなタイプのメトリクスに対して、さまざまな機械学習モデルをテストするための広範な実験を行う。 実験の結果,提案手法による推定値は,既存のベースラインよりも有意に優れていることがわかった。

関連論文リスト

• A Survey of Learning on Small Data [57.7927064723908]
  小データの学習は人工知能(AI)の究極の目的の1つである この調査はPACフレームワーク下でのアクティブサンプリングに追随し、小さなデータにおける学習の一般化誤差とラベルの複雑さを分析した。 コンピュータビジョンや自然言語処理といった、小さなデータでの学習の恩恵を受ける難しい応用も調査されている。
  論文  参考訳（メタデータ） (2022-07-29T02:34:19Z)
• Efficient Classification with Counterfactual Reasoning and Active Learning [4.708737212700907]
  CCRALと呼ばれる手法は、因果推論と、元のトレーニングサンプルの反事実サンプルの学習と、不確実性の領域に基づいて有用な反事実サンプルを選択するアクティブラーニングを組み合わせたものである。 実験の結果, CCRALは精度とAUCの点で, ベースラインよりも有意に優れた性能を示した。
  論文  参考訳（メタデータ） (2022-07-25T12:03:40Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)
• Learning new physics efficiently with nonparametric methods [11.970219534238444]
  モデルに依存しない新しい物理探索のための機械学習手法を提案する。 対応するアルゴリズムは、最近のカーネルメソッドの大規模実装によって実現されている。 トレーニング時間や計算資源の観点から、ニューラルネットワークの実装と比較して、我々のアプローチは劇的なアドバンテージがあることが示される。
  論文  参考訳（メタデータ） (2022-04-05T16:17:59Z)
• Learning to be a Statistician: Learned Estimator for Number of Distinct Values [54.629042119819744]
  列内の異なる値の数(NDV)を推定することは、データベースシステムにおける多くのタスクに有用である。 本研究では、ランダム(オンライン/オフライン)サンプルから正確なNDV推定を導出する方法に焦点を当てる。 教師付き学習フレームワークにおいて,NDV推定タスクを定式化し,モデルを推定対象として学習することを提案する。
  論文  参考訳（メタデータ） (2022-02-06T15:42:04Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• EARLIN: Early Out-of-Distribution Detection for Resource-efficient Collaborative Inference [4.826988182025783]
  協調推論により、リソース制約のあるエッジデバイスは、入力をサーバにアップロードすることで推論を行うことができる。 このセットアップは、成功した推論のためにコスト効率よく機能するが、モデルがトレーニングされていない入力サンプルに直面すると、非常にパフォーマンスが低下する。 我々は,事前訓練されたCNNモデルの浅い層から重要な特徴を抽出する,新しい軽量OOD検出手法を提案する。
  論文  参考訳（メタデータ） (2021-06-25T18:43:23Z)
• Robust Out-of-Distribution Detection on Deep Probabilistic Generative Models [0.06372261626436676]
  アウト・オブ・ディストリビューション(OOD)検出は機械学習システムにおいて重要な課題である。 深い確率的生成モデルは、データサンプルの可能性を推定することによって、OODの検出を容易にする。 本稿では,外周露光を伴わない新しい検出指標を提案する。
  論文  参考訳（メタデータ） (2021-06-15T06:36:10Z)
• Rank-R FNN: A Tensor-Based Learning Model for High-Order Data Classification [69.26747803963907]
  Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。 まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。 Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
  論文  参考訳（メタデータ） (2021-04-11T16:37:32Z)
• Efficacy of Bayesian Neural Networks in Active Learning [11.609770399591516]
  ベイズニューラルネットワークは、アンサンブルに基づく不確実性を捕捉する技術よりも効率的であることを示す。 また,近年,モンテカルロのドロップアウトよりも効果的であることが判明したアンサンブル技法の重要な欠点も明らかにした。
  論文  参考訳（メタデータ） (2021-04-02T06:02:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。