論文の概要: ALT-MAS: A Data-Efficient Framework for Active Testing of Machine Learning Algorithms

• arxiv url: http://arxiv.org/abs/2104.04999v1
• Date: Sun, 11 Apr 2021 12:14:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-13 14:41:40.837740
• Title: ALT-MAS: A Data-Efficient Framework for Active Testing of Machine Learning Algorithms
• Title（参考訳）: ALT-MAS: 機械学習アルゴリズムのアクティブテストのためのデータ効率の良いフレームワーク
• Authors: Huong Ha, Sunil Gupta, Santu Rana, Svetha Venkatesh
• Abstract要約: 少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。 ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
• 参考スコア（独自算出の注目度）: 58.684954492439424
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning models are being used extensively in many important areas, but there is no guarantee a model will always perform well or as its developers intended. Understanding the correctness of a model is crucial to prevent potential failures that may have significant detrimental impact in critical application areas. In this paper, we propose a novel framework to efficiently test a machine learning model using only a small amount of labeled test data. The idea is to estimate the metrics of interest for a model-under-test using Bayesian neural network (BNN). We develop a novel data augmentation method helping to train the BNN to achieve high accuracy. We also devise a theoretic information based sampling strategy to sample data points so as to achieve accurate estimations for the metrics of interest. Finally, we conduct an extensive set of experiments to test various machine learning models for different types of metrics. Our experiments show that the metrics estimations by our method are significantly better than existing baselines.
• Abstract（参考訳）: 機械学習モデルは、多くの重要な分野で広く使われているが、モデルが常にうまく機能するか、あるいは開発者が意図したように動作する保証はない。 モデルの正しさを理解することは、重要なアプリケーション領域において重大な有害な影響をもたらす可能性のある潜在的な失敗を防ぐために不可欠である。 本稿では,少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストするための新しいフレームワークを提案する。 ベイジアンニューラルネットワーク(BNN)を用いて、モデルアンダーテストの関心度を推定する。 我々は,BNNを高精度に訓練するための新しいデータ拡張手法を開発した。 また,データポイントをサンプリングするための理論的情報に基づくサンプリング戦略を考案し,興味のあるメトリクスの正確な推定を実現する。 最後に、さまざまなタイプのメトリクスに対して、さまざまな機械学習モデルをテストするための広範な実験を行う。 実験の結果,提案手法による推定値は,既存のベースラインよりも有意に優れていることがわかった。

関連論文リスト

• Frugal Reinforcement-based Active Learning [12.18340575383456]
  本稿では,ラベル効率向上のための新しい能動的学習手法を提案する。 提案手法は反復的であり,多様性,表現性,不確実性の基準を混合した制約対象関数の最小化を目的としている。 また、強化学習に基づく新たな重み付け機構を導入し、各トレーニングイテレーションでこれらの基準を適応的にバランスさせる。
  論文  参考訳（メタデータ） (2022-12-09T14:17:45Z)
• A Survey of Learning on Small Data [57.7927064723908]
  小データの学習は人工知能(AI)の究極の目的の1つである この調査はPACフレームワーク下でのアクティブサンプリングに追随し、小さなデータにおける学習の一般化誤差とラベルの複雑さを分析した。 コンピュータビジョンや自然言語処理といった、小さなデータでの学習の恩恵を受ける難しい応用も調査されている。
  論文  参考訳（メタデータ） (2022-07-29T02:34:19Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)
• Learning to be a Statistician: Learned Estimator for Number of Distinct Values [54.629042119819744]
  列内の異なる値の数(NDV)を推定することは、データベースシステムにおける多くのタスクに有用である。 本研究では、ランダム(オンライン/オフライン)サンプルから正確なNDV推定を導出する方法に焦点を当てる。 教師付き学習フレームワークにおいて,NDV推定タスクを定式化し,モデルを推定対象として学習することを提案する。
  論文  参考訳（メタデータ） (2022-02-06T15:42:04Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Robust Out-of-Distribution Detection on Deep Probabilistic Generative Models [0.06372261626436676]
  アウト・オブ・ディストリビューション(OOD)検出は機械学習システムにおいて重要な課題である。 深い確率的生成モデルは、データサンプルの可能性を推定することによって、OODの検出を容易にする。 本稿では,外周露光を伴わない新しい検出指標を提案する。
  論文  参考訳（メタデータ） (2021-06-15T06:36:10Z)
• Efficacy of Bayesian Neural Networks in Active Learning [11.609770399591516]
  ベイズニューラルネットワークは、アンサンブルに基づく不確実性を捕捉する技術よりも効率的であることを示す。 また,近年,モンテカルロのドロップアウトよりも効果的であることが判明したアンサンブル技法の重要な欠点も明らかにした。
  論文  参考訳（メタデータ） (2021-04-02T06:02:11Z)
• It's the Best Only When It Fits You Most: Finding Related Models for Serving Based on Dynamic Locality Sensitive Hashing [1.581913948762905]
  トレーニングデータの作成は、生産や研究のためにディープラーニングモデルをデプロイするライフサイクルにおいて、しばしばボトルネックとなる。 本稿では,対象のデータセットと利用可能なモデルのトレーニングデータセットの類似性に基づいて,関連するモデルを検索してサービスするエンド・ツー・エンドプロセスを提案する。
  論文  参考訳（メタデータ） (2020-10-13T22:52:13Z)
• Few-shot Learning for Spatial Regression [31.022722103424684]
  空間回帰のための数ショット学習法を提案する。 本モデルは,地域によって異なる属性の空間的データセットを用いて訓練されている。 本研究では,提案手法が既存のメタ学習手法よりも優れた予測性能を実現することを示す。
  論文  参考訳（メタデータ） (2020-10-09T04:05:01Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。