論文の概要: Active Testing: Sample-Efficient Model Evaluation

• arxiv url: http://arxiv.org/abs/2103.05331v1
• Date: Tue, 9 Mar 2021 10:20:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-10 15:09:08.968394
• Title: Active Testing: Sample-Efficient Model Evaluation
• Title（参考訳）: アクティブテスト: サンプル効率モデルの評価
• Authors: Jannik Kossen, Sebastian Farquhar, Yarin Gal, Tom Rainforth
• Abstract要約: サンプル効率のよいモデル評価のための新しいフレームワークであるactive testingを紹介する。 アクティブテストは、ラベルにテストポイントを慎重に選択することでこれに対処する。 我々は,推定器のばらつきを低減しつつ,バイアスの除去方法を示す。
• 参考スコア（独自算出の注目度）: 39.200332879659456
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce active testing: a new framework for sample-efficient model evaluation. While approaches like active learning reduce the number of labels needed for model training, existing literature largely ignores the cost of labeling test data, typically unrealistically assuming large test sets for model evaluation. This creates a disconnect to real applications where test labels are important and just as expensive, e.g. for optimizing hyperparameters. Active testing addresses this by carefully selecting the test points to label, ensuring model evaluation is sample-efficient. To this end, we derive theoretically-grounded and intuitive acquisition strategies that are specifically tailored to the goals of active testing, noting these are distinct to those of active learning. Actively selecting labels introduces a bias; we show how to remove that bias while reducing the variance of the estimator at the same time. Active testing is easy to implement, effective, and can be applied to any supervised machine learning method. We demonstrate this on models including WideResNet and Gaussian processes on datasets including CIFAR-100.
• Abstract（参考訳）: サンプル効率のよいモデル評価のための新しいフレームワークであるactive testingを紹介する。 アクティブラーニングのようなアプローチは、モデルトレーニングに必要なラベルの数を減らすが、既存の文献はテストデータのラベル付けのコストをほとんど無視し、モデル評価のために大きなテストセットを非現実的に仮定する。 これにより、テストラベルが重要であり、同様に高価である実際のアプリケーションとの接続が切断される。 ハイパーパラメータを最適化します アクティブテストは、ラベルにテストポイントを慎重に選択し、モデル評価がサンプル効率であることを保証します。 そのために、我々は、アクティブテストの目標に合わせて特別に調整された理論的根拠と直感的な取得戦略を導き出し、これらはアクティブラーニングと異なることを指摘した。 ラベルを積極的に選択するとバイアスが発生し、同時に推定器のばらつきを減らしながらそのバイアスを除去する方法を示す。 アクティブテストは実装が簡単で、効果的であり、任意の教師付き機械学習手法に適用できる。 CIFAR-100を含むデータセット上の WideResNet および Gaussian プロセスを含むモデルでこれを実証します。

関連論文リスト

• Context-Aware Testing: A New Paradigm for Model Testing with Large Language Models [49.06068319380296]
  我々は,コンテキストを帰納バイアスとして用いて意味のあるモデル障害を探索するコンテキスト認識テスト(CAT)を導入する。 最初のCATシステムSMART Testingをインスタンス化し、大きな言語モデルを用いて、関連性があり、起こりうる失敗を仮説化します。
  論文  参考訳（メタデータ） (2024-10-31T15:06:16Z)
• Realistic Evaluation of Test-Time Adaptation Algorithms: Unsupervised Hyperparameter Selection [1.4530711901349282]
  TTA(Test-Time Adaptation)は、分散シフト下での機械学習モデルロバストネスの問題に対処するための有望な戦略として登場した。 我々は,サロゲートベースのhp選択戦略を用いて既存のTTA手法を評価し,その性能をより現実的に評価する。
  論文  参考訳（メタデータ） (2024-07-19T11:58:30Z)
• Model Uncertainty based Active Learning on Tabular Data using Boosted Trees [0.4667030429896303]
  監視された機械学習は、モデルトレーニングのための良質なラベル付きデータの可用性に依存している。 アクティブな学習は機械学習のサブフィールドであり、ラベル付きデータを効率的に取得するのに役立つ。
  論文  参考訳（メタデータ） (2023-10-30T14:29:53Z)
• Active Learning with Combinatorial Coverage [0.0]
  アクティブな学習は、ラベル付けするデータを選択するプロセスを自動化する機械学習の実践的な分野である。 現在の手法はデータラベリングの負担を軽減するのに有効であるが、モデルに強く依存する。 これにより、サンプルデータの新しいモデルへの転送が不可能になり、サンプリングバイアスの問題も発生した。 本稿では,これらの課題を克服するために,カバレッジを活用した能動的学習手法を提案する。
  論文  参考訳（メタデータ） (2023-02-28T13:43:23Z)
• Rethinking Precision of Pseudo Label: Test-Time Adaptation via Complementary Learning [10.396596055773012]
  本稿では,テスト時間適応性を高めるための新しい補完学習手法を提案する。 テスト時適応タスクでは、ソースドメインからの情報は通常利用できない。 我々は,相補ラベルのリスク関数がバニラ損失式と一致することを強調した。
  論文  参考訳（メタデータ） (2023-01-15T03:36:33Z)
• Temporal Output Discrepancy for Loss Estimation-based Active Learning [65.93767110342502]
  ラベルのないサンプルが高損失を伴っていると信じられている場合に,データアノテーションのオラクルに問い合わせる,新しいディープラーニングアプローチを提案する。 本手法は,画像分類やセマンティックセグメンテーションタスクにおける最先端の能動学習手法よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-12-20T19:29:37Z)
• ALBench: A Framework for Evaluating Active Learning in Object Detection [102.81795062493536]
  本稿では、オブジェクト検出におけるアクティブラーニングを評価するために、ALBenchという名前のアクティブラーニングベンチマークフレームワークをコントリビュートする。 自動深層モデルトレーニングシステム上で開発されたこのALBenchフレームワークは、使いやすく、さまざまなアクティブな学習アルゴリズムと互換性があり、同じトレーニングおよびテストプロトコルを保証する。
  論文  参考訳（メタデータ） (2022-07-27T07:46:23Z)
• Active Surrogate Estimators: An Active Learning Approach to Label-Efficient Model Evaluation [59.7305309038676]
  モデル評価のためのアクティブサロゲート推定器(ASE)を提案する。 ASEは現在の最先端技術よりもラベル効率が高いことが分かりました。
  論文  参考訳（メタデータ） (2022-02-14T17:15:18Z)
• TestRank: Bringing Order into Unlabeled Test Instances for Deep Learning Tasks [14.547623982073475]
  ディープラーニングシステムはテストやデバッグが難しいことで有名です。 テストコスト削減のために、テスト選択を行い、選択した“高品質”バグ修正テストインプットのみをラベル付けすることが不可欠である。 本稿では,未ラベルのテストインスタンスに,バグ検出機能,すなわちTestRankに従って順序を付ける新しいテスト優先順位付け手法を提案する。
  論文  参考訳（メタデータ） (2021-05-21T03:41:10Z)
• ALT-MAS: A Data-Efficient Framework for Active Testing of Machine Learning Algorithms [58.684954492439424]
  少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。 ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
  論文  参考訳（メタデータ） (2021-04-11T12:14:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。