論文の概要: Effective Evaluation of Deep Active Learning on Image Classification Tasks

• arxiv url: http://arxiv.org/abs/2106.15324v2
• Date: Wed, 30 Jun 2021 04:49:40 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-04 19:44:01.704226
• Title: Effective Evaluation of Deep Active Learning on Image Classification Tasks
• Title（参考訳）: 画像分類タスクにおける深層アクティブラーニングの効果的評価
• Authors: Nathan Beck, Durga Sivasubramanian, Apurva Dani, Ganesh Ramakrishnan, Rishabh Iyer
• Abstract要約: 画像分類の文脈において,最先端の能動学習アルゴリズムを統一的に実装する。 正の面では、AL手法はデータ拡張によるRSに比べてラベル効率が2倍から4倍高いことを示す。
• 参考スコア（独自算出の注目度）: 10.27095298129151
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: With the goal of making deep learning more label-efficient, a growing number of papers have been studying active learning (AL) for deep models. However, there are a number of issues in the prevalent experimental settings, mainly stemming from a lack of unified implementation and benchmarking. Issues in the current literature include sometimes contradictory observations on the performance of different AL algorithms, unintended exclusion of important generalization approaches such as data augmentation and SGD for optimization, a lack of study of evaluation facets like the labeling efficiency of AL, and little or no clarity on the scenarios in which AL outperforms random sampling (RS). In this work, we present a unified re-implementation of state-of-the-art AL algorithms in the context of image classification, and we carefully study these issues as facets of effective evaluation. On the positive side, we show that AL techniques are 2x to 4x more label-efficient compared to RS with the use of data augmentation. Surprisingly, when data augmentation is included, there is no longer a consistent gain in using BADGE, a state-of-the-art approach, over simple uncertainty sampling. We then do a careful analysis of how existing approaches perform with varying amounts of redundancy and number of examples per class. Finally, we provide several insights for AL practitioners to consider in future work, such as the effect of the AL batch size, the effect of initialization, the importance of retraining a new model at every round, and other insights.
• Abstract（参考訳）: ディープラーニングをよりラベル効率にすることを目的として、深層モデルのためのアクティブラーニング(al)の研究が増えている。 しかし、広く普及している実験的な設定には、主に統一された実装とベンチマークの欠如に起因する多くの問題がある。 現在の文献における問題には、異なるalアルゴリズムの性能に関する矛盾した観察、最適化のためのデータ拡張やsgdのような重要な一般化アプローチの意図しない排除、alのラベル付け効率のような評価面の研究の欠如、alがランダムサンプリング(rs)を上回るシナリオの明確さの欠如などが含まれる。 本稿では,最先端のalアルゴリズムを画像分類の文脈で統一的に実装し,それらの問題を効果的評価の面として慎重に検討する。 ポジティブな側面として,データ拡張を用いたrsに比べてal手法の方がラベル効率が2倍から4倍高いことを示す。 驚いたことに、データ拡張が含まれている場合、単純な不確実性サンプリングよりも最先端のアプローチであるBADGEを使用することで、一貫した利得はもはや存在しない。 次に、クラス毎に様々な冗長性とサンプル数で既存のアプローチがどのように機能するかを慎重に分析する。 最後に,alバッチサイズの影響,初期化の影響,ラウンド毎に新たなモデルを再トレーニングすることの重要性,その他の洞察など,al実践者が今後の作業で考慮すべき点をいくつか紹介する。

関連論文リスト

• LPLgrad: Optimizing Active Learning Through Gradient Norm Sample Selection and Auxiliary Model Training [2.762397703396293]
  LPLgrad(Loss Prediction Loss with Gradient Norm)は、モデルの不確実性を効果的に定量化し、画像分類タスクの精度を向上させる。 LPLgradは2つの異なるフェーズで動作する: (i) Em Training Phaseは、メインモデルと補助モデルとを併用して入力特徴の損失を予測することを目的としている。 この二重モデルアプローチは、複雑な入力特徴を抽出し、データから本質的なパターンを効果的に学習する能力を高める。
  論文  参考訳（メタデータ） (2024-11-20T18:12:59Z)
• Active Learning Principles for In-Context Learning with Large Language Models [65.09970281795769]
  本稿では,アクティブ・ラーニング・アルゴリズムが,文脈内学習における効果的な実演選択手法としてどのように機能するかを検討する。 ALによる文脈内サンプル選択は,不確実性の低い高品質な事例を優先し,試験例と類似性を有することを示す。
  論文  参考訳（メタデータ） (2023-05-23T17:16:04Z)
• Navigating the Pitfalls of Active Learning Evaluation: A Systematic Framework for Meaningful Performance Assessment [3.3064235071867856]
  アクティブラーニング(AL)は、ラベルなしデータのプールから最も情報性の高いサンプルをインタラクティブに選択することで、ラベル付けの負担を軽減することを目的としている。 半教師型(Semi-SL)や自己教師型学習(Self-SL)のような新興パラダイムと比較して、ALの有効性を疑問視する研究もある。
  論文  参考訳（メタデータ） (2023-01-25T15:07:44Z)
• Active Learning for Abstractive Text Summarization [50.79416783266641]
  本稿では,抽象テキスト要約におけるアクティブラーニングのための最初の効果的なクエリ戦略を提案する。 ALアノテーションにおける私たちの戦略は、ROUGEと一貫性スコアの点からモデル性能を向上させるのに役立ちます。
  論文  参考訳（メタデータ） (2023-01-09T10:33:14Z)
• Smooth Sailing: Improving Active Learning for Pre-trained Language Models with Representation Smoothness Analysis [3.490038106567192]
  アクティブラーニング(AL)手法は、教師あり学習におけるラベルの複雑さを低減することを目的としている。 本稿では,検証セットを必要としない早期停止手法を提案する。 タスク適応がALを改善するのに対して、ALの標準のショート微調整はランダムサンプリングよりも改善しない。
  論文  参考訳（メタデータ） (2022-12-20T19:37:20Z)
• Margin-based sampling in high dimensions: When being active is less efficient than staying passive [76.71565772067113]
  最近の経験的証拠は、辺縁に基づくアクティブラーニングが受動的ラーニングよりもさらに悪い結果をもたらす可能性があることを示唆している。 雑音のないデータであっても、PLが利得ベースALより優れていることがロジスティック回帰の証明である。 以上の結果から, この高次元現象は, クラス間の分離が小さい場合に悪化することが示唆された。
  論文  参考訳（メタデータ） (2022-12-01T18:55:59Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• Towards Diverse Evaluation of Class Incremental Learning: A Representation Learning Perspective [67.45111837188685]
  クラスインクリメンタル学習(CIL)アルゴリズムは、インクリメンタルに到着したデータから新しいオブジェクトクラスを継続的に学習することを目的としている。 表現学習における様々な評価プロトコルを用いて,CILアルゴリズムによって訓練されたニューラルネットワークモデルを実験的に解析する。
  論文  参考訳（メタデータ） (2022-06-16T11:44:11Z)
• Active learning for reducing labeling effort in text classification tasks [3.8424737607413153]
  アクティブラーニング(英: Active Learning, AL)は、使用済みモデルが最も有益とみなすデータのみを使用することでラベル付けの労力を削減することを目的としたパラダイムである。 本稿では,異なる不確実性に基づくアルゴリズム BERT$_base$ を比較した実験的検討を行った。 その結果,BERT$base$で不確実性に基づくALを用いることで,データのランダムサンプリングに優れることがわかった。
  論文  参考訳（メタデータ） (2021-09-10T13:00:36Z)
• Can Active Learning Preemptively Mitigate Fairness Issues? [66.84854430781097]
  データセットバイアスは、機械学習における不公平な原因の1つです。 不確実性に基づくALで訓練されたモデルが保護クラスの決定において公平であるかどうかを検討する。 また,勾配反転(GRAD)やBALDなどのアルゴリズム的公正性手法の相互作用についても検討する。
  論文  参考訳（メタデータ） (2021-04-14T14:20:22Z)
• Ask-n-Learn: Active Learning via Reliable Gradient Representations for Image Classification [29.43017692274488]
  深い予測モデルは、ラベル付きトレーニングデータという形で人間の監督に依存する。 Ask-n-Learnは,各アルゴリズムで推定されたペスドラベルを用いて得られる勾配埋め込みに基づく能動的学習手法である。
  論文  参考訳（メタデータ） (2020-09-30T05:19:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。