論文の概要: Navigating the Pitfalls of Active Learning Evaluation: A Systematic Framework for Meaningful Performance Assessment

• arxiv url: http://arxiv.org/abs/2301.10625v3
• Date: Fri, 3 Nov 2023 16:35:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-06 18:33:23.473791
• Title: Navigating the Pitfalls of Active Learning Evaluation: A Systematic Framework for Meaningful Performance Assessment
• Title（参考訳）: アクティブラーニング評価の落とし穴を探る--有意義なパフォーマンス評価のための体系的枠組み
• Authors: Carsten T. L\"uth, Till J. Bungert, Lukas Klein, Paul F. Jaeger
• Abstract要約: アクティブラーニング(AL)は、ラベルなしデータのプールから最も情報性の高いサンプルをインタラクティブに選択することで、ラベル付けの負担を軽減することを目的としている。 半教師型(Semi-SL)や自己教師型学習(Self-SL)のような新興パラダイムと比較して、ALの有効性を疑問視する研究もある。
• 参考スコア（独自算出の注目度）: 3.3064235071867856
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Active Learning (AL) aims to reduce the labeling burden by interactively selecting the most informative samples from a pool of unlabeled data. While there has been extensive research on improving AL query methods in recent years, some studies have questioned the effectiveness of AL compared to emerging paradigms such as semi-supervised (Semi-SL) and self-supervised learning (Self-SL), or a simple optimization of classifier configurations. Thus, today's AL literature presents an inconsistent and contradictory landscape, leaving practitioners uncertain about whether and how to use AL in their tasks. In this work, we make the case that this inconsistency arises from a lack of systematic and realistic evaluation of AL methods. Specifically, we identify five key pitfalls in the current literature that reflect the delicate considerations required for AL evaluation. Further, we present an evaluation framework that overcomes these pitfalls and thus enables meaningful statements about the performance of AL methods. To demonstrate the relevance of our protocol, we present a large-scale empirical study and benchmark for image classification spanning various data sets, query methods, AL settings, and training paradigms. Our findings clarify the inconsistent picture in the literature and enable us to give hands-on recommendations for practitioners. The benchmark is hosted at https://github.com/IML-DKFZ/realistic-al .
• Abstract（参考訳）: Active Learning (AL)は、ラベルなしデータのプールから最も情報性の高いサンプルをインタラクティブに選択することで、ラベル付けの負担を軽減することを目的としている。 近年,ALクエリ手法の改良に関する研究が盛んに行われているが,半教師付き(Semi-SL)や自己教師付き学習(Self-SL)といった新たなパラダイムや,分類器構成の簡易な最適化と比較して,ALの有効性を疑問視する研究もある。 このように、今日のAL文学は矛盾した、矛盾した風景を示しており、実践者がALをタスクに使用するかどうかと方法について不透明なままである。 本研究では,al法を体系的かつ現実的な評価が欠如していることから,この不整合が生じることを仮定する。 具体的には,al評価に必要な微妙な考察を反映した文献の5つの落とし穴を明らかにする。 さらに,これらの落とし穴を克服し,AL手法の性能に関する有意義な記述を可能にする評価フレームワークを提案する。 本プロトコルの妥当性を示すために,様々なデータセット,クエリメソッド,al設定,トレーニングパラダイムにまたがる画像分類に関する大規模実証研究とベンチマークを提案する。 本研究は,文献上の矛盾点を明らかにするとともに,実践者に対して手持ちの勧告を行うことを可能にした。 ベンチマークはhttps://github.com/IML-DKFZ/realistic-al.comにホストされている。

関連論文リスト

• C-ICL: Contrastive In-context Learning for Information Extraction [54.39470114243744]
  c-ICLは、正しいサンプル構築と間違ったサンプル構築の両方を活用して、コンテキスト内学習のデモを作成する、新しい数ショット技術である。 各種データセットに対する実験により,c-ICLは従来の数発のインコンテキスト学習法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-02-17T11:28:08Z)
• MyriadAL: Active Few Shot Learning for Histopathology [10.652626309100889]
  我々は、Myriad Active Learning (MAL)という、アクティブな数個のショットラーニングフレームワークを導入する。 MALには、コントラスト学習エンコーダ、擬似ラベル生成、ループ内の新しいクエリサンプル選択が含まれている。 2つの公的な病理組織学データセットの実験により、MALは以前の研究に比べてテスト精度、マクロF1スコア、ラベル効率が優れていることが示された。
  論文  参考訳（メタデータ） (2023-10-24T20:08:15Z)
• ALE: A Simulation-Based Active Learning Evaluation Framework for the Parameter-Driven Comparison of Query Strategies for NLP [3.024761040393842]
  Active Learning (AL)は、後続のサンプルやランダムなサンプルではなく、次にアノテータに有望なデータポイントを提案する。 この方法は、モデルパフォーマンスを維持しながらアノテーションの労力を節約することを目的としている。 NLPにおけるAL戦略の比較評価のための再現可能な能動学習評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-01T10:42:11Z)
• Active Learning Principles for In-Context Learning with Large Language Models [65.09970281795769]
  本稿では,アクティブ・ラーニング・アルゴリズムが,文脈内学習における効果的な実演選択手法としてどのように機能するかを検討する。 ALによる文脈内サンプル選択は,不確実性の低い高品質な事例を優先し,試験例と類似性を有することを示す。
  論文  参考訳（メタデータ） (2023-05-23T17:16:04Z)
• Active Learning for Abstractive Text Summarization [50.79416783266641]
  本稿では,抽象テキスト要約におけるアクティブラーニングのための最初の効果的なクエリ戦略を提案する。 ALアノテーションにおける私たちの戦略は、ROUGEと一貫性スコアの点からモデル性能を向上させるのに役立ちます。
  論文  参考訳（メタデータ） (2023-01-09T10:33:14Z)
• Smooth Sailing: Improving Active Learning for Pre-trained Language Models with Representation Smoothness Analysis [3.490038106567192]
  アクティブラーニング(AL)手法は、教師あり学習におけるラベルの複雑さを低減することを目的としている。 本稿では,検証セットを必要としない早期停止手法を提案する。 タスク適応がALを改善するのに対して、ALの標準のショート微調整はランダムサンプリングよりも改善しない。
  論文  参考訳（メタデータ） (2022-12-20T19:37:20Z)
• Meta Objective Guided Disambiguation for Partial Label Learning [44.05801303440139]
  メタ客観的ガイド型曖昧化(MoGD)を用いたラベル学習のための新しい枠組みを提案する。 MoGDは、小さな検証セットでメタ目標を解くことで、候補ラベルから基底トラスラベルを復元することを目的としている。 提案手法は,通常のSGDを用いた様々なディープネットワークを用いて容易に実装できる。
  論文  参考訳（メタデータ） (2022-08-26T06:48:01Z)
• Effective Evaluation of Deep Active Learning on Image Classification Tasks [10.27095298129151]
  画像分類の文脈において,最先端の能動学習アルゴリズムを統一的に実装する。 正の面では、AL手法はデータ拡張によるRSに比べてラベル効率が2倍から4倍高いことを示す。
  論文  参考訳（メタデータ） (2021-06-16T23:29:39Z)
• Can Active Learning Preemptively Mitigate Fairness Issues? [66.84854430781097]
  データセットバイアスは、機械学習における不公平な原因の1つです。 不確実性に基づくALで訓練されたモデルが保護クラスの決定において公平であるかどうかを検討する。 また,勾配反転(GRAD)やBALDなどのアルゴリズム的公正性手法の相互作用についても検討する。
  論文  参考訳（メタデータ） (2021-04-14T14:20:22Z)
• Multitask Learning for Class-Imbalanced Discourse Classification [74.41900374452472]
  マルチタスクアプローチは,現在のベンチマークで7%のマイクロf1コアを改善できることを示す。 また,NLPにおける資源不足問題に対処するための追加手法の比較検討を行った。
  論文  参考訳（メタデータ） (2021-01-02T07:13:41Z)
• Progressive Identification of True Labels for Partial-Label Learning [112.94467491335611]
  部分ラベル学習(Partial-label Learning, PLL)は、典型的な弱教師付き学習問題であり、各トレーニングインスタンスには、真のラベルである候補ラベルのセットが設けられている。 既存のほとんどの手法は、特定の方法で解決しなければならない制約付き最適化として精巧に設計されており、計算複雑性をビッグデータにスケールアップするボトルネックにしている。 本稿では,モデルと最適化アルゴリズムの柔軟性を備えた分類器の新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-19T08:35:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。