論文の概要: Toward Realistic Evaluation of Deep Active Learning Algorithms in Image
Classification
- arxiv url: http://arxiv.org/abs/2301.10625v1
- Date: Wed, 25 Jan 2023 15:07:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-26 15:02:09.895728
- Title: Toward Realistic Evaluation of Deep Active Learning Algorithms in Image
Classification
- Title(参考訳): 画像分類における深層能動学習アルゴリズムの現実的評価に向けて
- Authors: Carsten T. L\"uth, Till J. Bungert, Lukas Klein, Paul F. Jaeger
- Abstract要約: Active Learningは、データプールから最も情報に富んだ観察を対話的にクエリすることで、ラベル付けの負担を軽減することを目的としている。
最近の研究はALの利点を疑問視している。
この異質な景観は、ALアルゴリズムの体系的および現実的な評価の欠如によって引き起こされていると我々は主張する。
- 参考スコア(独自算出の注目度): 0.491574468325115
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Active Learning (AL) aims to reduce the labeling burden by interactively
querying the most informative observations from a data pool. Despite extensive
research on improving AL query methods in the past years, recent studies have
questioned the advantages of AL, especially in the light of emerging
alternative training paradigms such as semi-supervised (Semi-SL) and
self-supervised learning (Self-SL). Thus, today's AL literature paints an
inconsistent picture and leaves practitioners wondering whether and how to
employ AL in their tasks. We argue that this heterogeneous landscape is caused
by a lack of a systematic and realistic evaluation of AL algorithms, including
key parameters such as complex and imbalanced datasets, realistic labeling
scenarios, systematic method configuration, and integration of Semi-SL and
Self-SL. To this end, we present an AL benchmarking suite and run extensive
experiments on five datasets shedding light on the questions: when and how to
apply AL?
- Abstract(参考訳): active learning(al)は、データプールから最も有意義な観察をインタラクティブにクエリすることで、ラベリングの負担を軽減することを目的としている。
近年のALクエリ手法の改良に関する広範な研究にもかかわらず、最近の研究はALの利点に疑問を投げかけており、特に半教師付き(Semi-SL)や自己教師型学習(Self-SL)といった新たな訓練パラダイムが注目されている。
したがって、今日のアル文学は一貫性のない絵を描いており、実践者たちはアルを自分の仕事にどう使うかと疑問を抱いている。
この異質な景観は、複雑なデータセットや不均衡なデータセット、現実的なラベリングシナリオ、体系的なメソッド構成、Semi-SLとSelf-SLの統合といった重要なパラメータを含む、ALアルゴリズムの体系的および現実的な評価の欠如によって引き起こされる。
この目的のために私たちは,ALベンチマークスイートを紹介し,質問に光を当てる5つのデータセットに関する広範な実験を実施している。
関連論文リスト
- Collaborative Feature-Logits Contrastive Learning for Open-Set Semi-Supervised Object Detection [75.02249869573994]
オープンセットのシナリオでは、ラベルなしデータセットには、イン・ディストリビューション(ID)クラスとアウト・オブ・ディストリビューション(OOD)クラスの両方が含まれている。
このような設定で半教師付き検出器を適用すると、OODクラスをIDクラスとして誤分類する可能性がある。
我々は、CFL-Detector(Collaborative Feature-Logits Detector)と呼ばれるシンプルで効果的な方法を提案する。
論文 参考訳(メタデータ) (2024-11-20T02:57:35Z) - Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。
提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
論文 参考訳(メタデータ) (2024-06-28T20:06:30Z) - MyriadAL: Active Few Shot Learning for Histopathology [10.652626309100889]
我々は、Myriad Active Learning (MAL)という、アクティブな数個のショットラーニングフレームワークを導入する。
MALには、コントラスト学習エンコーダ、擬似ラベル生成、ループ内の新しいクエリサンプル選択が含まれている。
2つの公的な病理組織学データセットの実験により、MALは以前の研究に比べてテスト精度、マクロF1スコア、ラベル効率が優れていることが示された。
論文 参考訳(メタデータ) (2023-10-24T20:08:15Z) - ALE: A Simulation-Based Active Learning Evaluation Framework for the
Parameter-Driven Comparison of Query Strategies for NLP [3.024761040393842]
Active Learning (AL)は、後続のサンプルやランダムなサンプルではなく、次にアノテータに有望なデータポイントを提案する。
この方法は、モデルパフォーマンスを維持しながらアノテーションの労力を節約することを目的としている。
NLPにおけるAL戦略の比較評価のための再現可能な能動学習評価フレームワークを提案する。
論文 参考訳(メタデータ) (2023-08-01T10:42:11Z) - Active Learning Principles for In-Context Learning with Large Language
Models [65.09970281795769]
本稿では,アクティブ・ラーニング・アルゴリズムが,文脈内学習における効果的な実演選択手法としてどのように機能するかを検討する。
ALによる文脈内サンプル選択は,不確実性の低い高品質な事例を優先し,試験例と類似性を有することを示す。
論文 参考訳(メタデータ) (2023-05-23T17:16:04Z) - Active Learning for Abstractive Text Summarization [50.79416783266641]
本稿では,抽象テキスト要約におけるアクティブラーニングのための最初の効果的なクエリ戦略を提案する。
ALアノテーションにおける私たちの戦略は、ROUGEと一貫性スコアの点からモデル性能を向上させるのに役立ちます。
論文 参考訳(メタデータ) (2023-01-09T10:33:14Z) - Smooth Sailing: Improving Active Learning for Pre-trained Language
Models with Representation Smoothness Analysis [3.490038106567192]
アクティブラーニング(AL)手法は、教師あり学習におけるラベルの複雑さを低減することを目的としている。
本稿では,検証セットを必要としない早期停止手法を提案する。
タスク適応がALを改善するのに対して、ALの標準のショート微調整はランダムサンプリングよりも改善しない。
論文 参考訳(メタデータ) (2022-12-20T19:37:20Z) - Meta Objective Guided Disambiguation for Partial Label Learning [44.05801303440139]
メタ客観的ガイド型曖昧化(MoGD)を用いたラベル学習のための新しい枠組みを提案する。
MoGDは、小さな検証セットでメタ目標を解くことで、候補ラベルから基底トラスラベルを復元することを目的としている。
提案手法は,通常のSGDを用いた様々なディープネットワークを用いて容易に実装できる。
論文 参考訳(メタデータ) (2022-08-26T06:48:01Z) - Effective Evaluation of Deep Active Learning on Image Classification
Tasks [10.27095298129151]
画像分類の文脈において,最先端の能動学習アルゴリズムを統一的に実装する。
正の面では、AL手法はデータ拡張によるRSに比べてラベル効率が2倍から4倍高いことを示す。
論文 参考訳(メタデータ) (2021-06-16T23:29:39Z) - Can Active Learning Preemptively Mitigate Fairness Issues? [66.84854430781097]
データセットバイアスは、機械学習における不公平な原因の1つです。
不確実性に基づくALで訓練されたモデルが保護クラスの決定において公平であるかどうかを検討する。
また,勾配反転(GRAD)やBALDなどのアルゴリズム的公正性手法の相互作用についても検討する。
論文 参考訳(メタデータ) (2021-04-14T14:20:22Z) - Multitask Learning for Class-Imbalanced Discourse Classification [74.41900374452472]
マルチタスクアプローチは,現在のベンチマークで7%のマイクロf1コアを改善できることを示す。
また,NLPにおける資源不足問題に対処するための追加手法の比較検討を行った。
論文 参考訳(メタデータ) (2021-01-02T07:13:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。