論文の概要: Ask-n-Learn: Active Learning via Reliable Gradient Representations for
Image Classification
- arxiv url: http://arxiv.org/abs/2009.14448v1
- Date: Wed, 30 Sep 2020 05:19:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-12 22:27:03.403656
- Title: Ask-n-Learn: Active Learning via Reliable Gradient Representations for
Image Classification
- Title(参考訳): Ask-n-Learn:画像分類のための信頼度勾配表現によるアクティブラーニング
- Authors: Bindya Venkatesh and Jayaraman J. Thiagarajan
- Abstract要約: 深い予測モデルは、ラベル付きトレーニングデータという形で人間の監督に依存する。
Ask-n-Learnは,各アルゴリズムで推定されたペスドラベルを用いて得られる勾配埋め込みに基づく能動的学習手法である。
- 参考スコア(独自算出の注目度): 29.43017692274488
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep predictive models rely on human supervision in the form of labeled
training data. Obtaining large amounts of annotated training data can be
expensive and time consuming, and this becomes a critical bottleneck while
building such models in practice. In such scenarios, active learning (AL)
strategies are used to achieve faster convergence in terms of labeling efforts.
Existing active learning employ a variety of heuristics based on uncertainty
and diversity to select query samples. Despite their wide-spread use, in
practice, their performance is limited by a number of factors including
non-calibrated uncertainties, insufficient trade-off between data exploration
and exploitation, presence of confirmation bias etc. In order to address these
challenges, we propose Ask-n-Learn, an active learning approach based on
gradient embeddings obtained using the pesudo-labels estimated in each
iteration of the algorithm. More importantly, we advocate the use of prediction
calibration to obtain reliable gradient embeddings, and propose a data
augmentation strategy to alleviate the effects of confirmation bias during
pseudo-labeling. Through empirical studies on benchmark image classification
tasks (CIFAR-10, SVHN, Fashion-MNIST, MNIST), we demonstrate significant
improvements over state-of-the-art baselines, including the recently proposed
BADGE algorithm.
- Abstract(参考訳): 深い予測モデルは、ラベル付きトレーニングデータという形で人間の監督に依存する。
大量のアノテートされたトレーニングデータを取得することは、コストと時間がかかるため、実際にモデルを構築しながら、これは重大なボトルネックとなる。
このようなシナリオでは、ラベル付けの取り組みにおいて、より高速な収束を実現するためにアクティブラーニング(AL)戦略が使用される。
既存のアクティブラーニングでは、不確実性と多様性に基づく様々なヒューリスティックを用いてクエリサンプルを選択する。
広範にわたる使用にもかかわらず、実際にはその性能は、不確実性、データ探索と搾取の間のトレードオフ不足、確認バイアスの存在など、多くの要因によって制限されている。
これらの課題に対処するために,アルゴリズムの各イテレーションで推定されるペスドラベルを用いた勾配埋め込みに基づくアクティブラーニングアプローチであるask-n-learnを提案する。
さらに,信頼性の高い勾配埋め込みを得るための予測キャリブレーションの活用を提唱し,疑似ラベル付け時の確認バイアスの影響を軽減するためのデータ拡張戦略を提案する。
ベンチマーク画像分類タスク(CIFAR-10、SVHN、Fashion-MNIST、MNIST)の実証研究を通じて、最近提案されたBADGEアルゴリズムを含む最先端のベースラインを大幅に改善したことを示す。
関連論文リスト
- NTKCPL: Active Learning on Top of Self-Supervised Model by Estimating
True Coverage [3.4806267677524896]
ニューラル・タンジェント・カーネル・クラスタリング・プシュード・ラベル(NTKCPL)の新しいアクティブ・ラーニング・ストラテジーを提案する。
擬似ラベルとNTK近似を用いたモデル予測に基づいて経験的リスクを推定する。
提案手法を5つのデータセット上で検証し,ほとんどの場合,ベースライン法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-06-07T01:43:47Z) - Temporal Output Discrepancy for Loss Estimation-based Active Learning [65.93767110342502]
ラベルのないサンプルが高損失を伴っていると信じられている場合に,データアノテーションのオラクルに問い合わせる,新しいディープラーニングアプローチを提案する。
本手法は,画像分類やセマンティックセグメンテーションタスクにおける最先端の能動学習手法よりも優れた性能を実現する。
論文 参考訳(メタデータ) (2022-12-20T19:29:37Z) - Mitigating Forgetting in Online Continual Learning via Contrasting
Semantically Distinct Augmentations [22.289830907729705]
オンライン連続学習(OCL)は、非定常データストリームからモデル学習を可能とし、新たな知識を継続的に獲得し、学習した知識を維持することを目的としている。
主な課題は、"破滅的な忘れる"問題、すなわち、新しい知識を学習しながら学習した知識を十分に記憶できないことにある。
論文 参考訳(メタデータ) (2022-11-10T05:29:43Z) - SURF: Semi-supervised Reward Learning with Data Augmentation for
Feedback-efficient Preference-based Reinforcement Learning [168.89470249446023]
我々は、大量のラベルなしサンプルとデータ拡張を利用する半教師付き報酬学習フレームワークSURFを提案する。
報奨学習にラベルのないサンプルを活用するために,選好予測器の信頼性に基づいてラベルのないサンプルの擬似ラベルを推定する。
本実験は, ロボット操作作業における嗜好に基づく手法のフィードバック効率を有意に向上させることを実証した。
論文 参考訳(メタデータ) (2022-03-18T16:50:38Z) - Knowledge-driven Active Learning [70.37119719069499]
アクティブな学習戦略は、ディープラーニングモデルをトレーニングするために必要なラベル付きデータの量を最小限にすることを目的としている。
ほとんどの積極的な戦略は不確実なサンプルの選択に基づいており、しばしば決定境界に近いサンプルに制限される。
本稿では、一般的なドメイン知識を考慮し、エキスパートでないユーザがより少ないサンプルでモデルを訓練できるようにする。
論文 参考訳(メタデータ) (2021-10-15T06:11:53Z) - Mitigating Sampling Bias and Improving Robustness in Active Learning [13.994967246046008]
教師付き環境下での能動学習に比較学習の損失を生かして教師付き能動学習を導入する。
多様な特徴表現の情報的データサンプルを選択するアンバイアスなクエリ戦略を提案する。
提案手法は,アクティブな学習環境において,サンプリングバイアスを低減し,最先端の精度を実現し,モデルの校正を行う。
論文 参考訳(メタデータ) (2021-09-13T20:58:40Z) - Towards Reducing Labeling Cost in Deep Object Detection [61.010693873330446]
本稿では,検知器の不確実性と頑健性の両方を考慮した,アクティブラーニングのための統一的なフレームワークを提案する。
提案手法は, 確率分布のドリフトを抑えながら, 極めて確実な予測を擬似ラベル化することができる。
論文 参考訳(メタデータ) (2021-06-22T16:53:09Z) - Low-Regret Active learning [64.36270166907788]
トレーニングに最も有用なラベル付きデータポイントを識別するオンライン学習アルゴリズムを開発した。
私たちの仕事の中心は、予測可能な(簡単な)インスタンスの低い後悔を達成するために調整された睡眠専門家のための効率的なアルゴリズムです。
論文 参考訳(メタデータ) (2021-04-06T22:53:45Z) - Active Learning for Sequence Tagging with Deep Pre-trained Models and
Bayesian Uncertainty Estimates [52.164757178369804]
自然言語処理のためのトランスファーラーニングとアクティブラーニングの最近の進歩は、必要なアノテーション予算を大幅に削減する可能性を開く。
我々は,様々なベイズ不確実性推定手法とモンテカルロドロップアウトオプションの実験的研究を,アクティブ学習フレームワークで実施する。
また, 能動学習中にインスタンスを取得するためには, 完全サイズのトランスフォーマーを蒸留版に置き換えることにより, 計算性能が向上することを示した。
論文 参考訳(メタデータ) (2021-01-20T13:59:25Z) - Active and Incremental Learning with Weak Supervision [7.2288756536476635]
本研究では,逐次学習方式と能動学習方式の組み合わせについて述べる。
オブジェクト検出タスクは、PASCAL VOCデータセット上で連続的な探索コンテキストで評価される。
また,実世界の生物多様性アプリケーションにおいて,能動的・漸進的学習に基づく弱教師付きシステムを検証する。
論文 参考訳(メタデータ) (2020-01-20T13:21:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。