論文の概要: Ask-n-Learn: Active Learning via Reliable Gradient Representations for Image Classification

• arxiv url: http://arxiv.org/abs/2009.14448v1
• Date: Wed, 30 Sep 2020 05:19:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 22:27:03.403656
• Title: Ask-n-Learn: Active Learning via Reliable Gradient Representations for Image Classification
• Title（参考訳）: Ask-n-Learn:画像分類のための信頼度勾配表現によるアクティブラーニング
• Authors: Bindya Venkatesh and Jayaraman J. Thiagarajan
• Abstract要約: 深い予測モデルは、ラベル付きトレーニングデータという形で人間の監督に依存する。 Ask-n-Learnは,各アルゴリズムで推定されたペスドラベルを用いて得られる勾配埋め込みに基づく能動的学習手法である。
• 参考スコア（独自算出の注目度）: 29.43017692274488
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep predictive models rely on human supervision in the form of labeled training data. Obtaining large amounts of annotated training data can be expensive and time consuming, and this becomes a critical bottleneck while building such models in practice. In such scenarios, active learning (AL) strategies are used to achieve faster convergence in terms of labeling efforts. Existing active learning employ a variety of heuristics based on uncertainty and diversity to select query samples. Despite their wide-spread use, in practice, their performance is limited by a number of factors including non-calibrated uncertainties, insufficient trade-off between data exploration and exploitation, presence of confirmation bias etc. In order to address these challenges, we propose Ask-n-Learn, an active learning approach based on gradient embeddings obtained using the pesudo-labels estimated in each iteration of the algorithm. More importantly, we advocate the use of prediction calibration to obtain reliable gradient embeddings, and propose a data augmentation strategy to alleviate the effects of confirmation bias during pseudo-labeling. Through empirical studies on benchmark image classification tasks (CIFAR-10, SVHN, Fashion-MNIST, MNIST), we demonstrate significant improvements over state-of-the-art baselines, including the recently proposed BADGE algorithm.
• Abstract（参考訳）: 深い予測モデルは、ラベル付きトレーニングデータという形で人間の監督に依存する。 大量のアノテートされたトレーニングデータを取得することは、コストと時間がかかるため、実際にモデルを構築しながら、これは重大なボトルネックとなる。 このようなシナリオでは、ラベル付けの取り組みにおいて、より高速な収束を実現するためにアクティブラーニング(AL)戦略が使用される。 既存のアクティブラーニングでは、不確実性と多様性に基づく様々なヒューリスティックを用いてクエリサンプルを選択する。 広範にわたる使用にもかかわらず、実際にはその性能は、不確実性、データ探索と搾取の間のトレードオフ不足、確認バイアスの存在など、多くの要因によって制限されている。 これらの課題に対処するために,アルゴリズムの各イテレーションで推定されるペスドラベルを用いた勾配埋め込みに基づくアクティブラーニングアプローチであるask-n-learnを提案する。 さらに,信頼性の高い勾配埋め込みを得るための予測キャリブレーションの活用を提唱し,疑似ラベル付け時の確認バイアスの影響を軽減するためのデータ拡張戦略を提案する。 ベンチマーク画像分類タスク(CIFAR-10、SVHN、Fashion-MNIST、MNIST)の実証研究を通じて、最近提案されたBADGEアルゴリズムを含む最先端のベースラインを大幅に改善したことを示す。

関連論文リスト

• LPLgrad: Optimizing Active Learning Through Gradient Norm Sample Selection and Auxiliary Model Training [2.762397703396293]
  LPLgrad(Loss Prediction Loss with Gradient Norm)は、モデルの不確実性を効果的に定量化し、画像分類タスクの精度を向上させる。 LPLgradは2つの異なるフェーズで動作する: (i) Em Training Phaseは、メインモデルと補助モデルとを併用して入力特徴の損失を予測することを目的としている。 この二重モデルアプローチは、複雑な入力特徴を抽出し、データから本質的なパターンを効果的に学習する能力を高める。
  論文  参考訳（メタデータ） (2024-11-20T18:12:59Z)
• Active Learning to Guide Labeling Efforts for Question Difficulty Estimation [1.0514231683620516]
  トランスフォーマーベースのニューラルネットワークは、主に教師なしの手法ではなく、教師なし学習における独立した研究によって、最先端のパフォーマンスを達成する。 この研究は、教師付きヒューマン・イン・ザ・ループアプローチであるQDEのアクティブ・ラーニングを探求することで、研究ギャップを埋める。 PowerVarianceの取得によるアクティブな学習は、トレーニングデータの10%だけをラベル付けした後、完全に教師されたモデルに近いパフォーマンスを達成することを示す実験である。
  論文  参考訳（メタデータ） (2024-09-14T02:02:42Z)
• Unsupervised Transfer Learning via Adversarial Contrastive Training [3.227277661633986]
  対戦型コントラスト学習(ACT)を用いた新しい教師なしトランスファー学習手法を提案する。 実験により, 細調整線形プローブとK-NNプロトコルを用いて, 各種データセットの分類精度に優れることを示した。
  論文  参考訳（メタデータ） (2024-08-16T05:11:52Z)
• Downstream-Pretext Domain Knowledge Traceback for Active Learning [138.02530777915362]
  本稿では、下流知識と事前学習指導のデータ相互作用をトレースするダウンストリーム・プレテキスト・ドメイン知識トレース(DOKT)手法を提案する。 DOKTは、トレースバックの多様性指標とドメインベースの不確実性推定器から構成される。 10のデータセットで行った実験は、我々のモデルが他の最先端の手法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-20T01:34:13Z)
• NTKCPL: Active Learning on Top of Self-Supervised Model by Estimating True Coverage [3.4806267677524896]
  ニューラル・タンジェント・カーネル・クラスタリング・プシュード・ラベル(NTKCPL)の新しいアクティブ・ラーニング・ストラテジーを提案する。 擬似ラベルとNTK近似を用いたモデル予測に基づいて経験的リスクを推定する。 提案手法を5つのデータセット上で検証し,ほとんどの場合,ベースライン法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-07T01:43:47Z)
• Temporal Output Discrepancy for Loss Estimation-based Active Learning [65.93767110342502]
  ラベルのないサンプルが高損失を伴っていると信じられている場合に,データアノテーションのオラクルに問い合わせる,新しいディープラーニングアプローチを提案する。 本手法は,画像分類やセマンティックセグメンテーションタスクにおける最先端の能動学習手法よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-12-20T19:29:37Z)
• SURF: Semi-supervised Reward Learning with Data Augmentation for Feedback-efficient Preference-based Reinforcement Learning [168.89470249446023]
  我々は、大量のラベルなしサンプルとデータ拡張を利用する半教師付き報酬学習フレームワークSURFを提案する。 報奨学習にラベルのないサンプルを活用するために,選好予測器の信頼性に基づいてラベルのないサンプルの擬似ラベルを推定する。 本実験は, ロボット操作作業における嗜好に基づく手法のフィードバック効率を有意に向上させることを実証した。
  論文  参考訳（メタデータ） (2022-03-18T16:50:38Z)
• Knowledge-driven Active Learning [70.37119719069499]
  アクティブな学習戦略は、ディープラーニングモデルをトレーニングするために必要なラベル付きデータの量を最小限にすることを目的としている。 ほとんどの積極的な戦略は不確実なサンプルの選択に基づいており、しばしば決定境界に近いサンプルに制限される。 本稿では、一般的なドメイン知識を考慮し、エキスパートでないユーザがより少ないサンプルでモデルを訓練できるようにする。
  論文  参考訳（メタデータ） (2021-10-15T06:11:53Z)
• Towards Reducing Labeling Cost in Deep Object Detection [61.010693873330446]
  本稿では,検知器の不確実性と頑健性の両方を考慮した,アクティブラーニングのための統一的なフレームワークを提案する。 提案手法は, 確率分布のドリフトを抑えながら, 極めて確実な予測を擬似ラベル化することができる。
  論文  参考訳（メタデータ） (2021-06-22T16:53:09Z)
• Low-Regret Active learning [64.36270166907788]
  トレーニングに最も有用なラベル付きデータポイントを識別するオンライン学習アルゴリズムを開発した。 私たちの仕事の中心は、予測可能な(簡単な)インスタンスの低い後悔を達成するために調整された睡眠専門家のための効率的なアルゴリズムです。
  論文  参考訳（メタデータ） (2021-04-06T22:53:45Z)
• Active and Incremental Learning with Weak Supervision [7.2288756536476635]
  本研究では,逐次学習方式と能動学習方式の組み合わせについて述べる。 オブジェクト検出タスクは、PASCAL VOCデータセット上で連続的な探索コンテキストで評価される。 また,実世界の生物多様性アプリケーションにおいて,能動的・漸進的学習に基づく弱教師付きシステムを検証する。
  論文  参考訳（メタデータ） (2020-01-20T13:21:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。