論文の概要: When Deep Learners Change Their Mind: Learning Dynamics for Active Learning

• arxiv url: http://arxiv.org/abs/2107.14707v1
• Date: Fri, 30 Jul 2021 15:30:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-02 13:08:43.947875
• Title: When Deep Learners Change Their Mind: Learning Dynamics for Active Learning
• Title（参考訳）: 深層学習者が考えを変える: アクティブラーニングのための学習ダイナミクス
• Authors: Javad Zolfaghari Bengar, Bogdan Raducanu, Joost van de Weijer
• Abstract要約: 本稿では,情報量に基づく能動的学習手法を提案する。 我々の測度はニューラルネットワークの学習力学から導かれる。 ラベル分散はネットワークの不確実性の予測因子として有望であることを示す。
• 参考スコア（独自算出の注目度）: 32.792098711779424
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Active learning aims to select samples to be annotated that yield the largest performance improvement for the learning algorithm. Many methods approach this problem by measuring the informativeness of samples and do this based on the certainty of the network predictions for samples. However, it is well-known that neural networks are overly confident about their prediction and are therefore an untrustworthy source to assess sample informativeness. In this paper, we propose a new informativeness-based active learning method. Our measure is derived from the learning dynamics of a neural network. More precisely we track the label assignment of the unlabeled data pool during the training of the algorithm. We capture the learning dynamics with a metric called label-dispersion, which is low when the network consistently assigns the same label to the sample during the training of the network and high when the assigned label changes frequently. We show that label-dispersion is a promising predictor of the uncertainty of the network, and show on two benchmark datasets that an active learning algorithm based on label-dispersion obtains excellent results.
• Abstract（参考訳）: アクティブラーニングは、学習アルゴリズムの最大のパフォーマンス改善をもたらす注釈付きサンプルを選択することを目的としている。 多くの手法がサンプルの情報量を測定し、サンプルのネットワーク予測の確実性に基づいてこの問題にアプローチしている。 しかし、ニューラルネットワークが予測に過度に自信を持っていることはよく知られているので、サンプル情報を評価するには信頼できない情報源である。 本稿では,新しい情報量に基づくアクティブラーニング手法を提案する。 我々の測度はニューラルネットワークの学習力学から導かれる。 より正確には、アルゴリズムのトレーニング中にラベルなしのデータプールのラベル割り当てを追跡する。 ネットワークがネットワークのトレーニング中に同一のラベルを常に標本に割り当てる場合と、割り当てられたラベルが頻繁に変化する場合とでは高い場合とで、ラベル分散と呼ばれるメトリクスを用いて学習ダイナミクスをキャプチャする。 ラベル分散はネットワークの不確実性を予測する有望な予測因子であり,ラベル分散に基づくアクティブ学習アルゴリズムが優れた結果を得るという2つのベンチマークデータセットを示す。

関連論文リスト

• Active Learning Guided by Efficient Surrogate Learners [25.52920030051264]
  1つのデータポイントが新しいラベルを受け取るたびに、ディープラーニングモデルを再トレーニングするのは現実的ではない。 本稿では,ニューラルネットワークの主学習者とともに,ガウス過程の力を利用する新しい能動学習アルゴリズムを提案する。 提案モデルでは,新しいデータインスタンス毎のサロゲート学習者を積極的に更新し,ニューラルネットワークの連続学習ダイナミクスをエミュレートし,活用する。
  論文  参考訳（メタデータ） (2023-01-07T01:35:25Z)
• Towards Reducing Labeling Cost in Deep Object Detection [61.010693873330446]
  本稿では,検知器の不確実性と頑健性の両方を考慮した,アクティブラーニングのための統一的なフレームワークを提案する。 提案手法は, 確率分布のドリフトを抑えながら, 極めて確実な予測を擬似ラベル化することができる。
  論文  参考訳（メタデータ） (2021-06-22T16:53:09Z)
• Low-Regret Active learning [64.36270166907788]
  トレーニングに最も有用なラベル付きデータポイントを識別するオンライン学習アルゴリズムを開発した。 私たちの仕事の中心は、予測可能な(簡単な)インスタンスの低い後悔を達成するために調整された睡眠専門家のための効率的なアルゴリズムです。
  論文  参考訳（メタデータ） (2021-04-06T22:53:45Z)
• Efficacy of Bayesian Neural Networks in Active Learning [11.609770399591516]
  ベイズニューラルネットワークは、アンサンブルに基づく不確実性を捕捉する技術よりも効率的であることを示す。 また,近年,モンテカルロのドロップアウトよりも効果的であることが判明したアンサンブル技法の重要な欠点も明らかにした。
  論文  参考訳（メタデータ） (2021-04-02T06:02:11Z)
• Mutual Teaching for Graph Convolutional Networks [1.14219428942199]
  グラフ畳み込みネットワークは、そのトランスダクティブラベルの伝播により、ラベルのないサンプルのよい予測を生成する。 サンプルは予測された信頼度が異なるため、高い信頼度予測を擬似ラベルとして用いてラベルを拡大する。 そこで本研究では,相互教育(相互教育)と称される新たな学習手法を提案する。
  論文  参考訳（メタデータ） (2020-09-02T11:10:55Z)
• Deep Active Learning in Remote Sensing for data efficient Change Detection [26.136331738529243]
  本研究では、変化検出とマップ更新のための深層ニューラルネットワークモデルの文脈におけるアクティブラーニングについて検討する。 アクティブな学習では、最小限のトレーニング例から始まり、ユーザによって注釈付けされた情報的サンプルを徐々に選択する。 能動学習は,高い情報的サンプルの発見に成功し,自動的にトレーニング分布のバランスをとることを示す。
  論文  参考訳（メタデータ） (2020-08-25T17:58:17Z)
• On the Robustness of Active Learning [0.7340017786387767]
  Active Learningは、機械学習アルゴリズムをトレーニングする上で最も有用なサンプルを特定する方法に関するものだ。 十分な注意とドメイン知識を持っていないことがよくあります。 そこで本研究では,Simpson の多様性指標に基づく新たな "Sum of Squared Logits" 手法を提案する。
  論文  参考訳（メタデータ） (2020-06-18T09:07:23Z)
• Adversarial Self-Supervised Contrastive Learning [62.17538130778111]
  既存の対数学習アプローチは、主にクラスラベルを使用して、誤った予測につながる対数サンプルを生成する。 本稿では,未ラベルデータに対する新たな逆攻撃を提案する。これにより,モデルが摂動データサンプルのインスタンスレベルのアイデンティティを混乱させる。 ラベル付きデータなしで頑健なニューラルネットワークを逆さまにトレーニングするための,自己教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-13T08:24:33Z)
• COLAM: Co-Learning of Deep Neural Networks and Soft Labels via Alternating Minimization [60.07531696857743]
  2つの目的の交互最小化によるDNNとソフトラベルの共学習 本稿では,DNNとソフトラベルを相互に学習するCOLAMフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-26T17:50:20Z)
• DivideMix: Learning with Noisy Labels as Semi-supervised Learning [111.03364864022261]
  ノイズラベルを学習するためのフレームワークであるDivideMixを提案する。 複数のベンチマークデータセットの実験は、最先端の手法よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2020-02-18T06:20:06Z)
• Learning with Out-of-Distribution Data for Audio Classification [60.48251022280506]
  我々は,OODインスタンスを破棄するよりも,特定のOODインスタンスを検出・復号化することで,学習に肯定的な影響を及ぼすことを示す。 提案手法は,畳み込みニューラルネットワークの性能を著しく向上させる。
  論文  参考訳（メタデータ） (2020-02-11T21:08:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。