論文の概要: Iterative Pseudo-Labeling with Deep Feature Annotation and Confidence-Based Sampling

• arxiv url: http://arxiv.org/abs/2109.02717v1
• Date: Mon, 6 Sep 2021 20:02:13 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-08 14:33:13.758634
• Title: Iterative Pseudo-Labeling with Deep Feature Annotation and Confidence-Based Sampling
• Title（参考訳）: 深部アノテーションと信頼に基づくサンプリングによる反復擬似ラベル作成
• Authors: Barbara C Benato and Alexandru C Telea and Alexandre X Falc\~ao
• Abstract要約: 大規模で注釈付きデータセットが利用できない場合には、ディープニューラルネットワークのトレーニングは難しい。 我々は、最も確実な教師なしサンプルを選択して、深層ニューラルネットワークを反復的に訓練することで、最近の反復的擬似ラベル技術であるDeep Featureを改善した。 まず最初に、自己学習されたディープニューラルネットワークであるベースラインの最適な設定を確認し、異なる信頼しきい値に対してDeepFAを評価する。
• 参考スコア（独自算出の注目度）: 127.46527972920383
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training deep neural networks is challenging when large and annotated datasets are unavailable. Extensive manual annotation of data samples is time-consuming, expensive, and error-prone, notably when it needs to be done by experts. To address this issue, increased attention has been devoted to techniques that propagate uncertain labels (also called pseudo labels) to large amounts of unsupervised samples and use them for training the model. However, these techniques still need hundreds of supervised samples per class in the training set and a validation set with extra supervised samples to tune the model. We improve a recent iterative pseudo-labeling technique, Deep Feature Annotation (DeepFA), by selecting the most confident unsupervised samples to iteratively train a deep neural network. Our confidence-based sampling strategy relies on only dozens of annotated training samples per class with no validation set, considerably reducing user effort in data annotation. We first ascertain the best configuration for the baseline -- a self-trained deep neural network -- and then evaluate our confidence DeepFA for different confidence thresholds. Experiments on six datasets show that DeepFA already outperforms the self-trained baseline, but confidence DeepFA can considerably outperform the original DeepFA and the baseline.
• Abstract（参考訳）: 大規模で注釈付きデータセットが利用できない場合には、ディープニューラルネットワークのトレーニングは難しい。 データサンプルの広範な手動アノテーションは、特に専門家が行う必要がある場合に、時間がかかり、コストがかかり、エラーが発生しやすい。 この問題に対処するため、不確定なラベル(擬似ラベルとも呼ばれる)を大量の教師なしサンプルに伝播させ、モデルのトレーニングに使用する技術に注目が集まっている。 しかしながら、これらのテクニックは、トレーニングセット内のクラスごとに数百の教師付きサンプルと、モデルをチューニングするために余分に教師付きサンプルを備えた検証セットが必要です。 我々は、最も確実な教師なしサンプルを選択して、深層ニューラルネットワークを反復的に訓練することにより、最近の反復的擬似ラベル手法であるDeep Feature Annotation(DeepFA)を改善した。 信頼性に基づくサンプリング戦略は、検証セットのないクラス毎の数十のアノテーション付きトレーニングサンプルのみに依存しており、データアノテーションのユーザの労力を大幅に削減しています。 まず、ベースライン - 自己学習したディープニューラルネットワーク -- の最良の構成を確認し、信頼度を異なる信頼しきい値で評価します。 6つのデータセットの実験によると、DeepFAは自己学習ベースラインをすでに上回っているが、DeepFAの信頼性はオリジナルのDeepFAとベースラインを大きく上回っている。

関連論文リスト

• Are Sparse Neural Networks Better Hard Sample Learners? [24.2141078613549]
  ディープニューラルネットワークの最適性能において、ハードサンプルは重要な役割を果たす。 挑戦的なサンプルに基づいてトレーニングされたほとんどのSNNは、特定の間隔レベルで精度の高いモデルにマッチしたり、超えたりすることができる。
  論文  参考訳（メタデータ） (2024-09-13T21:12:18Z)
• KAKURENBO: Adaptively Hiding Samples in Deep Neural Network Training [2.8804804517897935]
  深層ニューラルネットワークのトレーニングにおいて,最も重要でないサンプルを隠蔽する手法を提案する。 我々は,学習プロセス全体への貢献に基づいて,与えられたエポックを除外するサンプルを適応的に見つける。 本手法は, ベースラインと比較して, 最大22%の精度でトレーニング時間を短縮できる。
  論文  参考訳（メタデータ） (2023-10-16T06:19:29Z)
• DE-CROP: Data-efficient Certified Robustness for Pretrained Classifiers [21.741026088202126]
  そこで本研究では,いくつかのトレーニングサンプルを用いて,事前学習したモデルのロバスト性を証明する新しい手法を提案する。 提案手法は,各トレーニングサンプルに対応するクラス境界および補間標本を生成する。 複数のベンチマークデータセットのベースラインに対する大幅な改善と、課題のあるブラックボックス設定の下でも同様のパフォーマンスを報告しています。
  論文  参考訳（メタデータ） (2022-10-17T10:41:18Z)
• Pseudo-Labeled Auto-Curriculum Learning for Semi-Supervised Keypoint Localization [88.74813798138466]
  オブジェクトのキーポイントのローカライズは、基本的な視覚的問題である。 キーポイントローカライゼーションネットワークの教師付き学習は、しばしば大量のデータを必要とする。 本稿では,一連の動的しきい値を持つ信頼度の高い擬似ラベルサンプルを自動的に選択する。
  論文  参考訳（メタデータ） (2022-01-21T09:51:58Z)
• Semi-supervised deep learning based on label propagation in a 2D embedded space [117.9296191012968]
  提案されたソリューションは、少数の教師なしイメージから多数の教師なしイメージにラベルを伝達し、ディープニューラルネットワークモデルをトレーニングする。 本稿では、より正確なラベル付きサンプルを反復してセットから深層ニューラルネットワーク(VGG-16)をトレーニングするループを提案する。 ラベル付きセットがイテレーションに沿って改善されるにつれて、ニューラルネットワークの機能が改善される。
  論文  参考訳（メタデータ） (2020-08-02T20:08:54Z)
• Learning to Count in the Crowd from Limited Labeled Data [109.2954525909007]
  我々は,限られた数のラベル付きサンプルから参加者を数えることを学ぶことで,アノテーションの努力を減らすことに重点を置いている。 具体的には,未ラベルデータに対する擬似地下真理推定を含むガウス過程に基づく反復学習機構を提案する。
  論文  参考訳（メタデータ） (2020-07-07T04:17:01Z)
• Uncertainty-aware Self-training for Text Classification with Few Labels [54.13279574908808]
  本研究は,アノテーションのボトルネックを軽減するための半教師あり学習手法の1つとして,自己学習について研究する。 本稿では,基礎となるニューラルネットワークの不確実性推定を取り入れて,自己学習を改善する手法を提案する。 本手法では,クラス毎に20～30個のラベル付きサンプルをトレーニングに利用し,完全教師付き事前学習言語モデルの3%以内で検証を行う。
  論文  参考訳（メタデータ） (2020-06-27T08:13:58Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。