論文の概要: GCI-ViTAL: Gradual Confidence Improvement with Vision Transformers for Active Learning on Label Noise

• arxiv url: http://arxiv.org/abs/2411.05939v1
• Date: Fri, 08 Nov 2024 19:59:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:12:44.165964
• Title: GCI-ViTAL: Gradual Confidence Improvement with Vision Transformers for Active Learning on Label Noise
• Title（参考訳）: GCI-Vital:ラベルノイズのアクティブ学習のための視覚変換器による経時的信頼度向上
• Authors: Moseli Mots'oehli, kyungim Baek,
• Abstract要約: 本研究では,CIFAR10,CIFAR100,Food101,Chest X線データセットのAL手法を比較し,画像分類タスクに焦点を当てた。 本稿では,ノイズのラベル付けに頑健な新しいディープラーニングアルゴリズムGCI-ViTALを提案する。
• 参考スコア（独自算出の注目度）: 1.603727941931813
• License:
• Abstract: Active learning aims to train accurate classifiers while minimizing labeling costs by strategically selecting informative samples for annotation. This study focuses on image classification tasks, comparing AL methods on CIFAR10, CIFAR100, Food101, and the Chest X-ray datasets under varying label noise rates. We investigate the impact of model architecture by comparing Convolutional Neural Networks (CNNs) and Vision Transformer (ViT)-based models. Additionally, we propose a novel deep active learning algorithm, GCI-ViTAL, designed to be robust to label noise. GCI-ViTAL utilizes prediction entropy and the Frobenius norm of last-layer attention vectors compared to class-centric clean set attention vectors. Our method identifies samples that are both uncertain and semantically divergent from typical images in their assigned class. This allows GCI-ViTAL to select informative data points even in the presence of label noise while flagging potentially mislabeled candidates. Label smoothing is applied to train a model that is not overly confident about potentially noisy labels. We evaluate GCI-ViTAL under varying levels of symmetric label noise and compare it to five other AL strategies. Our results demonstrate that using ViTs leads to significant performance improvements over CNNs across all AL strategies, particularly in noisy label settings. We also find that using the semantic information of images as label grounding helps in training a more robust model under label noise. Notably, we do not perform extensive hyperparameter tuning, providing an out-of-the-box comparison that addresses the common challenge practitioners face in selecting models and active learning strategies without an exhaustive literature review on training and fine-tuning vision models on real-world application data.
• Abstract（参考訳）: アクティブラーニングは、アノテーションに対する情報的サンプルを戦略的に選択することで、ラベル付けコストを最小限に抑えながら正確な分類器を訓練することを目的としている。 本研究は,CIFAR10,CIFAR100,Food101,Chest X線データセットのAL手法をラベルノイズ率で比較し,画像分類タスクに焦点を当てた。 本稿では,畳み込みニューラルネットワーク(CNN)と視覚変換器(ViT)をベースとしたモデルを比較し,モデルアーキテクチャの影響について検討する。 さらに,ノイズのラベル付けに頑健な新しいディープラーニングアルゴリズムGCI-ViTALを提案する。 GCI-ViTALは、クラス中心のクリーンセットアテンションベクトルと比較して、最終層アテンションベクトルの予測エントロピーとフロベニウスノルムを利用する。 本手法は,指定したクラス内の典型的な画像から,不確実かつ意味的に分離したサンプルを同定する。 これにより、GCI-ViTALはラベルノイズの存在下でも、誤ったラベル付き候補をフラグ付けしながら、情報的データポイントを選択することができる。 ラベルの平滑化は、潜在的にノイズの多いラベルに対して過度に自信のないモデルを訓練するために適用される。 我々は,GCI-Vitalを対称ラベルノイズのレベルの違いで評価し,他の5つのAL戦略と比較した。 以上の結果から,VTの使用はAL戦略,特にノイズのあるラベル設定において,CNNよりも顕著な性能向上をもたらすことが示された。 また,画像のセマンティック情報をラベルグラウンドとして用いることで,ラベルノイズ下でのより堅牢なモデルのトレーニングにも有効であることがわかった。 特に、我々は大規模なハイパーパラメータチューニングを行なわず、実世界のアプリケーションデータ上でのトレーニングや微調整ビジョンモデルに関する徹底的な文献レビューなしで、モデルとアクティブな学習戦略を選択する際に、実践者が直面する共通の課題に対処するアウト・オブ・ザ・ボックス(out-of-of-box)比較を提供する。

関連論文リスト

• ERASE: Error-Resilient Representation Learning on Graphs for Label Noise Tolerance [53.73316938815873]
  本稿では, ERASE (Error-Resilient representation learning on graphs for lAbel noiSe tolerancE) という手法を提案する。 ERASEは、プロトタイプの擬似ラベルとプロパゲーションされた識別ラベルを組み合わせて、表現をエラーレジリエンスで更新する。 提案手法は, 広い雑音レベルにおいて, 複数のベースラインをクリアマージンで上回り, 高いスケーラビリティを享受できる。
  論文  参考訳（メタデータ） (2023-12-13T17:59:07Z)
• Combating Label Noise With A General Surrogate Model For Sample Selection [84.61367781175984]
  本稿では,視覚言語サロゲートモデルCLIPを用いて,雑音の多いサンプルを自動的にフィルタリングする手法を提案する。 提案手法の有効性を実世界および合成ノイズデータセットで検証した。
  論文  参考訳（メタデータ） (2023-10-16T14:43:27Z)
• Learning to Detect Noisy Labels Using Model-Based Features [16.681748918518075]
  Select-Enhanced Noisy label Training (SENT)を提案する。 SENTは、データ駆動の柔軟性を保ちながら、メタ学習に依存しない。 自己学習とラベルの破損の設定の下で、強力なベースラインよりもパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2022-12-28T10:12:13Z)
• Transductive CLIP with Class-Conditional Contrastive Learning [68.51078382124331]
  雑音ラベル付き分類ネットワークをスクラッチから学習するための新しいフレームワークであるTransductive CLIPを提案する。 擬似ラベルへの依存を軽減するために,クラス条件のコントラスト学習機構を提案する。 アンサンブルラベルは、ノイズラベル付きディープニューラルネットワークのトレーニングを安定化するための擬似ラベル更新戦略として採用されている。
  論文  参考訳（メタデータ） (2022-06-13T14:04:57Z)
• Synergistic Network Learning and Label Correction for Noise-robust Image Classification [28.27739181560233]
  ディープニューラルネットワーク(DNN)は、トレーニングラベルノイズに過度に適合する傾向があるため、実際のモデルパフォーマンスは低下する。 損失選択と雑音補正のアイデアを組み合わせたロバストなラベル補正フレームワークを提案する。 ノイズタイプやレートの異なる合成および実世界のデータセット上で,本手法を実証する。
  論文  参考訳（メタデータ） (2022-02-27T23:06:31Z)
• S3: Supervised Self-supervised Learning under Label Noise [53.02249460567745]
  本稿では,ラベルノイズの存在下での分類の問題に対処する。 提案手法の核心は,サンプルのアノテートラベルと特徴空間内のその近傍のラベルの分布との整合性に依存するサンプル選択機構である。 提案手法は,CIFARCIFAR100とWebVisionやANIMAL-10Nなどの実環境ノイズデータセットの両方で,従来の手法をはるかに上回っている。
  論文  参考訳（メタデータ） (2021-11-22T15:49:20Z)
• Learning to Rectify for Robust Learning with Noisy Labels [25.149277009932423]
  分類ネットワークのトレーニング手順を適応的に修正するためのワープ確率推論(WarPI)を提案する。 雑音ラベルによる頑健な学習の4つのベンチマークでWarPIを評価し, 異種雑音下での新たな最先端の学習を実現する。
  論文  参考訳（メタデータ） (2021-11-08T02:25:50Z)
• Learning to Aggregate and Refine Noisy Labels for Visual Sentiment Analysis [69.48582264712854]
  本研究では,頑健な視覚的感情分析を行うための頑健な学習手法を提案する。 本手法は,トレーニング中にノイズラベルを集約・フィルタリングするために外部メモリに依存している。 公開データセットを用いたラベルノイズを用いた視覚的感情分析のベンチマークを構築した。
  論文  参考訳（メタデータ） (2021-09-15T18:18:28Z)
• Unified Robust Training for Graph NeuralNetworks against Label Noise [12.014301020294154]
  半監督設定でノイズの多いラベルをグラフ上で学習するための新しいフレームワークである UnionNET を提案します。 提案手法は,GNNを頑健に訓練し,ラベル修正を同時に行うための統一的なソリューションを提供する。
  論文  参考訳（メタデータ） (2021-03-05T01:17:04Z)
• Attention-Aware Noisy Label Learning for Image Classification [97.26664962498887]
  大規模ラベル付きサンプルで学習した深層畳み込みニューラルネットワーク(CNN)は、コンピュータビジョンにおいて顕著な進歩を遂げている。 大量のラベル付きビジュアルデータを取得する最も安価な方法は、Flickrのようなユーザーが提供するラベルでウェブサイトからクロールすることである。 本稿では,潜在的なラベルノイズのあるデータセットに基づいて学習したネットワークの識別能力を向上させるために,注目に敏感なラベル学習手法を提案する。
  論文  参考訳（メタデータ） (2020-09-30T15:45:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。