論文の概要: Investigating the Robustness of Vision Transformers against Label Noise in Medical Image Classification

• arxiv url: http://arxiv.org/abs/2402.16734v1
• Date: Mon, 26 Feb 2024 16:53:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-28 20:00:53.554462
• Title: Investigating the Robustness of Vision Transformers against Label Noise in Medical Image Classification
• Title（参考訳）: 医用画像分類におけるラベルノイズに対する視覚トランスフォーマーのロバスト性の検討
• Authors: Bidur Khanal, Prashant Shrestha, Sanskar Amgain, Bishesh Khanal, Binod Bhattarai, Cristian A. Linte
• Abstract要約: 医用画像分類データセットにおけるラベルノイズは、教師付き深層学習法の訓練を邪魔する。 プレトレーニングは、教師あり訓練におけるラベルノイズに対するViTの堅牢性向上に不可欠であることを示す。
• 参考スコア（独自算出の注目度）: 8.578500152567164
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Label noise in medical image classification datasets significantly hampers the training of supervised deep learning methods, undermining their generalizability. The test performance of a model tends to decrease as the label noise rate increases. Over recent years, several methods have been proposed to mitigate the impact of label noise in medical image classification and enhance the robustness of the model. Predominantly, these works have employed CNN-based architectures as the backbone of their classifiers for feature extraction. However, in recent years, Vision Transformer (ViT)-based backbones have replaced CNNs, demonstrating improved performance and a greater ability to learn more generalizable features, especially when the dataset is large. Nevertheless, no prior work has rigorously investigated how transformer-based backbones handle the impact of label noise in medical image classification. In this paper, we investigate the architectural robustness of ViT against label noise and compare it to that of CNNs. We use two medical image classification datasets -- COVID-DU-Ex, and NCT-CRC-HE-100K -- both corrupted by injecting label noise at various rates. Additionally, we show that pretraining is crucial for ensuring ViT's improved robustness against label noise in supervised training.
• Abstract（参考訳）: 医用画像分類データセットのラベルノイズは、教師付き深層学習法の訓練を著しく妨げ、その一般化性を損なう。 モデルの試験性能はラベルノイズ率が増加するにつれて低下する傾向がある。 近年,医療画像分類におけるラベルノイズの影響を緩和し,モデルのロバスト性を高めるため,いくつかの手法が提案されている。 これらの作品はCNNベースのアーキテクチャを特徴抽出のための分類器のバックボーンとして採用している。 しかし、近年ではビジョントランスフォーマー(ViT)ベースのバックボーンがCNNに取って代わられ、パフォーマンスが向上し、特にデータセットが大きい場合には、より一般化可能な機能を学ぶ能力が向上している。 それにもかかわらず、トランスフォーマーベースのバックボーンが医療画像分類におけるラベルノイズの影響をどのように扱うか、以前の研究は厳密に検討されていない。 本稿では,ラベルノイズに対するViTのアーキテクチャ的ロバスト性について検討し,それをCNNと比較する。 医療画像分類データセットとして、COVID-DU-ExとNCT-CRC-HE-100Kの2つを使用します。 さらに,プレトレーニングは,教師付きトレーニングにおけるラベルノイズに対するViTの堅牢性向上に不可欠であることを示す。

関連論文リスト

• GCI-ViTAL: Gradual Confidence Improvement with Vision Transformers for Active Learning on Label Noise [1.603727941931813]
  本研究では,CIFAR10,CIFAR100,Food101,Chest X線データセットのAL手法を比較し,画像分類タスクに焦点を当てた。 本稿では,ノイズのラベル付けに頑健な新しいディープラーニングアルゴリズムGCI-ViTALを提案する。
  論文  参考訳（メタデータ） (2024-11-08T19:59:40Z)
• Contrastive-Based Deep Embeddings for Label Noise-Resilient Histopathology Image Classification [0.0]
  ノイズラベルは 病理組織像の分類において 重要な課題です ディープニューラルネットワークはラベルノイズに容易に適合し、モデル性能が大幅に低下する。 自己教師型コントラスト法で訓練した基礎モデルから抽出した埋め込みのラベル雑音耐性特性を示す。
  論文  参考訳（メタデータ） (2024-04-11T09:47:52Z)
• Improving Medical Image Classification in Noisy Labels Using Only Self-supervised Pretraining [9.01547574908261]
  ノイズラベルが深層学習に基づく教師付き画像分類性能を損なうのは、モデルがノイズに過度に適合し、劣化した特徴抽出器を学習するためである。 そこで本研究では,自己誘発ノイズラベルを持つ2つの医療データセットを対象とした,深層学習分類モデルの重み付けを初期化するための,コントラスト的,プレテキストなタスクベース自己教師型事前訓練について検討する。 その結果,自己教師付き学習から得られた事前学習重み付きモデルは,より優れた特徴を効果的に学習し,ノイズラベルに対する堅牢性を向上させることができることがわかった。
  論文  参考訳（メタデータ） (2023-08-08T19:45:06Z)
• Label-noise-tolerant medical image classification via self-attention and self-supervised learning [5.6827706625306345]
  医用画像分類におけるノイズラベルの悪影響を軽減するためのノイズローバストトレーニング手法を提案する。 具体的には、コントラスト学習とグループ内注意混合戦略をバニラ指導学習に取り入れる。 コントラスト学習とアテンション・ミックスアップによるノイズ・ロバスト手法がラベルノイズを効果的に扱えるかどうかを厳密な実験により検証した。
  論文  参考訳（メタデータ） (2023-06-16T09:37:16Z)
• Data-Efficient Vision Transformers for Multi-Label Disease Classification on Chest Radiographs [55.78588835407174]
  視覚変換器(ViT)は一般的な画像の分類性能が高いにもかかわらず、このタスクには適用されていない。 ViTは、畳み込みではなくパッチベースの自己アテンションに依存しており、CNNとは対照的に、ローカル接続に関する事前の知識は存在しない。 以上の結果から,ViTとCNNのパフォーマンスはViTの利点に匹敵するものの,DeiTsはトレーニング用に適度に大規模なデータセットが利用可能であれば,前者よりも優れることがわかった。
  論文  参考訳（メタデータ） (2022-08-17T09:07:45Z)
• Treatment Learning Causal Transformer for Noisy Image Classification [62.639851972495094]
  本研究では,この2値情報「ノイズの存在」を画像分類タスクに組み込んで予測精度を向上させる。 因果的変動推定から動機付け,雑音画像分類のための頑健な特徴表現を潜在生成モデルを用いて推定するトランスフォーマーに基づくアーキテクチャを提案する。 また、パフォーマンスベンチマークのための幅広いノイズ要素を取り入れた、新しいノイズの多い画像データセットも作成する。
  論文  参考訳（メタデータ） (2022-03-29T13:07:53Z)
• Vision Transformers for femur fracture classification [59.99241204074268]
  Vision Transformer (ViT) はテスト画像の83%を正確に予測することができた。 史上最大かつ最もリッチなデータセットを持つサブフラクチャーで良い結果が得られた。
  論文  参考訳（メタデータ） (2021-08-07T10:12:42Z)
• Improving Medical Image Classification with Label Noise Using Dual-uncertainty Estimation [72.0276067144762]
  医用画像における2種類のラベルノイズについて論じ,定義する。 医用画像分類作業中にこれら2つのラベルノイズを処理する不確実性推定に基づくフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-28T14:56:45Z)
• Attention-Aware Noisy Label Learning for Image Classification [97.26664962498887]
  大規模ラベル付きサンプルで学習した深層畳み込みニューラルネットワーク(CNN)は、コンピュータビジョンにおいて顕著な進歩を遂げている。 大量のラベル付きビジュアルデータを取得する最も安価な方法は、Flickrのようなユーザーが提供するラベルでウェブサイトからクロールすることである。 本稿では,潜在的なラベルノイズのあるデータセットに基づいて学習したネットワークの識別能力を向上させるために,注目に敏感なラベル学習手法を提案する。
  論文  参考訳（メタデータ） (2020-09-30T15:45:36Z)
• Rectified Meta-Learning from Noisy Labels for Robust Image-based Plant Disease Diagnosis [64.82680813427054]
  植物病は食料安全保障と作物生産に対する主要な脅威の1つである。 1つの一般的なアプローチは、葉画像分類タスクとしてこの問題を変換し、強力な畳み込みニューラルネットワーク(CNN)によって対処できる。 本稿では,正規化メタ学習モジュールを共通CNNパラダイムに組み込んだ新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-17T09:51:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。