Fugu-MT 論文翻訳(概要): Implicit to Explicit Entropy Regularization: Benchmarking ViT Fine-tuning under Noisy Labels

論文の概要: Implicit to Explicit Entropy Regularization: Benchmarking ViT Fine-tuning under Noisy Labels

arxiv url: http://arxiv.org/abs/2410.04256v1
Date: Sat, 5 Oct 2024 18:24:38 GMT
ステータス: 処理完了
システム内更新日: 2024-11-02 08:49:52.248551
Title: Implicit to Explicit Entropy Regularization: Benchmarking ViT Fine-tuning under Noisy Labels
Title（参考訳）: 明示的エントロピー規則化への示唆:ノイズラベル下でのViTファインチューニングのベンチマーク
Authors: Maria Marrium, Arif Mahmood, Mohammed Bennamoun,
Abstract要約: 大規模データセットは、ディープニューラルネットワーク(DNN)の学習プロセスに悪影響を及ぼすノイズの多いトレーニングデータラベルを導入することができる。雑音ラベル学習は畳み込みニューラルネットワーク(CNN)にとって重要な研究分野となった我々は、視覚変換器(ViT)の雑音ラベルに対する頑健さを評価し、その頑健さをCNNと比較した。
参考スコア（独自算出の注目度）: 38.51300643555487
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Automatic annotation of large-scale datasets can introduce noisy training data labels, which adversely affect the learning process of deep neural networks (DNNs). Consequently, Noisy Labels Learning (NLL) has become a critical research field for Convolutional Neural Networks (CNNs), though it remains less explored for Vision Transformers (ViTs). In this study, we evaluate the vulnerability of ViT fine-tuning to noisy labels and compare its robustness with CNNs. We also investigate whether NLL methods developed for CNNs are equally effective for ViTs. Using linear probing and MLP-K fine-tuning, we benchmark two ViT backbones (ViT-B/16 and ViT-L/16) using three commonly used classification losses: Cross Entropy (CE), Focal Loss (FL), and Mean Absolute Error (MAE), alongside six robust NLL methods: GCE, SCE, NLNL, APL, NCE+AGCE, and ANL-CE. The evaluation is conducted across six datasets including MNIST, CIFAR-10/100, WebVision, Clothing1M, and Food-101N. Furthermore, we explore whether implicit prediction entropy minimization contributes to ViT robustness against noisy labels, noting a general trend of prediction entropy reduction across most NLL methods. Building on this observation, we examine whether explicit entropy minimization could enhance ViT resilience to noisy labels. Our findings indicate that incorporating entropy regularization enhances the performance of established loss functions such as CE and FL, as well as the robustness of the six studied NLL methods across both ViT backbones.
Abstract（参考訳）: 大規模データセットの自動アノテーションは、ディープニューラルネットワーク(DNN)の学習プロセスに悪影響を及ぼすノイズの多いトレーニングデータラベルを導入することができる。その結果、ノイズラベル学習(NLL)は畳み込みニューラルネットワーク(CNN)にとって重要な研究分野となっている。本研究では,ノイズラベルに対するViT微調整の脆弱性を評価し,その堅牢性をCNNと比較する。また、CNN向けに開発されたNLL法が、ViTにも等しく有効であるかどうかについても検討する。線形プローブとMLP-Kファインチューニングを用いて、2つのViTバックボーン(ViT-B/16とViT-L/16)を、Cross Entropy(CE)、Focal Loss(FL)、Mean Absolute Error(MAE)の3つの一般的な分類損失と、GCE、SCE、NLNL、APL、NCE+AGCE、ANL-CEの6つの堅牢なNLLメソッドを用いてベンチマークする。 MNIST, CIFAR-10/100, WebVision, Clothing1M, Food-101N の6つのデータセットで評価を行った。さらに、暗黙的予測エントロピー最小化がノイズラベルに対するViTロバスト性に寄与するかどうかを考察し、ほとんどのNLL法における予測エントロピー低減の一般的な傾向を示す。本研究は, 透明エントロピーの最小化により, ノイズラベルに対するViTレジリエンスが向上するかどうかを考察する。本研究は, エントロピー正則化の導入により, CEやFLなどの確立した損失関数の性能が向上し, 両VTバックボーンにまたがる6つのNLL法の堅牢性も向上することが示唆された。

関連論文リスト

GCI-ViTAL: Gradual Confidence Improvement with Vision Transformers for Active Learning on Label Noise [1.603727941931813]
本研究では,CIFAR10,CIFAR100,Food101,Chest X線データセットのAL手法を比較し,画像分類タスクに焦点を当てた。本稿では,ノイズのラベル付けに頑健な新しいディープラーニングアルゴリズムGCI-ViTALを提案する。
論文参考訳（メタデータ） (2024-11-08T19:59:40Z)
An Embedding is Worth a Thousand Noisy Labels [0.11999555634662634]
本稿では,重み付けされたアダプティブNearest Neighborアプローチを用いてラベルノイズに対処するWANNを提案する。 WANNの参照手法は、様々な大きさの多様なデータセットや、様々なノイズタイプや重大さで優れていることを示す。私たちのアプローチは、効率性と説明可能性を強調し、ディープニューラルネットワークトレーニングの固有の制限を克服するための、シンプルで堅牢なソリューションとして現れます。
論文参考訳（メタデータ） (2024-08-26T15:32:31Z)
Stochastic Restarting to Overcome Overfitting in Neural Networks with Noisy Labels [2.048226951354646]
本研究では,チェックポイントから再起動することで,ディープニューラルネットワーク(DNN)をノイズラベルでトレーニングする際の一般化性能が大幅に向上することを示す。本研究では, 統計物理学分野において, ターゲットの探索を効率的に行うために, 再起動に基づく手法を開発した。提案手法の重要な側面は,実装の容易さと他のメソッドとの互換性でありながら,性能が著しく向上している点である。
論文参考訳（メタデータ） (2024-06-01T10:45:41Z)
SIRST-5K: Exploring Massive Negatives Synthesis with Self-supervised Learning for Robust Infrared Small Target Detection [53.19618419772467]
単一フレーム赤外線小ターゲット検出(SIRST)は、乱雑な背景から小さなターゲットを認識することを目的としている。 Transformerの開発に伴い、SIRSTモデルのスケールは常に増大している。赤外線小ターゲットデータの多彩な多様性により,本アルゴリズムはモデル性能と収束速度を大幅に改善する。
論文参考訳（メタデータ） (2024-03-08T16:14:54Z)
Federated Learning with Instance-Dependent Noisy Label [6.093214616626228]
FedBeatはIDN遷移行列(IDNTM)を用いたグローバルな統計的一貫した分類器の構築を目指している CIFAR-10 と SVHN で行った実験により,提案手法が最先端手法を著しく上回っていることを確認した。
論文参考訳（メタデータ） (2023-12-16T05:08:02Z)
Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。よりスムーズな関数との補間により、より一般化できることを示す。
論文参考訳（メタデータ） (2023-05-30T19:37:44Z)
Dynamics-Aware Loss for Learning with Label Noise [73.75129479936302]
ディープニューラルネットワーク(DNN)にラベルノイズが深刻な脅威をもたらす本稿では,この問題を解決するためにDAL(Dynamics-Aware Los)を提案する。詳細な理論的解析と広範な実験結果の両方が,本手法の優位性を示している。
論文参考訳（メタデータ） (2023-03-21T03:05:21Z)
Synergistic Network Learning and Label Correction for Noise-robust Image Classification [28.27739181560233]
ディープニューラルネットワーク(DNN)は、トレーニングラベルノイズに過度に適合する傾向があるため、実際のモデルパフォーマンスは低下する。損失選択と雑音補正のアイデアを組み合わせたロバストなラベル補正フレームワークを提案する。ノイズタイプやレートの異なる合成および実世界のデータセット上で,本手法を実証する。
論文参考訳（メタデータ） (2022-02-27T23:06:31Z)
Learning from Noisy Labels via Dynamic Loss Thresholding [69.61904305229446]
我々はDLT(Dynamic Loss Thresholding)という新しい手法を提案する。トレーニングプロセス中、DLTは各サンプルの損失値を記録し、動的損失閾値を算出する。 CIFAR-10/100 と Clothing1M の実験は、最近の最先端手法よりも大幅に改善されている。
論文参考訳（メタデータ） (2021-04-01T07:59:03Z)
Cyclic Label Propagation for Graph Semi-supervised Learning [52.102251202186025]
本稿では,CycPropと呼ばれるグラフ半教師付き学習のための新しいフレームワークを提案する。 CycPropはGNNを周期的かつ相互に強化された方法でラベル伝播の過程に統合する。特に,提案するCycPropでは,GNNモジュールが学習したノード埋め込みをラベル伝搬による拡張情報で更新する。
論文参考訳（メタデータ） (2020-11-24T02:55:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。