論文の概要: Improved Regularization and Robustness for Fine-tuning in Neural Networks
- arxiv url: http://arxiv.org/abs/2111.04578v2
- Date: Wed, 13 Aug 2025 18:34:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-15 22:24:47.919291
- Title: Improved Regularization and Robustness for Fine-tuning in Neural Networks
- Title（参考訳）: ニューラルネットワークの微調整における規則化とロバスト性の改善
- Authors: Dongyue Li, Hongyang R. Zhang,
- Abstract要約: トランスファーラーニングのアルゴリズムを微調整することは、トレーニングラベルを過度に適合させ記憶させる傾向がある。
正規化と自己ラベルの一般化を提案する。
提案手法は、7つの画像分類タスクに対して1.76%(平均)、数ショット分類タスクに対して0.75%改善する。
- 参考スコア（独自算出の注目度）: 17.209765684998423
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A widely used algorithm for transfer learning is fine-tuning, where a pre-trained model is fine-tuned on a target task with a small amount of labeled data. When the capacity of the pre-trained model is significantly larger than the size of the target dataset, fine-tuning is prone to overfitting and memorizing the training labels. Hence, a crucial question is to regularize fine-tuning and ensure its robustness against noise. To address this question, we begin by analyzing the generalization properties of fine-tuning. We present a PAC-Bayes generalization bound that depends on the distance traveled in each layer during fine-tuning and the noise stability of the fine-tuned model. We empirically measure these quantities. Based on the analysis, we propose regularized self-labeling -- the interpolation between regularization and self-labeling methods, including (i) layer-wise regularization to constrain the distance traveled in each layer; (ii) self-label-correction and label-reweighting to correct mislabeled data points (that the model is confident) and reweight less confident data points. We validate our approach on an extensive collection of image and text datasets using multiple pre-trained model architectures. Our approach improves baseline methods by 1.76% (on average) for seven image classification tasks and 0.75% for a few-shot classification task. When the target data set includes noisy labels, our approach outperforms baseline methods by an average of 3.56% in two noisy settings.
- Abstract（参考訳）: 転送学習に広く用いられるアルゴリズムは微調整であり、少量のラベル付きデータを用いて、事前学習されたモデルを目標タスクに微調整する。
トレーニング済みモデルのキャパシティがターゲットデータセットよりも大幅に大きい場合、微調整はトレーニングラベルを過度に適合させ記憶させる傾向がある。
したがって、重要な疑問は、微調整を規則化し、ノイズに対する堅牢性を確保することである。
この問題に対処するために、我々はファインチューニングの一般化特性を分析することから始める。
微調整時の各層内を走行する距離と微調整モデルの雑音安定性に依存するPAC-Bayes一般化法を提案する。
私たちはこれらの量を実証的に測定する。
この分析に基づいて、正規化と自己ラベル法との補間を含む正規化自己ラベル法を提案する。
(i)各層で走行する距離を制限するための層単位での規則化
(2)ラベルの誤りを訂正するためにラベルの修正とラベルの再重み付けを行い(モデルが自信を持っている)、信頼性の低いデータポイントを再重み付けする。
複数の事前学習モデルアーキテクチャを用いて、画像およびテキストデータセットの広範なコレクションに対するアプローチを検証する。
提案手法は、7つの画像分類タスクに対して1.76%(平均)、数ショット分類タスクに対して0.75%改善する。
対象のデータセットがノイズラベルを含む場合、2つのノイズ設定で平均3.56%のベースライン手法を上回ります。
関連論文リスト
- Co-training for Low Resource Scientific Natural Language Inference [65.37685198688538]
遠隔教師付きラベルに分類器のトレーニング力学に基づいて重みを割り当てる新しいコトレーニング手法を提案する。
予測された信頼度に対する任意のしきい値に基づいてサンプルをフィルタリングするのではなく、重要重みを割り当てることにより、自動ラベル付きデータの使用を最大化する。
提案手法は、遠隔監視ベースラインに対するマクロF1の1.5%の改善と、他の強力なSSLベースラインよりも大幅に改善されている。
論文 参考訳（メタデータ） (2024-06-20T18:35:47Z) - Learning in the Wild: Towards Leveraging Unlabeled Data for Effectively
Tuning Pre-trained Code Models [38.7352992942213]
我々は,大規模な未ラベルデータセットを用いた事前学習型コードモデルを改善するために,HINTという新しいアプローチを提案する。
HINTには、HybrId擬似ラベル付きデータ選択とノイズ耐性トレーニングの2つの主要なモジュールが含まれている。
実験の結果、HINTはタスク固有の方法でラベル付けされていないデータをうまく活用できることがわかった。
論文 参考訳（メタデータ） (2024-01-02T06:39:00Z) - One-bit Supervision for Image Classification: Problem, Solution, and
Beyond [114.95815360508395]
本稿では,ラベルの少ない新しい学習環境である,画像分類のための1ビット監督について述べる。
多段階学習パラダイムを提案し、負ラベル抑圧を半教師付き半教師付き学習アルゴリズムに組み込む。
複数のベンチマークにおいて、提案手法の学習効率は、フルビットの半教師付き監視手法よりも優れている。
論文 参考訳（メタデータ） (2023-11-26T07:39:00Z) - Cross-Level Distillation and Feature Denoising for Cross-Domain Few-Shot
Classification [49.36348058247138]
トレーニング段階において,対象領域内のラベルなし画像のごく一部をアクセス可能にすることで,ドメイン間数ショット分類の問題に対処する。
我々は,対象データセットのより識別的な特徴を抽出するモデルの能力を高めるため,クロスレベルな知識蒸留法を慎重に設計する。
提案手法は,従来の動的蒸留法を5.44%,1.37%,5ショット分類法を1.37%超えることができる。
論文 参考訳（メタデータ） (2023-11-04T12:28:04Z) - Robust Data Pruning under Label Noise via Maximizing Re-labeling
Accuracy [34.02350195269502]
我々は再ラベルでデータプルーニングの問題を定式化する。
そこで本研究では,すべてのトレーニング例の局所的信頼度を最大化する,新しいデータプルーニングアルゴリズムPrune4Relを提案する。
論文 参考訳（メタデータ） (2023-11-02T05:40:26Z) - Fine tuning Pre trained Models for Robustness Under Noisy Labels [34.68018860186995]
トレーニングデータセットにノイズの多いラベルが存在することは、機械学習モデルのパフォーマンスに大きな影響を及ぼす可能性がある。
我々は、事前学習されたモデルの事前知識を頑健かつ効率的に伝達するTURNと呼ばれる新しいアルゴリズムを導入する。
論文 参考訳（メタデータ） (2023-10-24T20:28:59Z) - MAPS: A Noise-Robust Progressive Learning Approach for Source-Free
Domain Adaptive Keypoint Detection [76.97324120775475]
クロスドメインキーポイント検出方法は、常に適応中にソースデータにアクセスする必要がある。
本稿では、ターゲット領域に十分に訓練されたソースモデルのみを提供する、ソースフリーなドメイン適応キーポイント検出について考察する。
論文 参考訳（メタデータ） (2023-02-09T12:06:08Z) - Learning with Neighbor Consistency for Noisy Labels [69.83857578836769]
特徴空間におけるトレーニング例間の類似性を利用した雑音ラベルから学習する手法を提案する。
合成(CIFAR-10, CIFAR-100)とリアル(mini-WebVision, Clothing1M, mini-ImageNet-Red)の両方のノイズを評価するデータセットの評価を行った。
論文 参考訳（メタデータ） (2022-02-04T15:46:27Z) - HydraMix-Net: A Deep Multi-task Semi-supervised Learning Approach for
Cell Detection and Classification [14.005379068469361]
半教師付き手法は、モデルの性能を向上させるために非ラベル付きデータを活用することで、大規模ラベリングセットの障壁を取り除く。
医用画像の分野におけるHydraMix-Netの半教師付き深層マルチタスク分類とローカライズ手法を提案する。
論文 参考訳（メタデータ） (2020-08-11T15:00:59Z) - Uncertainty-aware Self-training for Text Classification with Few Labels [54.13279574908808]
本研究は,アノテーションのボトルネックを軽減するための半教師あり学習手法の1つとして,自己学習について研究する。
本稿では,基礎となるニューラルネットワークの不確実性推定を取り入れて,自己学習を改善する手法を提案する。
本手法では,クラス毎に20～30個のラベル付きサンプルをトレーニングに利用し,完全教師付き事前学習言語モデルの3%以内で検証を行う。
論文 参考訳（メタデータ） (2020-06-27T08:13:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。