Fugu-MT 論文翻訳(概要): Improved Regularization and Robustness for Fine-tuning in Neural Networks

論文の概要: Improved Regularization and Robustness for Fine-tuning in Neural Networks

arxiv url: http://arxiv.org/abs/2111.04578v1
Date: Mon, 8 Nov 2021 15:39:44 GMT
ステータス: 処理完了
システム内更新日: 2021-11-09 14:12:28.473547
Title: Improved Regularization and Robustness for Fine-tuning in Neural Networks
Title（参考訳）: ニューラルネットワークの微調整における規則化とロバスト性の改善
Authors: Dongyue Li and Hongyang R. Zhang
Abstract要約: 転送学習に広く用いられるアルゴリズムは微調整であり、少量のラベル付きデータを用いて、事前学習されたモデルを目標タスクに微調整する。本稿では,正規化と自己ラベルの一般化という,正規化の自己ラベル化を提案する。提案手法は、7つの画像分類タスクに対して1.76%(平均)、数ショット分類タスクに対して0.75%改善する。
参考スコア（独自算出の注目度）: 5.626364462708321
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: A widely used algorithm for transfer learning is fine-tuning, where a pre-trained model is fine-tuned on a target task with a small amount of labeled data. When the capacity of the pre-trained model is much larger than the size of the target data set, fine-tuning is prone to overfitting and "memorizing" the training labels. Hence, an important question is to regularize fine-tuning and ensure its robustness to noise. To address this question, we begin by analyzing the generalization properties of fine-tuning. We present a PAC-Bayes generalization bound that depends on the distance traveled in each layer during fine-tuning and the noise stability of the fine-tuned model. We empirically measure these quantities. Based on the analysis, we propose regularized self-labeling -- the interpolation between regularization and self-labeling methods, including (i) layer-wise regularization to constrain the distance traveled in each layer; (ii) self label-correction and label-reweighting to correct mislabeled data points (that the model is confident) and reweight less confident data points. We validate our approach on an extensive collection of image and text data sets using multiple pre-trained model architectures. Our approach improves baseline methods by 1.76% (on average) for seven image classification tasks and 0.75% for a few-shot classification task. When the target data set includes noisy labels, our approach outperforms baseline methods by 3.56% on average in two noisy settings.
Abstract（参考訳）: 転送学習に広く使われているアルゴリズムは微調整であり、少量のラベル付きデータで事前学習されたモデルを対象タスクに微調整する。トレーニング済みモデルのキャパシティがターゲットデータセットのサイズよりもはるかに大きい場合、微調整はトレーニングラベルを過度に適合させ「記憶する」傾向がある。したがって、重要な疑問は微調整を規則化し、ノイズに対する堅牢性を確保することである。この問題に対処するために、まず微調整の一般化特性を分析する。微調整時の各層における走行距離と微調整モデルの雑音安定性に依存するPAC-Bayes一般化法を提案する。私たちはこれらの量を実証的に測定する。この分析に基づいて、正規化と自己ラベル法との補間を含む正規化自己ラベル法を提案する。 (i)各層内を走行する距離を制限するための層別正則化 (ii)自己ラベル補正とラベル強調は、誤ってラベル付けされたデータポイント(モデルが確信している)を補正し、自信のないデータポイントを再強調する。複数の事前学習モデルアーキテクチャを用いて,画像およびテキストデータセットの広範な集合に対するアプローチを検証する。提案手法は,7つの画像分類タスクに対して1.76% (平均) 改善し,少数の分類タスクでは0.75%改善する。対象のデータセットがノイズラベルを含む場合,提案手法はベースラインメソッドを2つのノイズ設定で平均3.56%上回る。

関連論文リスト

Co-training for Low Resource Scientific Natural Language Inference [65.37685198688538]
遠隔教師付きラベルに分類器のトレーニング力学に基づいて重みを割り当てる新しいコトレーニング手法を提案する。予測された信頼度に対する任意のしきい値に基づいてサンプルをフィルタリングするのではなく、重要重みを割り当てることにより、自動ラベル付きデータの使用を最大化する。提案手法は、遠隔監視ベースラインに対するマクロF1の1.5%の改善と、他の強力なSSLベースラインよりも大幅に改善されている。
論文参考訳（メタデータ） (2024-06-20T18:35:47Z)
Learning in the Wild: Towards Leveraging Unlabeled Data for Effectively Tuning Pre-trained Code Models [38.7352992942213]
我々は,大規模な未ラベルデータセットを用いた事前学習型コードモデルを改善するために,HINTという新しいアプローチを提案する。 HINTには、HybrId擬似ラベル付きデータ選択とノイズ耐性トレーニングの2つの主要なモジュールが含まれている。実験の結果、HINTはタスク固有の方法でラベル付けされていないデータをうまく活用できることがわかった。
論文参考訳（メタデータ） (2024-01-02T06:39:00Z)
One-bit Supervision for Image Classification: Problem, Solution, and Beyond [114.95815360508395]
本稿では,ラベルの少ない新しい学習環境である,画像分類のための1ビット監督について述べる。多段階学習パラダイムを提案し、負ラベル抑圧を半教師付き半教師付き学習アルゴリズムに組み込む。複数のベンチマークにおいて、提案手法の学習効率は、フルビットの半教師付き監視手法よりも優れている。
論文参考訳（メタデータ） (2023-11-26T07:39:00Z)
Cross-Level Distillation and Feature Denoising for Cross-Domain Few-Shot Classification [49.36348058247138]
トレーニング段階において,対象領域内のラベルなし画像のごく一部をアクセス可能にすることで,ドメイン間数ショット分類の問題に対処する。我々は,対象データセットのより識別的な特徴を抽出するモデルの能力を高めるため,クロスレベルな知識蒸留法を慎重に設計する。提案手法は,従来の動的蒸留法を5.44%,1.37%,5ショット分類法を1.37%超えることができる。
論文参考訳（メタデータ） (2023-11-04T12:28:04Z)
Robust Data Pruning under Label Noise via Maximizing Re-labeling Accuracy [34.02350195269502]
我々は再ラベルでデータプルーニングの問題を定式化する。そこで本研究では,すべてのトレーニング例の局所的信頼度を最大化する,新しいデータプルーニングアルゴリズムPrune4Relを提案する。
論文参考訳（メタデータ） (2023-11-02T05:40:26Z)
Fine tuning Pre trained Models for Robustness Under Noisy Labels [34.68018860186995]
トレーニングデータセットにノイズの多いラベルが存在することは、機械学習モデルのパフォーマンスに大きな影響を及ぼす可能性がある。我々は、事前学習されたモデルの事前知識を頑健かつ効率的に伝達するTURNと呼ばれる新しいアルゴリズムを導入する。
論文参考訳（メタデータ） (2023-10-24T20:28:59Z)
MAPS: A Noise-Robust Progressive Learning Approach for Source-Free Domain Adaptive Keypoint Detection [76.97324120775475]
クロスドメインキーポイント検出方法は、常に適応中にソースデータにアクセスする必要がある。本稿では、ターゲット領域に十分に訓練されたソースモデルのみを提供する、ソースフリーなドメイン適応キーポイント検出について考察する。
論文参考訳（メタデータ） (2023-02-09T12:06:08Z)
Learning with Neighbor Consistency for Noisy Labels [69.83857578836769]
特徴空間におけるトレーニング例間の類似性を利用した雑音ラベルから学習する手法を提案する。合成(CIFAR-10, CIFAR-100)とリアル(mini-WebVision, Clothing1M, mini-ImageNet-Red)の両方のノイズを評価するデータセットの評価を行った。
論文参考訳（メタデータ） (2022-02-04T15:46:27Z)
HydraMix-Net: A Deep Multi-task Semi-supervised Learning Approach for Cell Detection and Classification [14.005379068469361]
半教師付き手法は、モデルの性能を向上させるために非ラベル付きデータを活用することで、大規模ラベリングセットの障壁を取り除く。医用画像の分野におけるHydraMix-Netの半教師付き深層マルチタスク分類とローカライズ手法を提案する。
論文参考訳（メタデータ） (2020-08-11T15:00:59Z)
Uncertainty-aware Self-training for Text Classification with Few Labels [54.13279574908808]
本研究は,アノテーションのボトルネックを軽減するための半教師あり学習手法の1つとして,自己学習について研究する。本稿では,基礎となるニューラルネットワークの不確実性推定を取り入れて,自己学習を改善する手法を提案する。本手法では,クラス毎に20～30個のラベル付きサンプルをトレーニングに利用し,完全教師付き事前学習言語モデルの3%以内で検証を行う。
論文参考訳（メタデータ） (2020-06-27T08:13:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。