論文の概要: Two-Stage Fine-Tuning: A Novel Strategy for Learning Class-Imbalanced
Data
- arxiv url: http://arxiv.org/abs/2207.10858v1
- Date: Fri, 22 Jul 2022 03:39:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-25 12:49:16.067789
- Title: Two-Stage Fine-Tuning: A Novel Strategy for Learning Class-Imbalanced
Data
- Title（参考訳）: 2段階ファインチューニング: クラス不均衡データ学習のための新しい戦略
- Authors: Taha ValizadehAslani, Yiwen Shi, Jing Wang, Ping Ren, Yi Zhang, Meng
Hu, Liang Zhao, Hualou Liang
- Abstract要約: 長い尾の分散データの分類は難しい問題である。
トレーニング済みのモデルを下流タスクに転送する場合、特に微調整では、テールクラスでの学習は困難である。
本稿では,2段階のファインチューニングを提案する。まず,事前訓練されたモデルの最終層をクラスバランスの再重み付け損失で微調整し,次に標準のファインチューニングを実行する。
- 参考スコア（独自算出の注目度）: 11.66734752179563
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Classification on long-tailed distributed data is a challenging problem,
which suffers from serious class-imbalance and hence poor performance on tail
classes with only a few samples. Owing to this paucity of samples, learning on
the tail classes is especially challenging for the fine-tuning when
transferring a pretrained model to a downstream task. In this work, we present
a simple modification of standard fine-tuning to cope with these challenges.
Specifically, we propose a two-stage fine-tuning: we first fine-tune the final
layer of the pretrained model with class-balanced reweighting loss, and then we
perform the standard fine-tuning. Our modification has several benefits: (1) it
leverages pretrained representations by only fine-tuning a small portion of the
model parameters while keeping the rest untouched; (2) it allows the model to
learn an initial representation of the specific task; and importantly (3) it
protects the learning of tail classes from being at a disadvantage during the
model updating. We conduct extensive experiments on synthetic datasets of both
two-class and multi-class tasks of text classification as well as a real-world
application to ADME (i.e., absorption, distribution, metabolism, and excretion)
semantic labeling. The experimental results show that the proposed two-stage
fine-tuning outperforms both fine-tuning with conventional loss and fine-tuning
with a reweighting loss on the above datasets.
- Abstract（参考訳）: 長い尾の分散データの分類は難しい問題であり、深刻なクラス不均衡に悩まされ、少数のサンプルしか持たない尾のクラスの性能が低下する。
このようなサンプルの曖昧さのため、事前訓練されたモデルを下流タスクに転送する際、テールクラスでの学習は特に微調整が難しい。
本稿では,これらの課題に対処するために,標準的な微調整の簡単な修正を提案する。
具体的には,2段階のファインチューニングを提案する。まず,事前訓練されたモデルの最終層をクラスバランスの再重み付け損失で微調整し,次に標準のファインチューニングを実行する。
1)モデルパラメータのごく一部のみを微調整し,残りを未修正のままにしておくことで,事前訓練された表現を活用すること,(2)モデルが特定のタスクの初期表現を学習できること,(3)モデル更新時にテールクラスの学習が不利益になるのを防ぐこと,の2つの利点がある。
テキスト分類の2クラスおよび複数クラスのタスクの合成データセットに関する広範な実験を行い,ADME(吸収,分布,代謝,排他)セマンティックラベリングへの実世界の応用について検討した。
実験結果から,提案した2段階微調整は,従来の損失による微調整と,上記のデータセットに対する再加重損失による微調整の両方に優れていた。
関連論文リスト
- Fine-Tuning is Fine, if Calibrated [33.42198023647517]
事前訓練されたモデルの微調整は、以前に学習した他のクラスにおいて、モデルの精度を劇的に低下させることが示されている。
本論文は,「微調整モデルで損傷を受けたものは何か?」という根本的な疑問に答えることを目的として,この問題を体系的に識別する。
微調整されたモデルは、他のクラス間の関係を忘れたり、これらのクラスを認識するために機能を劣化させたりしない。
論文 参考訳（メタデータ） (2024-09-24T16:35:16Z) - Low-rank finetuning for LLMs: A fairness perspective [54.13240282850982]
低ランク近似技術は、微調整された大規模言語モデルのデファクトスタンダードとなっている。
本稿では,これらの手法が初期訓練済みデータ分布から微調整データセットのシフトを捉える上での有効性について検討する。
低ランク微調整は好ましくない偏見や有害な振る舞いを必然的に保存することを示す。
論文 参考訳（メタデータ） (2024-05-28T20:43:53Z) - LEVI: Generalizable Fine-tuning via Layer-wise Ensemble of Different Views [28.081794908107604]
ファインチューニングは、新しい下流タスクで事前訓練された基礎モデルのパワーを活用するために使用される。
近年の研究では、微調整されたモデルから目に見えない分布への一般化の課題が観察されている。
そこで本研究では,タスク固有モデルを用いて,事前学習したモデルを階層的に適応的に組み立てる,一般化可能なファインチューニング手法LEVIを提案する。
論文 参考訳（メタデータ） (2024-02-07T08:16:40Z) - TWINS: A Fine-Tuning Framework for Improved Transferability of
Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。
本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。
TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文 参考訳（メタデータ） (2023-03-20T14:12:55Z) - Overwriting Pretrained Bias with Finetuning Data [36.050345384273655]
目的タスクと機密属性の相互関係を概念化した場合のバイアスや,データセット内の特定のグループを過小評価する場合のバイアスについて検討する。
事前訓練されたモデルの上に微調整されたモデルは、実際にそれらのバイアスを継承できるが、(2)このバイアスは、比較的小さな介入によって修正できる。
その結果、下流タスクのバイアスを軽減するためには、微調整データセットの慎重なキュレーションが重要であることが示唆され、事前訓練されたモデルのバイアスを補うこともできる。
論文 参考訳（メタデータ） (2023-03-10T19:10:58Z) - Delving into Semantic Scale Imbalance [45.30062061215943]
クラスの特徴的多様性を測定するために使用されるクラスの意味的スケールを定義し,定量化する。
本稿では、一般的な損失改善スキームと動的再重み付けトレーニングフレームワークを含む意味尺度バランス学習を提案する。
総合的な実験により、動的セマンティック・スケール・バランス・ラーニングにより、大規模で長い尾を持つ非長い尾を持つ自然および医学的なデータセットにおいて、モデルが優れたパフォーマンスを発揮することが示されている。
論文 参考訳（メタデータ） (2022-12-30T09:40:09Z) - CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep
Learning [55.733193075728096]
現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。
サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。
本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
論文 参考訳（メタデータ） (2022-02-11T13:49:51Z) - FairIF: Boosting Fairness in Deep Learning via Influence Functions with
Validation Set Sensitive Attributes [51.02407217197623]
本稿では,FAIRIFという2段階の学習アルゴリズムを提案する。
サンプル重みが計算される再重み付きデータセットの損失を最小限に抑える。
FAIRIFは、様々な種類のバイアスに対して、フェアネスとユーティリティのトレードオフを良くしたモデルが得られることを示す。
論文 参考訳（メタデータ） (2022-01-15T05:14:48Z) - Mining Minority-class Examples With Uncertainty Estimates [102.814407678425]
現実世界では、オブジェクトの発生頻度は自然にスキューされ、長い尾のクラス分布を形成する。
これらの課題を克服する効果的な、しかし簡単なアプローチを提案する。
我々のフレームワークは、抑制されたテールクラスのアクティベーションを強化し、その後、1クラスのデータ中心アプローチを使用して、テールクラスの例を効果的に識別する。
論文 参考訳（メタデータ） (2021-12-15T02:05:02Z) - Exploring Strategies for Generalizable Commonsense Reasoning with
Pre-trained Models [62.28551903638434]
モデルの一般化と精度に及ぼす3つの異なる適応法の影響を計測する。
2つのモデルを用いた実験では、微調整はタスクの内容と構造の両方を学習することで最もうまく機能するが、過度に適合し、新しい答えへの限定的な一般化に苦しむ。
我々は、プレフィックスチューニングのような代替適応手法が同等の精度を持つのを観察するが、解を見落とさずに一般化し、対数分割に対してより堅牢である。
論文 参考訳（メタデータ） (2021-09-07T03:13:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。