論文の概要: AutoFT: Robust Fine-Tuning by Optimizing Hyperparameters on OOD Data
- arxiv url: http://arxiv.org/abs/2401.10220v1
- Date: Thu, 18 Jan 2024 18:58:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-19 15:22:58.874135
- Title: AutoFT: Robust Fine-Tuning by Optimizing Hyperparameters on OOD Data
- Title(参考訳): AutoFT:OODデータ上でのハイパーパラメータ最適化によるロバストファインチューニング
- Authors: Caroline Choi, Yoonho Lee, Annie Chen, Allan Zhou, Aditi Raghunathan,
Chelsea Finn
- Abstract要約: ファンデーションモデルは、タスク固有のデータを微調整することで、望ましいタスクに適応できるリッチな表現をエンコードする。
強靭な微調整法は手作りの正則化技術を用いる。
基礎モデルの微調整を導くためのデータ駆動型アプローチであるAutoFTを提案する。
- 参考スコア(独自算出の注目度): 60.641186718253735
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Foundation models encode rich representations that can be adapted to a
desired task by fine-tuning on task-specific data. However, fine-tuning a model
on one particular data distribution often compromises the model's original
performance on other distributions. Current methods for robust fine-tuning
utilize hand-crafted regularization techniques to constrain the fine-tuning
process towards the base foundation model. Yet, it is hard to precisely specify
what characteristics of the foundation model to retain during fine-tuning, as
this depends on how the pre-training, fine-tuning, and evaluation data
distributions relate to each other. We propose AutoFT, a data-driven approach
for guiding foundation model fine-tuning. AutoFT optimizes fine-tuning
hyperparameters to maximize performance on a small out-of-distribution (OOD)
validation set. To guide fine-tuning in a granular way, AutoFT searches a
highly expressive hyperparameter space that includes weight coefficients for
many different losses, in addition to learning rate and weight decay values. We
evaluate AutoFT on nine natural distribution shifts which include domain shifts
and subpopulation shifts. Our experiments show that AutoFT significantly
improves generalization to new OOD data, outperforming existing robust
fine-tuning methods. Notably, AutoFT achieves new state-of-the-art performance
on the WILDS-iWildCam and WILDS-FMoW benchmarks, outperforming the previous
best methods by $6.0\%$ and $1.5\%$, respectively.
- Abstract(参考訳): ファンデーションモデルは、タスク固有のデータを微調整することで、望ましいタスクに適応できるリッチな表現をエンコードする。
しかし、ある特定のデータ分布でモデルを微調整することは、しばしば他の分布におけるモデルの本来の性能を損なう。
強靭な微調整法は手作りの正則化技術を用いて基礎モデルに向けて微調整過程を制限している。
しかし,事前学習,微調整,評価データ分布が相互にどのように関連しているかによって,微調整時に保持すべき基礎モデルの特性を正確に特定することは困難である。
基礎モデルの微調整を行うためのデータ駆動アプローチであるautoftを提案する。
AutoFTは微調整ハイパーパラメータを最適化し、小さなアウト・オブ・ディストリビューション(OOD)検証セットの性能を最大化する。
微調整を粒度よく導くため、オートフトは学習速度や減量値に加えて、多くの異なる損失に対する重み係数を含む高表現のハイパーパラメータ空間を探索する。
ドメインシフトとサブポピュレーションシフトを含む9つの自然分布シフトのオートフトを評価する。
実験の結果,AutoFTは新たなOODデータへの一般化を著しく改善し,既存の堅牢な微調整法よりも優れていた。
特にautoftはwilds-iwildcamとwilds-fmowベンチマークで新たな最先端性能を達成し、以前のベストメソッドをそれぞれ$6.0\%$と$1.5\%$で上回った。
関連論文リスト
- Transfer-Learning-Based Autotuning Using Gaussian Copula [0.0]
ガウスコプラ(GC)に基づくTLに基づく最初の自動チューニング手法を提案する。
GCは、最初の評価で64.37%のピーク数ショットのパフォーマンスを達成することができる。さらに、GCモデルは、最大33.39$times$ speedupという数ショット転送予算を決定することができる。
論文 参考訳(メタデータ) (2024-01-09T16:52:57Z) - Empirical Analysis of Efficient Fine-Tuning Methods for Large
Pre-Trained Language Models [4.096453902709292]
BitFitとアダプタモジュールは、標準のフルモデルファインチューニングと比較される。
BitFitアプローチは、さまざまなトレーニングデータにわたる完全な微調整パフォーマンスと一致します。
アダプタモジュールは、デフォルトモデルよりも一貫性のないゲインを持つ、高い可変性を示す。
論文 参考訳(メタデータ) (2024-01-08T17:44:43Z) - FTFT: Efficient and Robust Fine-Tuning by Transferring Training Dynamics [7.58472343957521]
トレーニングダイナミクスは,モデルサイズや事前学習手法間で非常に伝達可能であることを示す。
本稿では,TransFerring Training dynamics (FTFT)によるファインチューニング手法を提案する。
論文 参考訳(メタデータ) (2023-10-10T12:53:48Z) - Trainable Projected Gradient Method for Robust Fine-tuning [36.470333094917436]
本研究では,各層に課される制約を自動的に学習し,微粒な微調整正規化を実現するために,TPGM(Traiable Projected Gradient Method)を提案する。
これは二段階制約最適化問題としてファインチューニングを定式化することによって動機付けられる。
TPGM は OOD 性能における既存の微調整手法よりも優れた性能を示し,ID 性能に適合することを示した。
論文 参考訳(メタデータ) (2023-03-19T17:30:44Z) - Scaling & Shifting Your Features: A New Baseline for Efficient Model
Tuning [126.84770886628833]
既存の微調整法は、事前訓練されたモデルの全てのパラメータ(フル微調整)をチューニングするか、最後の線形層(線形プローブ)のみをチューニングする。
そこで本研究では,SSFと呼ばれるパラメータ効率の高いファインタニング手法を提案する。
論文 参考訳(メタデータ) (2022-10-17T08:14:49Z) - Fine-Tuning can Distort Pretrained Features and Underperform
Out-of-Distribution [100.01469697743322]
微調整は、事前訓練された特徴が良好で分布シフトが大きい場合、線形探索よりも精度が良くなる。
我々は,このIDとOODの精度のトレードオフが,簡単な設定でも生じることを理論的に示す。
解析の結果,線形探究の容易な2段階戦略は,線形探究と線形探究の両方の利点を併せ持つことが明らかとなった。
論文 参考訳(メタデータ) (2022-02-21T09:03:34Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳(メタデータ) (2022-01-11T23:01:12Z) - DSEE: Dually Sparsity-embedded Efficient Tuning of Pre-trained Language
Models [152.29364079385635]
事前訓練されたモデルが大きくなればなるほど、微調整のプロセスは時間がかかり、計算コストがかかる可能性がある。
本稿では,重み更新と最終モデルの重み付けに先立って,疎度を活用することで,資源・パラメータ効率の微調整を行うフレームワークを提案する。
提案するフレームワークは,Dually Sparsity-Embeded Efficient Tuning (DSEE)と呼ばれ,パラメータ効率のよい微調整とリソース効率の推論という2つの重要な目標を達成することを目的としている。
論文 参考訳(メタデータ) (2021-10-30T03:29:47Z) - Adapting by Pruning: A Case Study on BERT [9.963251767416967]
対象タスクの性能を最適化するために,事前学習したモデルの神経接続をpruneするプラニングにより適応する新しいモデル適応パラダイムを提案する。
本稿では, 最適化問題として適応分割法を定式化し, モデル作成のための効率的なアルゴリズムを提案する。
以上の結果から,提案手法は細調整フルモデルと同等の性能を示しながら,BERTの最大50%の重み付けが可能であることが示唆された。
論文 参考訳(メタデータ) (2021-05-07T15:51:08Z) - AutoFlow: Learning a Better Training Set for Optical Flow [62.40293188964933]
AutoFlowは、光学フローのトレーニングデータをレンダリングする手法である。
AutoFlowはPWC-NetとRAFTの両方の事前トレーニングにおいて最先端の精度を実現する。
論文 参考訳(メタデータ) (2021-04-29T17:55:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。