論文の概要: AutoFT: Learning an Objective for Robust Fine-Tuning
- arxiv url: http://arxiv.org/abs/2401.10220v2
- Date: Thu, 7 Mar 2024 08:49:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-08 17:05:38.952165
- Title: AutoFT: Learning an Objective for Robust Fine-Tuning
- Title(参考訳): AutoFT:ロバストなファインチューニングの目的を学ぶ
- Authors: Caroline Choi, Yoonho Lee, Annie Chen, Allan Zhou, Aditi Raghunathan,
Chelsea Finn
- Abstract要約: ファンデーションモデルは、微調整によって下流タスクに適応できるリッチな表現をエンコードする。
手作り正則化技術を用いた頑健な微調整への最近のアプローチ
我々は、堅牢な微調整のためのデータ駆動型アプローチであるAutoFTを提案する。
- 参考スコア(独自算出の注目度): 60.641186718253735
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Foundation models encode rich representations that can be adapted to
downstream tasks by fine-tuning. However, fine-tuning a model on one data
distribution often degrades performance under distribution shifts. Current
approaches to robust fine-tuning use hand-crafted regularization techniques to
constrain the fine-tuning process towards the pretrained model. Yet, it is hard
to specify how to adapt relevant characteristics of the foundation model during
fine-tuning, as this depends on how the pre-training, fine-tuning, and test
data distributions relate to each other. We propose AutoFT, a data-driven
approach for robust fine-tuning. Given a task, AutoFT searches for a
fine-tuning procedure that enhances out-of-distribution (OOD) generalization.
Specifically, AutoFT uses bi-level optimization to search for an objective
function and hyperparameters that maximize post-adaptation performance on a
small OOD validation set. We evaluate AutoFT on nine natural distribution
shifts. Our experiments show that AutoFT significantly improves generalization
to OOD inputs, outperforming existing robust fine-tuning methods. Notably,
AutoFT achieves a new state-of-the-art on the WILDS iWildCam and FMoW
benchmarks, outperforming the previous best methods by $6.0\%$ and $1.5\%$,
respectively.
- Abstract(参考訳): ファンデーションモデルは、微調整によって下流タスクに適応できるリッチな表現をエンコードする。
しかし、あるデータ分布上のモデルを微調整すると、分散シフト時に性能が低下することが多い。
強固な微調整への最近のアプローチでは、手作りの正則化技術を使用して、事前訓練されたモデルに微調整プロセスを制約している。
しかし、事前トレーニング、微調整、テストデータの分散が相互にどう関係しているかに依存するため、微調整時に基礎モデルの適切な特性をどのように適応するかを特定することは困難である。
我々は、堅牢な微調整のためのデータ駆動型アプローチであるAutoFTを提案する。
タスクが与えられたとき、AutoFTはアウト・オブ・ディストリビューション(OOD)の一般化を強化する微調整手順を検索する。
特に、AutoFTは2レベル最適化を用いて、小さなOOD検証セットにおける適応後のパフォーマンスを最大化する目的関数とハイパーパラメータを探索する。
我々は9つの自然分布シフトでAutoFTを評価する。
実験の結果、AutoFTはOOD入力への一般化を著しく改善し、既存の頑健な微調整方法よりも優れていることがわかった。
特に、AutoFT は WILDS iWildCam と FMoW のベンチマークにおいて、それぞれ 6.0\%$ と $1.5\%$ を上回り、新しい最先端技術を実現している。
関連論文リスト
- Transfer-Learning-Based Autotuning Using Gaussian Copula [0.0]
ガウスコプラ(GC)に基づくTLに基づく最初の自動チューニング手法を提案する。
GCは、最初の評価で64.37%のピーク数ショットのパフォーマンスを達成することができる。さらに、GCモデルは、最大33.39$times$ speedupという数ショット転送予算を決定することができる。
論文 参考訳(メタデータ) (2024-01-09T16:52:57Z) - Empirical Analysis of Efficient Fine-Tuning Methods for Large
Pre-Trained Language Models [4.096453902709292]
BitFitとアダプタモジュールは、標準のフルモデルファインチューニングと比較される。
BitFitアプローチは、さまざまなトレーニングデータにわたる完全な微調整パフォーマンスと一致します。
アダプタモジュールは、デフォルトモデルよりも一貫性のないゲインを持つ、高い可変性を示す。
論文 参考訳(メタデータ) (2024-01-08T17:44:43Z) - AutoEn: An AutoML method based on ensembles of predefined Machine
Learning pipelines for supervised Traffic Forecasting [1.6242924916178283]
交通予測(TF)は、将来の交通状況を予測することで交通渋滞を緩和する能力により、関連性が高まっている。
TFは、モデル選択問題(MSP)として知られる機械学習パラダイムに大きな課題を提起する。
事前に定義されたMLパイプラインの集合からマルチクラス化アンサンブルを自動生成する,シンプルで効率的な手法であるAutoEnを紹介する。
論文 参考訳(メタデータ) (2023-03-19T18:37:18Z) - Trainable Projected Gradient Method for Robust Fine-tuning [36.470333094917436]
本研究では,各層に課される制約を自動的に学習し,微粒な微調整正規化を実現するために,TPGM(Traiable Projected Gradient Method)を提案する。
これは二段階制約最適化問題としてファインチューニングを定式化することによって動機付けられる。
TPGM は OOD 性能における既存の微調整手法よりも優れた性能を示し,ID 性能に適合することを示した。
論文 参考訳(メタデータ) (2023-03-19T17:30:44Z) - Scaling & Shifting Your Features: A New Baseline for Efficient Model
Tuning [126.84770886628833]
既存の微調整法は、事前訓練されたモデルの全てのパラメータ(フル微調整)をチューニングするか、最後の線形層(線形プローブ)のみをチューニングする。
そこで本研究では,SSFと呼ばれるパラメータ効率の高いファインタニング手法を提案する。
論文 参考訳(メタデータ) (2022-10-17T08:14:49Z) - Fine-Tuning can Distort Pretrained Features and Underperform
Out-of-Distribution [100.01469697743322]
微調整は、事前訓練された特徴が良好で分布シフトが大きい場合、線形探索よりも精度が良くなる。
我々は,このIDとOODの精度のトレードオフが,簡単な設定でも生じることを理論的に示す。
解析の結果,線形探究の容易な2段階戦略は,線形探究と線形探究の両方の利点を併せ持つことが明らかとなった。
論文 参考訳(メタデータ) (2022-02-21T09:03:34Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳(メタデータ) (2022-01-11T23:01:12Z) - DSEE: Dually Sparsity-embedded Efficient Tuning of Pre-trained Language
Models [152.29364079385635]
事前訓練されたモデルが大きくなればなるほど、微調整のプロセスは時間がかかり、計算コストがかかる可能性がある。
本稿では,重み更新と最終モデルの重み付けに先立って,疎度を活用することで,資源・パラメータ効率の微調整を行うフレームワークを提案する。
提案するフレームワークは,Dually Sparsity-Embeded Efficient Tuning (DSEE)と呼ばれ,パラメータ効率のよい微調整とリソース効率の推論という2つの重要な目標を達成することを目的としている。
論文 参考訳(メタデータ) (2021-10-30T03:29:47Z) - Adapting by Pruning: A Case Study on BERT [9.963251767416967]
対象タスクの性能を最適化するために,事前学習したモデルの神経接続をpruneするプラニングにより適応する新しいモデル適応パラダイムを提案する。
本稿では, 最適化問題として適応分割法を定式化し, モデル作成のための効率的なアルゴリズムを提案する。
以上の結果から,提案手法は細調整フルモデルと同等の性能を示しながら,BERTの最大50%の重み付けが可能であることが示唆された。
論文 参考訳(メタデータ) (2021-05-07T15:51:08Z) - AutoFlow: Learning a Better Training Set for Optical Flow [62.40293188964933]
AutoFlowは、光学フローのトレーニングデータをレンダリングする手法である。
AutoFlowはPWC-NetとRAFTの両方の事前トレーニングにおいて最先端の精度を実現する。
論文 参考訳(メタデータ) (2021-04-29T17:55:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。