論文の概要: AutoFT: Robust Fine-Tuning by Optimizing Hyperparameters on OOD Data

• arxiv url: http://arxiv.org/abs/2401.10220v1
• Date: Thu, 18 Jan 2024 18:58:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-19 15:22:58.874135
• Title: AutoFT: Robust Fine-Tuning by Optimizing Hyperparameters on OOD Data
• Title（参考訳）: AutoFT:OODデータ上でのハイパーパラメータ最適化によるロバストファインチューニング
• Authors: Caroline Choi, Yoonho Lee, Annie Chen, Allan Zhou, Aditi Raghunathan, Chelsea Finn
• Abstract要約: ファンデーションモデルは、タスク固有のデータを微調整することで、望ましいタスクに適応できるリッチな表現をエンコードする。 強靭な微調整法は手作りの正則化技術を用いる。 基礎モデルの微調整を導くためのデータ駆動型アプローチであるAutoFTを提案する。
• 参考スコア（独自算出の注目度）: 60.641186718253735
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Foundation models encode rich representations that can be adapted to a desired task by fine-tuning on task-specific data. However, fine-tuning a model on one particular data distribution often compromises the model's original performance on other distributions. Current methods for robust fine-tuning utilize hand-crafted regularization techniques to constrain the fine-tuning process towards the base foundation model. Yet, it is hard to precisely specify what characteristics of the foundation model to retain during fine-tuning, as this depends on how the pre-training, fine-tuning, and evaluation data distributions relate to each other. We propose AutoFT, a data-driven approach for guiding foundation model fine-tuning. AutoFT optimizes fine-tuning hyperparameters to maximize performance on a small out-of-distribution (OOD) validation set. To guide fine-tuning in a granular way, AutoFT searches a highly expressive hyperparameter space that includes weight coefficients for many different losses, in addition to learning rate and weight decay values. We evaluate AutoFT on nine natural distribution shifts which include domain shifts and subpopulation shifts. Our experiments show that AutoFT significantly improves generalization to new OOD data, outperforming existing robust fine-tuning methods. Notably, AutoFT achieves new state-of-the-art performance on the WILDS-iWildCam and WILDS-FMoW benchmarks, outperforming the previous best methods by $6.0\%$ and $1.5\%$, respectively.
• Abstract（参考訳）: ファンデーションモデルは、タスク固有のデータを微調整することで、望ましいタスクに適応できるリッチな表現をエンコードする。 しかし、ある特定のデータ分布でモデルを微調整することは、しばしば他の分布におけるモデルの本来の性能を損なう。 強靭な微調整法は手作りの正則化技術を用いて基礎モデルに向けて微調整過程を制限している。 しかし,事前学習,微調整,評価データ分布が相互にどのように関連しているかによって,微調整時に保持すべき基礎モデルの特性を正確に特定することは困難である。 基礎モデルの微調整を行うためのデータ駆動アプローチであるautoftを提案する。 AutoFTは微調整ハイパーパラメータを最適化し、小さなアウト・オブ・ディストリビューション(OOD)検証セットの性能を最大化する。 微調整を粒度よく導くため、オートフトは学習速度や減量値に加えて、多くの異なる損失に対する重み係数を含む高表現のハイパーパラメータ空間を探索する。 ドメインシフトとサブポピュレーションシフトを含む9つの自然分布シフトのオートフトを評価する。 実験の結果,AutoFTは新たなOODデータへの一般化を著しく改善し,既存の堅牢な微調整法よりも優れていた。 特にautoftはwilds-iwildcamとwilds-fmowベンチマークで新たな最先端性能を達成し、以前のベストメソッドをそれぞれ$6.0\%$と$1.5\%$で上回った。

関連論文リスト

• Visual Fourier Prompt Tuning [63.66866445034855]
  本稿では,大規模なトランスフォーマーモデルに適用するための汎用的で効果的な方法として,Visual Fourier Prompt Tuning (VFPT)法を提案する。 提案手法では,高速フーリエ変換を即時埋め込みに取り入れ,空間領域情報と周波数領域情報の両方を調和的に検討する。 提案手法は,2つのベンチマークにおいて,現状のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-11-02T18:18:35Z)
• Unlearning as multi-task optimization: A normalized gradient difference approach with an adaptive learning rate [105.86576388991713]
  正規化勾配差(NGDiff)アルゴリズムを導入し、目的間のトレードオフをよりよく制御できるようにする。 本研究では,TOFUおよびMUSEデータセットにおける最先端の未学習手法において,NGDiffの優れた性能を実証的に実証し,理論的解析を行った。
  論文  参考訳（メタデータ） (2024-10-29T14:41:44Z)
• Forecast-PEFT: Parameter-Efficient Fine-Tuning for Pre-trained Motion Forecasting Models [68.23649978697027]
  Forecast-PEFTは、モデルのパラメータの大部分を凍結し、新しく導入されたプロンプトとアダプタの調整に集中する微調整戦略である。 実験の結果,Forecast-PEFTは動作予測タスクにおいて従来のフルチューニング手法よりも優れていた。 Forecast-FTは予測性能をさらに改善し、従来のベースライン法よりも最大9.6%向上した。
  論文  参考訳（メタデータ） (2024-07-28T19:18:59Z)
• A Semantic-based Layer Freezing Approach to Efficient Fine-Tuning of Language Models [32.178931149612644]
  下流のデータやタスクにモデルを適応させるには、微調整言語モデル(LM)が不可欠である。 パラメータ効率の微調整(PEFT)のような既存の作業は、しばしば微細化のためのthithowに焦点を当てるが、微細化のためのtextitwhereの問題を無視している。
  論文  参考訳（メタデータ） (2024-06-17T17:13:08Z)
• Comparative Analysis of Different Efficient Fine Tuning Methods of Large Language Models (LLMs) in Low-Resource Setting [0.0]
  我々は、大規模言語モデル(LLM)の様々な微調整戦略の理解を深めようとしている。 我々は,2つのデータセット(COLAとMNLI)で事前学習したモデルに対して,バニラファインチューニングやPBFT(Pattern-Based Fine-Tuning)のような最先端の手法を比較した。 以上の結果から,バニラFTやPBFTに匹敵する領域外一般化が期待できる可能性が示唆された。
  論文  参考訳（メタデータ） (2024-05-21T20:08:52Z)
• Empirical Analysis of Efficient Fine-Tuning Methods for Large Pre-Trained Language Models [4.096453902709292]
  BitFitとアダプタモジュールは、標準のフルモデルファインチューニングと比較される。 BitFitアプローチは、さまざまなトレーニングデータにわたる完全な微調整パフォーマンスと一致します。 アダプタモジュールは、デフォルトモデルよりも一貫性のないゲインを持つ、高い可変性を示す。
  論文  参考訳（メタデータ） (2024-01-08T17:44:43Z)
• FTFT: Efficient and Robust Fine-Tuning by Transferring Training Dynamics [7.58472343957521]
  トレーニングダイナミクスは,モデルサイズや事前学習手法間で非常に伝達可能であることを示す。 本稿では,TransFerring Training dynamics (FTFT)によるファインチューニング手法を提案する。
  論文  参考訳（メタデータ） (2023-10-10T12:53:48Z)
• Trainable Projected Gradient Method for Robust Fine-tuning [36.470333094917436]
  本研究では,各層に課される制約を自動的に学習し,微粒な微調整正規化を実現するために,TPGM(Traiable Projected Gradient Method)を提案する。 これは二段階制約最適化問題としてファインチューニングを定式化することによって動機付けられる。 TPGM は OOD 性能における既存の微調整手法よりも優れた性能を示し,ID 性能に適合することを示した。
  論文  参考訳（メタデータ） (2023-03-19T17:30:44Z)
• Scaling & Shifting Your Features: A New Baseline for Efficient Model Tuning [126.84770886628833]
  既存の微調整法は、事前訓練されたモデルの全てのパラメータ(フル微調整)をチューニングするか、最後の線形層(線形プローブ)のみをチューニングする。 そこで本研究では,SSFと呼ばれるパラメータ効率の高いファインタニング手法を提案する。
  論文  参考訳（メタデータ） (2022-10-17T08:14:49Z)
• AutoFlow: Learning a Better Training Set for Optical Flow [62.40293188964933]
  AutoFlowは、光学フローのトレーニングデータをレンダリングする手法である。 AutoFlowはPWC-NetとRAFTの両方の事前トレーニングにおいて最先端の精度を実現する。
  論文  参考訳（メタデータ） (2021-04-29T17:55:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。