論文の概要: PROFIT: A Specialized Optimizer for Deep Fine Tuning

• arxiv url: http://arxiv.org/abs/2412.01930v2
• Date: Mon, 09 Dec 2024 06:03:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:48:50.968532
• Title: PROFIT: A Specialized Optimizer for Deep Fine Tuning
• Title（参考訳）: PROFIT:Deep Fine Tuningの最適化
• Authors: Anirudh S Chakravarthy, Shuai Kyle Zheng, Xin Huang, Sachithra Hemachandra, Xiao Zhang, Yuning Chai, Zhao Chen,
• Abstract要約: ProFIT(Prolly Restricted For Iterative Training)は、新しいタスクやデータセット上で、段階的に微調整された収束モデルに特化して設計された第1弾である。 単純な時間化プロセスを用いることで、PROFITは様々なタスクで従来の微調整方法より優れている。 PROFITはロジックにカプセル化され、最小限のエンジニアリング労力で任意のトレーニングパイプラインに容易に統合される。
• 参考スコア（独自算出の注目度）: 9.082267858686933
• License:
• Abstract: Fine-tuning pre-trained models has become invaluable in computer vision and robotics. Recent fine-tuning approaches focus on improving efficiency rather than accuracy by using a mixture of smaller learning rates or frozen backbones. To return the spotlight to model accuracy, we present PROFIT (Proximally Restricted Optimizer For Iterative Training), one of the first optimizers specifically designed for incrementally fine-tuning converged models on new tasks or datasets. Unlike traditional optimizers such as SGD or Adam, which make minimal assumptions due to random initialization, PROFIT leverages the structure of a converged model to regularize the optimization process, leading to improved results. By employing a simple temporal gradient orthogonalization process, PROFIT outperforms traditional fine-tuning methods across various tasks: image classification, representation learning, and large-scale motion prediction. Moreover, PROFIT is encapsulated within the optimizer logic, making it easily integrated into any training pipeline with minimal engineering effort. A new class of fine-tuning optimizers like PROFIT can drive advancements as fine-tuning and incremental training become increasingly prevalent, reducing reliance on costly model training from scratch.
• Abstract（参考訳）: 微調整された事前訓練されたモデルは、コンピュータビジョンとロボティクスにおいて貴重なものとなっている。 最近の微調整手法は、より少ない学習率または凍結したバックボーンの混合を用いることで、精度よりも効率の向上に重点を置いている。 ProFIT(Proximally Restricted Optimizer for Iterative Training, Proximally Restricted Optimizer for Iterative Training, Proximally Restricted Optimizer for Iterative Training, Proximally Restricted Optimizer for Iterative Training)は、新しいタスクやデータセット上で、インクリメンタルに微調整された収束モデルを設計した最初のオプティマイザである。 ランダム初期化による最小の仮定を行うSGDやAdamのような従来のオプティマイザとは異なり、PROFITは収束モデルの構造を利用して最適化プロセスの正規化を行い、その結果が改善される。 単純な時間勾配の直交化プロセスを用いることで、PROFITは画像分類、表現学習、大規模動き予測など、様々なタスクで従来の微調整方法より優れている。 さらに、PROFITはオプティマイザロジックにカプセル化されており、最小限のエンジニアリング労力で任意のトレーニングパイプラインに容易に統合できる。 PROFITのような新しい微調整オプティマイザのクラスは、微調整と漸進的なトレーニングがますます普及し、コストのかかるモデルトレーニングへの依存をゼロから減らし、進歩を加速させることができる。

関連論文リスト

• Unlearning as multi-task optimization: A normalized gradient difference approach with an adaptive learning rate [105.86576388991713]
  正規化勾配差(NGDiff)アルゴリズムを導入し、目的間のトレードオフをよりよく制御できるようにする。 本研究では,TOFUおよびMUSEデータセットにおける最先端の未学習手法において,NGDiffの優れた性能を実証的に実証し,理論的解析を行った。
  論文  参考訳（メタデータ） (2024-10-29T14:41:44Z)
• SaRA: High-Efficient Diffusion Model Fine-tuning with Progressive Sparse Low-Rank Adaptation [52.6922833948127]
  本研究では,事前学習した拡散モデルにおけるパラメータの重要性について検討する。 本稿では,これらの非効率パラメータをフル活用するための新しいモデル微調整法を提案する。 本手法は,下流アプリケーションにおける事前学習モデルの生成能力を向上する。
  論文  参考訳（メタデータ） (2024-09-10T16:44:47Z)
• Narrowing the Focus: Learned Optimizers for Pretrained Models [24.685918556547055]
  本稿では,一連の基本作業タスクによって提供される更新方向の階層固有の線形結合を学習する手法を提案する。 画像上で評価すると、これはAdamのような従来の既成の方法と既存の一般的な学習の両方で著しく優れています。
  論文  参考訳（メタデータ） (2024-08-17T23:55:19Z)
• Forecast-PEFT: Parameter-Efficient Fine-Tuning for Pre-trained Motion Forecasting Models [68.23649978697027]
  Forecast-PEFTは、モデルのパラメータの大部分を凍結し、新しく導入されたプロンプトとアダプタの調整に集中する微調整戦略である。 実験の結果,Forecast-PEFTは動作予測タスクにおいて従来のフルチューニング手法よりも優れていた。 Forecast-FTは予測性能をさらに改善し、従来のベースライン法よりも最大9.6%向上した。
  論文  参考訳（メタデータ） (2024-07-28T19:18:59Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• Aligning Optimization Trajectories with Diffusion Models for Constrained Design Generation [17.164961143132473]
  本稿では,拡散モデルのサンプリング軌跡と従来の物理法に基づく最適化軌跡との整合性を示す学習フレームワークを提案する。 提案手法では,高コストプリプロセッシングや外部サロゲートモデル,ラベル付きデータの追加を必要とせずに,実用的で高性能な設計を2段階で生成することができる。 この結果から, TAは分布内構成における最先端の深層生成モデルより優れ, 推論計算コストを半減することがわかった。
  論文  参考訳（メタデータ） (2023-05-29T09:16:07Z)
• A Closer Look at Learned Optimization: Stability, Robustness, and Inductive Biases [44.01339030872185]
  ブラックボックスは、しばしば、メタトレーニングセットのタスクと異なり、安定性と一般化に苦しむ。 最適化アルゴリズムの帰納バイアスと安定性特性について検討し、結果として得られる知見をブラックボックスの帰納バイアスの設計に適用する。 私たちはさまざまなニューラルネットワークトレーニングタスクを学び、そこで学んだ技術の現状を上回ります。
  論文  参考訳（メタデータ） (2022-09-22T17:47:21Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)
• Improved Adversarial Training via Learned Optimizer [101.38877975769198]
  対戦型トレーニングモデルの堅牢性を改善するための枠組みを提案する。 共学習のパラメータモデルの重み付けにより、提案するフレームワークは、更新方向に対するロバスト性とステップの適応性を一貫して改善する。
  論文  参考訳（メタデータ） (2020-04-25T20:15:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。