論文の概要: AutoFreeze: Automatically Freezing Model Blocks to Accelerate Fine-tuning

• arxiv url: http://arxiv.org/abs/2102.01386v1
• Date: Tue, 2 Feb 2021 08:35:02 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-05 09:51:55.114963
• Title: AutoFreeze: Automatically Freezing Model Blocks to Accelerate Fine-tuning
• Title（参考訳）: AutoFreeze:微調整を高速化する自動凍結モデルブロック
• Authors: Yuhan Liu, Saurabh Agarwal, Shivaram Venkataraman
• Abstract要約: AutoFreezeは、アダプティブアプローチを使用して、どのレイヤがトレーニングされているかを選択するシステムである。 精度を保ちながらモデル微調整をいかに加速するかを示す。 4つのNLPタスクに対する評価は、キャッシュを有効にしたAutoFreezeが、最大2.55倍の微調整性能を向上できることを示している。
• 参考スコア（独自算出の注目度）: 8.818152848452588
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the rapid adoption of machine learning (ML), a number of domains now use the approach of fine-tuning models pre-trained on a large corpus of data. However, our experiments show that even fine-tuning on models like BERT can take many hours when using GPUs. While prior work proposes limiting the number of layers that are fine-tuned, e.g., freezing all layers but the last layer, we find that such static approaches lead to reduced accuracy. We propose, AutoFreeze, a system that uses an adaptive approach to choose which layers are trained and show how this can accelerate model fine-tuning while preserving accuracy. We also develop mechanisms to enable efficient caching of intermediate activations which can reduce the forward computation time when performing fine-tuning. Our evaluation on fourNLP tasks shows that AutoFreeze, with caching enabled, can improve fine-tuning performance by up to 2.55x.
• Abstract（参考訳）: 機械学習(ML)の急速な採用により、多くのドメインが、大規模なデータコーパスで事前トレーニングされた微調整モデルのアプローチを使用している。 しかし、我々の実験では、BERTのようなモデルの微調整でさえGPUを使用するのに何時間もかかることが示されている。 以前の作業では、最終レイヤ以外のすべてのレイヤの凍結など、微調整されたレイヤの数を制限することを提案しているが、このような静的アプローチは精度を低下させる。 適応的手法を用いてどの層を訓練するかを選択するシステムであるAutoFreezeを提案し、精度を保ちながらモデル微調整をいかに加速させるかを示す。 また,中間アクティベーションの効率的なキャッシングを可能にする機構を開発し,微調整を行う際の前方計算時間を短縮する。 4つのNLPタスクに対する評価は、キャッシュを有効にしたAutoFreezeが、最大2.55倍の微調整性能を向上できることを示している。

関連論文リスト

• Fast Trainable Projection for Robust Fine-Tuning [36.51660287722338]
  ロバスト微調整は、競争力のある分散内分散(ID)性能を達成することを目的としている。 プロジェクションベースの微調整は頑健な微調整に成功している。 Fast Trainable Projectionはプロジェクションベースのファインチューニングアルゴリズムである。
  論文  参考訳（メタデータ） (2023-10-29T22:52:43Z)
• Tune As You Scale: Hyperparameter Optimization For Compute Efficient Training [0.0]
  そこで本研究では,大規模モデルのロバストなチューニング手法を提案する。 CarBSはパフォーマンスコストフロンティアの周辺でローカル検索を行う。 その結果、単純なベースラインをチューニングするだけで、ProcGenベンチマーク全体を効果的に解決できることがわかった。
  論文  参考訳（メタデータ） (2023-06-13T18:22:24Z)
• Post-Processing Temporal Action Detection [134.26292288193298]
  時間的行動検出(TAD)法は、通常、入力された可変長のビデオを固定長のスニペット表現シーケンスに変換する際に、前処理のステップを踏む。 この前処理ステップは、ビデオを時間的にダウンサンプリングし、推論の解像度を低減し、元の時間分解における検出性能を阻害する。 モデルの再設計や再学習を伴わない新しいモデル非依存のポストプロセッシング手法を提案する。
  論文  参考訳（メタデータ） (2022-11-27T19:50:37Z)
• QuaLA-MiniLM: a Quantized Length Adaptive MiniLM [5.36703735486629]
  限られた計算予算は、トランスフォーマーを生産に使用せず、高い精度で使用することを防ぐことが多い。 知識蒸留法では、BERTを自己蒸留して、より少ない層と少ない内部埋め込みを持つより小さな変換器表現に変換することにより、計算効率に対処する。 Dynamic-TinyBERTは、Longth Adaptive Transformer (LAT) 技術をTinyBERTに部分的に実装し、最小限の精度でBERTベース上でx3スピードアップする。 我々は,LAT法と併用してMiniLM蒸留を行い,低ビット量子化を適用して効率をさらに高めている。
  論文  参考訳（メタデータ） (2022-10-31T07:42:52Z)
• Scaling & Shifting Your Features: A New Baseline for Efficient Model Tuning [126.84770886628833]
  既存の微調整法は、事前訓練されたモデルの全てのパラメータ(フル微調整)をチューニングするか、最後の線形層(線形プローブ)のみをチューニングする。 そこで本研究では,SSFと呼ばれるパラメータ効率の高いファインタニング手法を提案する。
  論文  参考訳（メタデータ） (2022-10-17T08:14:49Z)
• Embedding Recycling for Language Models [38.11465250435789]
  我々は, 埋込みリサイクル(ER)によるそのような環境下での計算コストの削減について検討する。 我々は、事前訓練されたモデルから中間層の出力をキャッシュし、残りのレイヤを微調整して新しいタスクを行う方法を提案する。 本研究では,本手法が学習中の100%の高速化,55～86%の推論速度向上を実現し,学術領域におけるテキスト分類とエンティティ認識タスクの精度への影響を無視できることを示した。
  論文  参考訳（メタデータ） (2022-07-11T16:36:14Z)
• BBTv2: Pure Black-Box Optimization Can Be Comparable to Gradient Descent for Few-Shot Learning [83.26610968655815]
  Black-Box Tuningは、言語モデルの入力に先立って、連続的なプロンプトトークンを最適化するためのデリバティブフリーなアプローチである。 BBTv2は、言語モデルをグラデーションベースの最適化に匹敵する結果を得るために駆動する、純粋なブラックボックス最適化手法である。
  論文  参考訳（メタデータ） (2022-05-23T11:10:19Z)
• LiST: Lite Self-training Makes Efficient Few-shot Learners [91.28065455714018]
  LiSTは古典的な微調整法よりも35%改善し、プロンプトチューニングよりも6%改善した。
  論文  参考訳（メタデータ） (2021-10-12T18:47:18Z)
• Block Pruning For Faster Transformers [89.70392810063247]
  小型モデルと高速モデルの両方を対象としたブロックプルーニング手法を提案する。 このアプローチは、アテンションヘッドのような基盤となるモデルの完全なコンポーネントを抽出することを学ぶ。
  論文  参考訳（メタデータ） (2021-09-10T12:46:32Z)
• AutoFlow: Learning a Better Training Set for Optical Flow [62.40293188964933]
  AutoFlowは、光学フローのトレーニングデータをレンダリングする手法である。 AutoFlowはPWC-NetとRAFTの両方の事前トレーニングにおいて最先端の精度を実現する。
  論文  参考訳（メタデータ） (2021-04-29T17:55:23Z)
• Accelerating Deep Learning Inference via Freezing [8.521443408415868]
  本稿では,各中間層に近似キャッシュを導入するフリーズ推論を提案する。 これにより、ResNet-18上で実行されるCIFAR-10リクエストの91.58%に対して、有効レイヤの数を半分に削減できる可能性がある。
  論文  参考訳（メタデータ） (2020-02-07T07:03:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。