論文の概要: Efficient Fine-Tuning of BERT Models on the Edge

• arxiv url: http://arxiv.org/abs/2205.01541v1
• Date: Tue, 3 May 2022 14:51:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-04 17:07:16.205640
• Title: Efficient Fine-Tuning of BERT Models on the Edge
• Title（参考訳）: エッジ上のBERTモデルの効率的な微調整
• Authors: Danilo Vucetic, Mohammadreza Tayaranian, Maryam Ziaeefard, James J. Clark, Brett H. Meyer and Warren J. Gross
• Abstract要約: BERTのようなモデルのためのメモリ効率のよいトレーニングシステムであるFreeze And Reconfigure (FAR)を提案する。 FARは、DistilBERTモデルとCoLAデータセットの微調整時間を30%削減し、メモリ操作に費やした時間を47%削減する。 より広い範囲では、GLUEとSQuADデータセットのメトリックパフォーマンスの低下は平均で約1%である。
• 参考スコア（独自算出の注目度）: 12.768368718187428
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Resource-constrained devices are increasingly the deployment targets of machine learning applications. Static models, however, do not always suffice for dynamic environments. On-device training of models allows for quick adaptability to new scenarios. With the increasing size of deep neural networks, as noted with the likes of BERT and other natural language processing models, comes increased resource requirements, namely memory, computation, energy, and time. Furthermore, training is far more resource intensive than inference. Resource-constrained on-device learning is thus doubly difficult, especially with large BERT-like models. By reducing the memory usage of fine-tuning, pre-trained BERT models can become efficient enough to fine-tune on resource-constrained devices. We propose Freeze And Reconfigure (FAR), a memory-efficient training regime for BERT-like models that reduces the memory usage of activation maps during fine-tuning by avoiding unnecessary parameter updates. FAR reduces fine-tuning time on the DistilBERT model and CoLA dataset by 30%, and time spent on memory operations by 47%. More broadly, reductions in metric performance on the GLUE and SQuAD datasets are around 1% on average.
• Abstract（参考訳）: リソース制約のあるデバイスは、ますます機械学習アプリケーションのデプロイターゲットとなっている。 しかし、静的モデルは動的環境に必ずしも十分ではない。 モデルのオンデバイストレーニングは、新しいシナリオへの迅速な適応を可能にする。 bertなどの自然言語処理モデルで指摘されているように、ディープニューラルネットワークのサイズが大きくなると、メモリ、計算、エネルギー、時間といったリソース要件が増加する。 さらに、トレーニングは推論よりもはるかにリソース集約的です。 したがって、特に大きなBERTのようなモデルでは、リソース制約のあるオンデバイス学習は2倍に困難である。 微調整のメモリ使用量を減らすことで、事前訓練されたBERTモデルは、リソース制約されたデバイス上での微調整に十分な効率を発揮できる。 本稿では,不必要なパラメータ更新を回避して,微調整時のアクティベーションマップのメモリ使用量を削減する,BERTライクなモデルのためのメモリ効率のトレーニングシステムであるFreeze And Reconfigure(FAR)を提案する。 FARはDistilBERTモデルとCoLAデータセットの微調整時間を30%削減し、メモリ操作に費やす時間を47%削減する。 さらに広い範囲で、GLUEとSQuADデータセットのメトリックパフォーマンスの低下は平均で約1%である。

関連論文リスト

• Edge Unlearning is Not "on Edge"! An Adaptive Exact Unlearning System on Resource-Constrained Devices [26.939025828011196]
  忘れられる権利は、機械学習モデルがデータ所有者のデータと訓練されたモデルからの情報の消去を可能にすることを義務付ける。 本稿では,ネットワークエッジ(CAUSE)における制約対応適応エクササイズ学習システムを提案する。
  論文  参考訳（メタデータ） (2024-10-14T03:28:09Z)
• Fine-Tuning and Deploying Large Language Models Over Edges: Issues and Approaches [64.42735183056062]
  大規模言語モデル(LLM)は、特殊モデルから多目的基礎モデルへと移行してきた。 LLMは印象的なゼロショット能力を示すが、ローカルデータセットとデプロイメントのための重要なリソースを微調整する必要がある。
  論文  参考訳（メタデータ） (2024-08-20T09:42:17Z)
• Memory-efficient Energy-adaptive Inference of Pre-Trained Models on Batteryless Embedded Systems [0.0]
  バッテリーレスシステムは、しばしば電力障害に直面し、進捗を維持するために余分なランタイムバッファを必要とし、超小さなディープニューラルネットワーク(DNN)を格納するためのメモリスペースだけを残します。 電池レスシステムにおけるメモリ効率とエネルギー順応性推論のために,事前学習したDNNモデルを最適化するフレームワークであるFreeMLを提案する。 実験の結果,FreeML はモデルサイズを最大 95 倍まで削減し,適応推論を 2.03-19.65 倍のメモリオーバーヘッドでサポートし,最先端技術と比較して無視できる精度の低下のみを伴って,大幅な時間とエネルギーのメリットを提供することがわかった。
  論文  参考訳（メタデータ） (2024-05-16T20:16:45Z)
• Block Selective Reprogramming for On-device Training of Vision Transformers [12.118303034660531]
  本稿では,事前学習したモデルのブロック全体のごく一部のみを微調整するブロック選択型再プログラミング(BSR)を提案する。 既存の代替手法と比較して、トレーニングメモリを最大1.4倍、計算コストを最大2倍に削減する。
  論文  参考訳（メタデータ） (2024-03-25T08:41:01Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• MTrainS: Improving DLRM training efficiency using heterogeneous memories [5.195887979684162]
  Deep Learning Recommendation Models (DLRM)では、埋め込みテーブルを通じてカテゴリ入力をキャプチャするスパース機能がモデルサイズの主要なコントリビュータであり、高いメモリ帯域幅を必要とする。 本稿では,実世界展開モデルにおける埋め込みテーブルの帯域幅と局所性について検討する。 次に、バイトを含む異種メモリを活用するMTrainSを設計し、DLRMの階層的にアドレス指定可能なストレージクラスメモリをブロックする。
  論文  参考訳（メタデータ） (2023-04-19T06:06:06Z)
• Incremental Online Learning Algorithms Comparison for Gesture and Visual Smart Sensors [68.8204255655161]
  本稿では,加速度センサデータに基づくジェスチャー認識と画像分類の2つの実例として,最先端の4つのアルゴリズムを比較した。 以上の結果から,これらのシステムの信頼性と小型メモリMCUへのデプロイの可能性が確認された。
  論文  参考訳（メタデータ） (2022-09-01T17:05:20Z)
• MoEBERT: from BERT to Mixture-of-Experts via Importance-Guided Adaptation [68.30497162547768]
  本研究では,Mixture-of-Experts構造を用いてモデルキャパシティと推論速度を向上させるMoEBERTを提案する。 自然言語理解と質問応答タスクにおけるMoEBERTの有効性と有効性を検証する。
  論文  参考訳（メタデータ） (2022-04-15T23:19:37Z)
• bert2BERT: Towards Reusable Pretrained Language Models [51.078081486422896]
  本稿では,既存のより小さな事前学習モデルの知識を大規模モデルに効果的に伝達できるbert2BERTを提案する。 bert2BERTは、ほぼ半分の大きさのモデルを再利用することで、BERT_BASEとGPT_BASEの事前トレーニングに約45%と47%の計算コストを節約する。
  論文  参考訳（メタデータ） (2021-10-14T04:05:25Z)
• RCT: Resource Constrained Training for Edge AI [35.11160947555767]
  既存のコンパクトモデルのトレーニング方法は、メモリとエネルギーの予算が豊富な強力なサーバ上で動くように設計されている。 これらの問題を解決するため、RCT(Resource Constrained Training)を提案します。 RCTは、トレーニング中、量子化されたモデルのみを調整し、トレーニング中のモデルパラメータのメモリ要求を低減します。
  論文  参考訳（メタデータ） (2021-03-26T14:33:31Z)
• Learning to Augment for Data-Scarce Domain BERT Knowledge Distillation [55.34995029082051]
  本稿では,データスカース領域BERT知識蒸留のための拡張学習法を提案する。 提案手法が4つの異なるタスクにおける最先端のベースラインを大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2021-01-20T13:07:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。