論文の概要: Skip2-LoRA: A Lightweight On-device DNN Fine-tuning Method for Low-cost Edge Devices

• arxiv url: http://arxiv.org/abs/2410.21073v1
• Date: Mon, 28 Oct 2024 14:35:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:16:33.656061
• Title: Skip2-LoRA: A Lightweight On-device DNN Fine-tuning Method for Low-cost Edge Devices
• Title（参考訳）: Skip2-LoRA:低コストエッジデバイスのための軽量オンデバイスDNNファインチューニング法
• Authors: Hiroki Matsutani, Masaaki Kondo, Kazuki Sunaga, Radu Marculescu,
• Abstract要約: 本稿では,深層ニューラルネットワークの軽量微調整手法としてSkip2-LoRAを提案する。 本手法では,ネットワーク表現力を高めるため,最後の層と他の層の間にトレーニング可能なLoRAアダプタを挿入する。 以上の結果から,Skip2-LoRAはトレーニング可能なパラメータの同じパラメータに比べて,微調整時間を平均90.0%削減できることがわかった。
• 参考スコア（独自算出の注目度）: 7.219286228148705
• License:
• Abstract: This paper proposes Skip2-LoRA as a lightweight fine-tuning method for deep neural networks to address the gap between pre-trained and deployed models. In our approach, trainable LoRA (low-rank adaptation) adapters are inserted between the last layer and every other layer to enhance the network expressive power while keeping the backward computation cost low. This architecture is well-suited to cache intermediate computation results of the forward pass and then can skip the forward computation of seen samples as training epochs progress. We implemented the combination of the proposed architecture and cache, denoted as Skip2-LoRA, and tested it on a $15 single board computer. Our results show that Skip2-LoRA reduces the fine-tuning time by 90.0% on average compared to the counterpart that has the same number of trainable parameters while preserving the accuracy, while taking only a few seconds on the microcontroller board.
• Abstract（参考訳）: 本稿では,事前学習モデルと展開モデルとのギャップに対処する,深層ニューラルネットワークのための軽量微調整手法としてSkip2-LoRAを提案する。 提案手法では,トレーニング可能なLoRAアダプタを最終層と他の層の間に挿入し,後方計算コストを低く抑えながら,ネットワーク表現力を高める。 このアーキテクチャは、フォワードパスの中間計算結果をキャッシュするのに適しており、その上で、トレーニングの時期が進むにつれて、サンプルのフォワード計算を省略することができる。 提案したアーキテクチャとキャッシュの組み合わせをSkip2-LoRAとして実装し,15ドルのシングルボードコンピュータ上でテストした。 この結果から,Skip2-LoRAは,マイクロコントローラボード上で数秒しかかかることなく,トレーニング可能なパラメータが同じである場合と比較して,微調整時間を平均90.0%削減できることがわかった。

関連論文リスト

• Run LoRA Run: Faster and Lighter LoRA Implementations [50.347242693025336]
  LoRAは、線形層に低ランクアダプタを導入することにより、ニューラルネットワーク内のトレーニング可能なパラメータの数を減らすテクニックである。 本稿では,LoRAの効率的な実装のためのRunLoRAフレームワークを提案する。 実験は、言語モデリングネットワーク上で最大28%のスピードアップを示す。
  論文  参考訳（メタデータ） (2023-12-06T10:54:34Z)
• Learning to Compose SuperWeights for Neural Parameter Allocation Search [61.078949532440724]
  提案手法は,同じ重み集合を用いて多くのネットワークに対してパラメータを生成することができることを示す。 これにより、効率的なアンサンブルや、いつでも予測できるようなタスクをサポートできます。
  論文  参考訳（メタデータ） (2023-12-03T04:20:02Z)
• Prompt Tuning for Parameter-efficient Medical Image Segmentation [79.09285179181225]
  2つの医用画像データセットのセマンティックセグメンテーションにパラメータ効率が良いが効果的な適応を実現するために,いくつかのコントリビューションを提案し,検討する。 我々はこのアーキテクチャを、オンライン生成プロトタイプへの割り当てに基づく専用密集型セルフスーパービジョンスキームで事前訓練する。 得られたニューラルネットワークモデルにより、完全に微調整されたモデルとパラメータに適応したモデルとのギャップを緩和できることを実証する。
  論文  参考訳（メタデータ） (2022-11-16T21:55:05Z)
• Matching Pursuit Based Scheduling for Over-the-Air Federated Learning [67.59503935237676]
  本稿では,フェデレートラーニング手法を用いて,オーバー・ザ・エアラーニングのための低複雑さデバイススケジューリングアルゴリズムのクラスを開発する。 最先端の提案方式と比較すると,提案方式は極めて低効率なシステムである。 提案手法の有効性は,CIFARデータセットを用いた実験により確認した。
  論文  参考訳（メタデータ） (2022-06-14T08:14:14Z)
• CATRO: Channel Pruning via Class-Aware Trace Ratio Optimization [61.71504948770445]
  本稿では,CATRO (Class-Aware Trace Ratio Optimization) を用いた新しいチャネルプルーニング手法を提案する。 CATROは、他の最先端チャネルプルーニングアルゴリズムと同等の精度で、同様のコストまたは低コストで高い精度を達成できることを示す。 CATROは、クラス認識の特性のため、様々な分類サブタスクに適応的に効率の良いネットワークを創り出すのに適している。
  論文  参考訳（メタデータ） (2021-10-21T06:26:31Z)
• Spike time displacement based error backpropagation in convolutional spiking neural networks [0.6193838300896449]
  本稿では,STiDi-BPアルゴリズムを拡張し,より深く,畳み込み型アーキテクチャに応用する。 MNISTとFashion-MNISTの2つのベンチマークに基づく画像分類タスクの評価結果から,このアルゴリズムが深部SNNに適用可能であることを確認した。 後進パスで更新される実数値重みと、フィードフォワードプロセスで使用される2値重みと、その記号と2値重みの2つの重みを持つ畳み込みSNNを考える。
  論文  参考訳（メタデータ） (2021-08-31T05:18:59Z)
• LayerPipe: Accelerating Deep Neural Network Training by Intra-Layer and Inter-Layer Gradient Pipelining and Multiprocessor Scheduling [6.549125450209931]
  バックプロパゲーションによるモデルパラメータのトレーニングは、本質的にフィードバックループを生成する。 提案システムはLayerPipeと呼ばれ、トレーニングに必要なクロックサイクルの数を削減している。
  論文  参考訳（メタデータ） (2021-08-14T23:51:00Z)
• BRDS: An FPGA-based LSTM Accelerator with Row-Balanced Dual-Ratio Sparsification [3.3711251611130337]
  エネルギー消費を低減し、Long Short-Term Memory (LSTM) ニューラルネットワークアクセラレータの速度を改善するためのハードウェアフレンドリーなプランニングアルゴリズムを提示する。 その結果、提案された加速器は最大272%の有効GOPS/Wを提供することができ、パープレキシティエラーはPTBデータセットの1.4%まで低減される。
  論文  参考訳（メタデータ） (2021-01-07T18:23:48Z)
• Multi-scale Interaction for Real-time LiDAR Data Segmentation on an Embedded Platform [62.91011959772665]
  LiDARデータのリアルタイムセマンティックセグメンテーションは、自動運転車にとって不可欠である。 ポイントクラウド上で直接動作する現在のアプローチでは、複雑な空間集約操作を使用する。 本稿では,マルチスケールインタラクションネットワーク(MINet)と呼ばれるプロジェクションベースの手法を提案する。
  論文  参考訳（メタデータ） (2020-08-20T19:06:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。