論文の概要: From LLMs to Edge: Parameter-Efficient Fine-Tuning on Edge Devices
- arxiv url: http://arxiv.org/abs/2507.23536v1
- Date: Thu, 31 Jul 2025 13:23:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-01 17:19:09.815083
- Title: From LLMs to Edge: Parameter-Efficient Fine-Tuning on Edge Devices
- Title（参考訳）: LLMからエッジへ:エッジデバイス上でのパラメータ効率の良いファインチューニング
- Authors: Georg Slamanig, Francesco Corti, Olga Saukh,
- Abstract要約: 本稿では,資源制約されたエッジ環境に通常デプロイされる畳み込みアーキテクチャのPEFT手法をベンチマークし,解析する。
評価されたPEFT法は, 深部分離可能な畳み込みアーキテクチャに適用した場合, メモリ効率が半減することがわかった。
- 参考スコア（独自算出の注目度）: 3.4233698915405544
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Parameter-efficient fine-tuning (PEFT) methods reduce the computational costs of updating deep learning models by minimizing the number of additional parameters used to adapt a model to a down- stream task. While extensively researched in large language models (LLMs), their application to smaller models used on edge devices, such as convolutional neural networks, remains underexplored. This paper benchmarks and analyzes popular PEFT methods on convolutional architectures typically deployed in resource-constrained edge environments. We evaluate LoRA, DoRA, and GaLore for updating standard and depthwise convolutional architectures to handle distribution shifts and accommodate unseen classes. We utilize recently proposed PyTorch profilers to compare the updated model performance and computational costs of these PEFT methods with traditional fine-tuning approaches. With resource efficiency in mind, we investigate their update behavior across different rank dimensions. We find that the evaluated PEFT methods are only half as memory-efficient when applied to depthwise-separable convolution architectures, compared to their efficiency with LLMs. Conversely, when targeting convolu- tional architectures optimized for edge deployment, adapter-based PEFT methods can reduce floating point operations (FLOPs) during model updates by up to 95%. These insights offer valuable guidance for selecting PEFT methods based on hardware constraints, performance requirements, and application needs. Our code is online.
- Abstract（参考訳）: パラメータ効率のよい微調整(PEFT)手法は、ダウンストリームタスクにモデルを適用するのに使用される追加パラメータの数を最小化することにより、ディープラーニングモデルを更新する際の計算コストを削減する。
大規模言語モデル (LLMs) で広く研究されているが、畳み込みニューラルネットワークのようなエッジデバイスで使用される小さなモデルへの応用はいまだ検討されていない。
本稿では,資源制約されたエッジ環境に通常デプロイされる畳み込みアーキテクチャのPEFT手法をベンチマークし,解析する。
LoRA, DoRA, GaLoreは,分散シフトを処理し,見知らぬクラスに対応するために,標準および奥行きの畳み込みアーキテクチャを更新するために評価する。
我々は最近提案したPyTorchプロファイラを用いて,これらのPEFT手法のモデル性能と計算コストを従来の微調整手法と比較した。
資源効率を念頭に置いて、異なるランク次元にわたる更新動作について検討する。
評価されたPEFT法は, LLM法と比較して, 深度的に分離可能な畳み込みアーキテクチャに適用した場合, メモリ効率の半減に留まることがわかった。
逆に、エッジデプロイメントに最適化されたコンボリュー・オプショナルアーキテクチャをターゲットとする場合、アダプタベースのPEFTメソッドは、モデル更新時の浮動小数点演算(FLOP)を最大95%削減することができる。
これらの洞察は、ハードウェア制約、性能要件、アプリケーションニーズに基づいてPEFTメソッドを選択するための貴重なガイダンスを提供する。
私たちのコードはオンラインです。
関連論文リスト
- PrunePEFT: Iterative Hybrid Pruning for Parameter-Efficient Fine-tuning of LLMs [8.52711842775914]
PEFT(Efficient Fine-Tuning)法は、訓練済み言語モデルにおいて、効率的かつ有望なアプローチとして登場した。
本稿では,PEFT 戦略探索をプルーニング問題として定式化する新しい手法 PrunePEFT を提案する。
論文 参考訳（メタデータ） (2025-06-09T09:32:58Z) - A Survey on Parameter-Efficient Fine-Tuning for Foundation Models in Federated Learning [5.280048850098648]
ファンデーションモデルは、大規模データセットで事前トレーニングされた堅牢で汎用的なアーキテクチャを提供することによって、人工知能に革命をもたらした。
これらの巨大なモデルを特定の下流タスクに適用するには、微調整が必要である。
本調査は,フェデレート学習環境におけるPEFT技術の統合に関する総合的なレビューを提供する。
論文 参考訳（メタデータ） (2025-04-29T18:18:39Z) - PLM: Efficient Peripheral Language Models Hardware-Co-Designed for Ubiquitous Computing [48.30406812516552]
我々は、モデルアーキテクチャとエッジシステムの制約を協調的に最適化する共同設計プロセスを通じて開発された、周辺言語モデルであるPLMを紹介する。
PLMはMulti-head Latent Attentionメカニズムを採用し、正方形ReLUアクティベーション機能を採用してスパーシティを促進し、ピークメモリフットプリントを減少させる。
評価の結果, PLMは, 公開されているデータに基づいて訓練された既存の小言語モデルよりも優れていた。
論文 参考訳（メタデータ） (2025-03-15T15:11:17Z) - LESA: Learnable LLM Layer Scaling-Up [57.0510934286449]
LLM(Large Language Models)をスクラッチからトレーニングするには膨大な計算資源が必要であるため、非常に高価である。
モデルスケーリングアップは、より小さなモデルのパラメータを活用してより大きなモデルを作成することで、有望なソリューションを提供する。
深度スケールアップのための新しい学習方法である textbfLESA を提案する。
論文 参考訳（メタデータ） (2025-02-19T14:58:48Z) - Parameter-Efficient Fine-Tuning of Large Language Models for Unit Test Generation: An Empirical Study [3.5189934649278922]
GitHub Copilotのような大規模言語モデル(LLM)は、微調整なしで現実世界のタスクに苦労する。
本稿では,LoRA, (IA)3, およびプロンプトチューニングを含む各種PEFT法について検討する。
その結果,PEFT法は単体テスト生成のための完全微調整に匹敵する性能が得られることがわかった。
論文 参考訳（メタデータ） (2024-11-04T09:03:18Z) - LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。
よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。
本手法は,比較性能を維持しつつパラメータ数を削減できる。
論文 参考訳（メタデータ） (2024-10-05T06:59:50Z) - Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。
In-Context Learning (ICL) など。
効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。
下流タスクへのLLM。
我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
論文 参考訳（メタデータ） (2024-09-30T10:48:20Z) - Search for Efficient Large Language Models [52.98684997131108]
大規模言語モデル(LLMs)は、人工知能研究の領域で長い間停滞してきた。
軽量プルーニング、量子化、蒸留がLLMの圧縮に取り入れられ、メモリの削減と推論の加速を狙った。
ほとんどのモデル圧縮技術は、最適アーキテクチャの探索を見越して重量最適化に重点を置いている。
論文 参考訳（メタデータ） (2024-09-25T21:32:12Z) - Empirical Analysis of the Strengths and Weaknesses of PEFT Techniques
for LLMs [1.867982979635437]
各種PEFT手法のベンチマークを行い、異なるデータスケールでモデル性能を評価する。
一般的な信念とは対照的に、PEFT手法は低データシナリオにおいて完全なチューニングよりも遅く収束することを実証的に証明する。
さらに,モデルのどの部分を訓練するかを選択的に選択することで,これらのPEFT手法をさらに最適化する。
論文 参考訳（メタデータ） (2023-04-28T17:39:49Z) - Energy-efficient Task Adaptation for NLP Edge Inference Leveraging
Heterogeneous Memory Architectures [68.91874045918112]
Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。
検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
論文 参考訳（メタデータ） (2023-03-25T14:40:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。