論文の概要: LoRA-Edge: Tensor-Train-Assisted LoRA for Practical CNN Fine-Tuning on Edge Devices

• arxiv url: http://arxiv.org/abs/2511.03765v1
• Date: Wed, 05 Nov 2025 14:24:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-07 20:17:53.174203
• Title: LoRA-Edge: Tensor-Train-Assisted LoRA for Practical CNN Fine-Tuning on Edge Devices
• Title（参考訳）: LoRA-Edge:エッジデバイス上での実用的なCNNファインチューニングのためのテンソルトレインアシストLoRA
• Authors: Hyunseok Kwak, Kyeongwon Lee, Jae-Jin Lee, Woojoo Lee,
• Abstract要約: CNNのオンデバイス微調整は、HAR(Human Activity Recognition)のようなエッジアプリケーションにおけるドメインシフトに対処するために不可欠である。 テンソルトレインアシストを用いた低ランク適応(LoRA)に基づくパラメータ効率細調整(PEFT)法であるLoRA-Edgeを提案する。 多様なHARデータセットとCNNバックボーンにわたって、LoRA-Edgeは、最大1.49%のパラメータを更新しながら、完全な微調整の4.7%の精度を達成する。
• 参考スコア（独自算出の注目度）: 3.3365431084159156
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-device fine-tuning of CNNs is essential to withstand domain shift in edge applications such as Human Activity Recognition (HAR), yet full fine-tuning is infeasible under strict memory, compute, and energy budgets. We present LoRA-Edge, a parameter-efficient fine-tuning (PEFT) method that builds on Low-Rank Adaptation (LoRA) with tensor-train assistance. LoRA-Edge (i) applies Tensor-Train Singular Value Decomposition (TT-SVD) to pre-trained convolutional layers, (ii) selectively updates only the output-side core with zero-initialization to keep the auxiliary path inactive at the start, and (iii) fuses the update back into dense kernels, leaving inference cost unchanged. This design preserves convolutional structure and reduces the number of trainable parameters by up to two orders of magnitude compared to full fine-tuning. Across diverse HAR datasets and CNN backbones, LoRA-Edge achieves accuracy within 4.7% of full fine-tuning while updating at most 1.49% of parameters, consistently outperforming prior parameter-efficient baselines under similar budgets. On a Jetson Orin Nano, TT-SVD initialization and selective-core training yield 1.4-3.8x faster convergence to target F1. LoRA-Edge thus makes structure-aligned, parameter-efficient on-device CNN adaptation practical for edge platforms.
• Abstract（参考訳）: デバイス上でのCNNの微調整は、HAR(Human Activity Recognition)のようなエッジアプリケーションにおけるドメインシフトに対処するために不可欠であるが、完全な微調整は厳密なメモリ、計算、エネルギー予算の下では不可能である。 テンソルトレインアシストを用いた低ランク適応(LoRA)に基づくパラメータ効率細調整(PEFT)法であるLoRA-Edgeを提案する。 ロラエッジ (i)事前学習した畳み込み層にTT-SVD(Tensor-Train Singular Value Decomposition)を適用する。 (二)初期化ゼロの出力側コアのみを選択的に更新し、補助パスを開始時に非アクティブに保つ。 (iii)更新を高密度カーネルに融合させ、推論コストは変わらない。 この設計は、畳み込み構造を保ち、フル微調整に比べて最大2桁まで訓練可能なパラメータの数を減少させる。 多様なHARデータセットとCNNバックボーンにわたって、LoRA-Edgeは完全な微調整の4.7%以内の精度を達成し、少なくとも1.49%のパラメータを更新する。 ジェットソンオリンナノでは、TT-SVD初期化と選択コアトレーニングにより、目標F1への収束が1.4-3.8倍速くなる。 したがって、LRA-Edgeはエッジプラットフォームに対して、構造整合的でパラメータ効率のよいCNN適応を実現する。

関連論文リスト

• Don't Forget the Nonlinearity: Unlocking Activation Functions in Efficient Fine-Tuning [82.16625951603315]
  NoRAは、固定活性化を学習可能な有理関数に置き換え、構造化された低ランク更新を数値化係数と分母係数に適用する。 CIFAR-10とCIFAR-100で訓練された視覚変換器では、NoRAはパラメータのわずか0.4%を更新しながら完全な微調整に適合または超過する。 NoRAは低次元機能部分空間への適応を制約し、暗黙的に更新の規模と方向を規則化する。
  論文  参考訳（メタデータ） (2025-09-16T16:47:03Z)
• Gradient-based Fine-Tuning through Pre-trained Model Regularization [20.823624386591902]
  重み行列の行や列を更新する効率的な勾配ベースおよび正規化微調整法(GRFT)を提案する。 GRFTは最先端のパフォーマンスを実現し、GPS、Adapter Tuning、LoRAといった既存の手法を超越している。
  論文  参考訳（メタデータ） (2025-06-14T14:41:03Z)
• MobiZO: Enabling Efficient LLM Fine-Tuning at the Edge via Inference Engines [28.18421624702502]
  本稿では,大規模言語モデル(LLM)のための資源効率の高い微調整フレームワークであるMobiZOを紹介する。 MobiZOは、微調整精度を向上しつつ、実行時の大幅な高速化とメモリ節約を実現する。 MobiZOは、微調整精度を向上しつつ、実行時の大幅なスピードアップとメモリ節約を実現している。
  論文  参考訳（メタデータ） (2024-09-23T20:14:09Z)
• Dynamic Adapter Meets Prompt Tuning: Parameter-Efficient Transfer Learning for Point Cloud Analysis [51.14136878142034]
  ポイントクラウド分析は、事前訓練されたモデルのポイントクラウドの転送によって、優れたパフォーマンスを実現している。 モデル適応のための既存の方法は通常、高い計算コストに依存するため、非効率な全てのモデルパラメータを更新する。 本稿では,タスク性能とパラメータ効率のトレードオフを考慮した,ポイントクラウド解析のためのパラメータ効率変換学習を提案する。
  論文  参考訳（メタデータ） (2024-03-03T08:25:04Z)
• ConvLoRA and AdaBN based Domain Adaptation via Self-Training [4.006331916849688]
  マルチターゲットドメイン適応のための畳み込み低ランク適応(ConvLoRA)を提案する。 ConvLoRAはトレーニング済みのモデルウェイトを凍結し、畳み込み層にトレーニング可能な低ランク分解行列を追加し、勾配をバックプロパゲートする。 提案手法はトレーニング可能なパラメータを少なくし,大規模独立微調整ネットワークと同等あるいは同等に動作する。
  論文  参考訳（メタデータ） (2024-02-07T15:43:50Z)
• Sensitivity-Aware Visual Parameter-Efficient Fine-Tuning [91.5113227694443]
  私たちは新しいビジュアルを提案します。 Sensuous-Aware Fine-Tuning (SPT) スキーム。 SPTはタスク固有の重要な位置にトレーニング可能なパラメータを割り当てる。 ダウンストリーム認識タスクの幅広い実験により,SPTは既存のPEFT法と相補的であることが示された。
  論文  参考訳（メタデータ） (2023-03-15T12:34:24Z)
• DSEE: Dually Sparsity-embedded Efficient Tuning of Pre-trained Language Models [152.29364079385635]
  事前訓練されたモデルが大きくなればなるほど、微調整のプロセスは時間がかかり、計算コストがかかる可能性がある。 本稿では,重み更新と最終モデルの重み付けに先立って,疎度を活用することで,資源・パラメータ効率の微調整を行うフレームワークを提案する。 提案するフレームワークは,Dually Sparsity-Embeded Efficient Tuning (DSEE)と呼ばれ,パラメータ効率のよい微調整とリソース効率の推論という2つの重要な目標を達成することを目的としている。
  論文  参考訳（メタデータ） (2021-10-30T03:29:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。