論文の概要: MemFLoRA: Memory-Floor LoRA for CNN Adaptation at the Edge

• arxiv url: http://arxiv.org/abs/2610.08669v1
• Date: Tue, 06 Oct 2026 16:51:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:30.130058
• Title: MemFLoRA: Memory-Floor LoRA for CNN Adaptation at the Edge
• Title（参考訳）: MemFLoRA: エッジでのCNN適応のためのメモリフローLoRA
• Abstract要約: Memory-Floor LoRA (MemFLoRA) はメモリファーストの設計原理に基づいて開発された低ランクCNNアダプタである。 MemFLoRAは、保存活性化メモリを98.5-98.7%、ピークトレーニング状態メモリを94.9-97.3%削減する。
• 参考スコア（独自算出の注目度）: 2.735516427793305
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-device learning is necessary when the model encounters user-,sensor-, or environment-specific shifts after deployment. Although parameter-efficient fine-tuning (PEFT) methods, particularly Low-Rank Adaptation (LoRA) variants, enable efficient adaptation at the edge, the limiting resource for Convolutional Neural Network (CNN) adaptation is often not the number of trainable parameters but the activation state that must be retained until the backward pass. This paper introduces Memory-Floor LoRA (MemFLoRA), a low-rank CNN adapter built around a memory-first design principle rather than a direct application of transformer-oriented LoRA. Instead of merely reducing trainable weights, we define an activation-memory-floor criterion: trainable backward computations must not depend on full-width layer inputs. The resulting adapter freezes the down-projection, trains a scale-matched up-projection, and combines eval-mode backbone normalization with activation-minimal backward rules, reducing saved state to the low-rank branch. Evaluated on three Human Activity Recognition (HAR) datasets and two CNN backbones under subject, body-location, and sensor-placement shifts, MemFLoRA reduces saved-activation memory by 98.5-98.7% and peak training-state memory by 94.9-97.3% relative to full fine-tuning, while matching or exceeding CNN PEFT baselines.
• Abstract（参考訳）: オンデバイス学習は、モデルがデプロイ後にユーザ、センサー、あるいは環境固有のシフトに遭遇する場合に必要である。 パラメータ効率のよい微調整(PEFT)法、特にローランド適応(LoRA)変種はエッジでの効率的な適応を可能にするが、畳み込みニューラルネットワーク(CNN)適応の制限リソースはトレーニング可能なパラメータの数ではなく、後方通過まで保持しなければならないアクティベーション状態であることが多い。 本稿では,メモリファースト設計原則に基づいて構築された低ランクCNNアダプタであるMemory-Floor LoRA(MemFLoRA)を紹介する。 トレーニング可能なウェイトを減らす代わりに、アクティベーション・メモリ・フロアの基準を定義します。 結果として生じるアダプタは、ダウンプロジェクションを凍結し、スケールマッチングされたアッププロジェクションをトレーニングし、evalモードのバックボーン正規化とアクティベーション最小のバックワードルールを組み合わせることで、保存された状態をローランクブランチに還元する。 HAR(Human Activity Recognition)データセット3つと、被検体、体位置、センサー配置シフトのCNNバックボーンに基づいて評価され、MemFLoRAは、CNN PEFTベースラインに適合または超えながら、保存活性化メモリを98.5-98.7%、ピークトレーニング状態メモリを94.9-97.3%削減する。

関連論文リスト

• Low-Rank Ternary Adaptation for Fine-Tuning Transformers [54.3230438745856]
  3次変換器は、極端なメモリと計算効率を提供する。 既存のロービットのLoRAベースの手法では、3次重みを直接微調整することはできない。 3次重みの離散的な更新を表す3次乗法適応を提案する。
  論文  参考訳（メタデータ） (2026-08-25T12:15:56Z)
• Parameter Efficiency Is Not Memory Efficiency: Rethinking Fine-Tuning for On-Device LLM Adaptation [1.2559585990041289]
  LARS(Low-Memory Activation-Rank Subspace)は、シーケンス長からメモリ消費を分離する新しい適応フレームワークである。 LARSは、推論、理解、長文データセットにわたるLoRAと比較して、GPUで平均33.54%、CPUで51.95%のメモリフットプリントを削減している。
  論文  参考訳（メタデータ） (2026-04-03T17:05:33Z)
• LoRA-Edge: Tensor-Train-Assisted LoRA for Practical CNN Fine-Tuning on Edge Devices [3.3365431084159156]
  CNNのオンデバイス微調整は、HAR(Human Activity Recognition)のようなエッジアプリケーションにおけるドメインシフトに対処するために不可欠である。 テンソルトレインアシストを用いた低ランク適応(LoRA)に基づくパラメータ効率細調整(PEFT)法であるLoRA-Edgeを提案する。 多様なHARデータセットとCNNバックボーンにわたって、LoRA-Edgeは、最大1.49%のパラメータを更新しながら、完全な微調整の4.7%の精度を達成する。
  論文  参考訳（メタデータ） (2025-11-05T14:24:56Z)
• Model Parallelism With Subnetwork Data Parallelism [21.914077370806016]
  大規模な大規模ニューラルネットワークの事前トレーニングは、アクセラレータに大量のメモリ要求を課し、しばしば高価な通信を必要とする。 本稿では,分散トレーニングフレームワークであるSubnetwork Data Parallelism(SDP)を紹介する。 本研究では,不偏勾配を維持するために下位段階のみに空間性を適用した後方マスキングと,前方パスのパラメータを除去してより高効率なゲインを実現する前方マスキングの2つの相補的なマスキング方式について検討する。
  論文  参考訳（メタデータ） (2025-07-11T21:25:11Z)
• ConvLoRA and AdaBN based Domain Adaptation via Self-Training [4.006331916849688]
  マルチターゲットドメイン適応のための畳み込み低ランク適応(ConvLoRA)を提案する。 ConvLoRAはトレーニング済みのモデルウェイトを凍結し、畳み込み層にトレーニング可能な低ランク分解行列を追加し、勾配をバックプロパゲートする。 提案手法はトレーニング可能なパラメータを少なくし,大規模独立微調整ネットワークと同等あるいは同等に動作する。
  論文  参考訳（メタデータ） (2024-02-07T15:43:50Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• TinyTL: Reduce Activations, Not Trainable Parameters for Efficient On-Device Learning [78.80707950262214]
  デバイス上での学習により、エッジデバイスはAIモデルを新しいデータに継続的に適応できる。 既存の作業は、トレーニング可能なパラメータの数を減らすことで、この問題を解決する。 メモリ効率の高いオンデバイス学習のためのTiny-Transfer-Learning(TinyTL)を提案する。
  論文  参考訳（メタデータ） (2020-07-22T18:39:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。