論文の概要: Efficient Resource-Constrained Training of Vision Transformers via Subspace Optimization

• arxiv url: http://arxiv.org/abs/2510.09160v1
• Date: Fri, 10 Oct 2025 09:03:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 00:38:48.50677
• Title: Efficient Resource-Constrained Training of Vision Transformers via Subspace Optimization
• Title（参考訳）: 部分空間最適化による視覚変換器の効率的な資源制約訓練
• Authors: Le-Trung Nguyen, Enzo Tartaglione, Van-Tam Nguyen,
• Abstract要約: Weight-Activation Subspace Iteration (WASI)は、バックプロパゲーションのメモリボトルネックを軽減する方法である。 Raspberry Pi 5では、WASIはバニラトレーニングよりも高速なトレーニングと推論を実現している。
• 参考スコア（独自算出の注目度）: 18.541460686751744
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As AI increasingly shapes daily life, energy consumption and data privacy have become pressing concerns. On-device learning trains models directly on edge devices, cutting energy consumption and safeguarding data privacy. However, the expanding scale of modern neural networks creates a major obstacle for on-device training. Although prior work has concentrated on compact convolutional architectures, we instead apply subspace-based training to transformer models. Motivated by the idea that a model's essential information lies in a fixed subspace, we introduce Weight-Activation Subspace Iteration (WASI), a method that mitigates the memory bottleneck of backpropagation and boosts inference efficiency in transformer models by restricting training to this subspace. Our results demonstrate that WASI maintains accuracy comparable to vanilla training while reducing memory usage by up to $62\times$ and computational cost (FLOPs) by up to $2\times$. On a Raspberry Pi 5, WASI achieves roughly $1.5\times$ faster training and inference than vanilla training.
• Abstract（参考訳）: AIが日々の生活を形作るにつれ、エネルギー消費とデータのプライバシーが懸念されている。 デバイス上での学習は、エッジデバイス上で直接モデルを訓練し、エネルギー消費を削減し、データのプライバシを保護する。 しかし、現代のニューラルネットワークの規模が拡大すると、デバイス上でのトレーニングの大きな障害が生じる。 従来の作業はコンパクトな畳み込みアーキテクチャに集中していたが、代わりにサブスペースベースのトレーニングをトランスフォーマーモデルに適用する。 モデルの本質的な情報が固定された部分空間に存在するという考え方に感銘を受け、バックプロパゲーションのメモリボトルネックを緩和し、この部分空間へのトレーニングを制限することにより、トランスフォーマーモデルにおける推論効率を高める方法であるウェイト・アクティベーション・サブスペース・イテレーション(WASI)を導入する。 その結果、WASIはバニラトレーニングに匹敵する精度を維持しつつ、メモリ使用量を最大6,2\times$に削減し、計算コストを最大2,2\times$に削減していることがわかった。 Raspberry Pi 5では、WASIはバニラトレーニングよりも高速なトレーニングと推論を実現している。

関連論文リスト

• Exploring the Benefit of Activation Sparsity in Pre-training [117.25661020250658]
  プレトレーニング中に活性化特性がどう変化するかを検討した。 本稿では,Sparse-Dense Learning (SSD)を提案する。 SSDは同じモデルサイズで同等のパフォーマンスを実現し、事前トレーニングコストを削減する。
  論文  参考訳（メタデータ） (2024-10-04T13:53:33Z)
• Block Selective Reprogramming for On-device Training of Vision Transformers [12.118303034660531]
  本稿では,事前学習したモデルのブロック全体のごく一部のみを微調整するブロック選択型再プログラミング(BSR)を提案する。 既存の代替手法と比較して、トレーニングメモリを最大1.4倍、計算コストを最大2倍に削減する。
  論文  参考訳（メタデータ） (2024-03-25T08:41:01Z)
• Fast Machine Unlearning Without Retraining Through Selective Synaptic Dampening [51.34904967046097]
  Selective Synaptic Dampening (SSD)は高速で、訓練データの長期保存を必要としない。 高速で性能が高く,トレーニングデータの長期保存を必要としない,新しい2段階のポストホック,リトレーニングフリーなマシンアンラーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-08-15T11:30:45Z)
• TinyTrain: Resource-Aware Task-Adaptive Sparse Training of DNNs at the Data-Scarce Edge [27.533985670823945]
  TinyTrainは、モデルの一部を選択的に更新することで、トレーニング時間を劇的に短縮するオンデバイストレーニングアプローチである。 TinyTrainはネットワーク全体のバニラ微調整を3.6-5.0%精度で上回る。 9.5倍の高速化と3.5倍のエネルギー効率のトレーニングを実現している。
  論文  参考訳（メタデータ） (2023-07-19T13:49:12Z)
• On-Device Training Under 256KB Memory [62.95579393237751]
  本稿では,256KBのメモリでデバイス上でのトレーニングを可能にするアルゴリズム・システム協調設計フレームワークを提案する。 私たちのフレームワークは256KBと1MBのFlashで畳み込みニューラルネットワークのデバイス上での小さなトレーニングを可能にする最初のソリューションです。
  論文  参考訳（メタデータ） (2022-06-30T17:59:08Z)
• Online Convolutional Re-parameterization [51.97831675242173]
  2段階のパイプラインであるオンライン畳み込み再パラメータ化(OREPA)は、複雑なトレーニング時間ブロックを単一の畳み込みに絞ることで、巨大なトレーニングオーバーヘッドを低減することを目的としている。 最先端のre-paramモデルと比較して、OREPAはトレーニング時間のメモリコストを約70%削減し、トレーニング速度を約2倍向上させることができる。 また、オブジェクト検出とセマンティックセグメンテーションの実験を行い、下流タスクに一貫した改善を示す。
  論文  参考訳（メタデータ） (2022-04-02T09:50:19Z)
• Enabling Binary Neural Network Training on the Edge [7.32770338248516]
  既存のバイナリニューラルネットワークトレーニング手法では、すべてのレイヤに対して高精度なアクティベーションを同時に保存する必要がある。 本稿では,メモリフットプリントの大幅な削減を図った,低コストなバイナリニューラルネットワークトレーニング戦略を提案する。 また、2ナライズされたResNet-18のin-scratch ImageNetトレーニングも実施し、3.78$times$メモリ削減を実現した。
  論文  参考訳（メタデータ） (2021-02-08T15:06:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。