論文の概要: Beyond Low-rank Decomposition: A Shortcut Approach for Efficient On-Device Learning

• arxiv url: http://arxiv.org/abs/2505.05086v1
• Date: Thu, 08 May 2025 09:34:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-09 21:43:49.830157
• Title: Beyond Low-rank Decomposition: A Shortcut Approach for Efficient On-Device Learning
• Title（参考訳）: 低ランク分解を超えて:効率的なオンデバイス学習のためのショートカットアプローチ
• Authors: Le-Trung Nguyen, Ael Quelennec, Van-Tam Nguyen, Enzo Tartaglione,
• Abstract要約: デバイス上での学習は、AI開発にとって有望な方向として現れている。 本稿では,メモリと計算制約に対処する代替手法として,新しいショートカット手法を提案する。 我々の手法は、バニラトレーニングと比較して最大120.09時間まで、アクティベーションメモリの使用量を削減できると同時に、従来のベンチマークで評価した場合、全体的なトレーニングFLOPを最大1.86時間まで削減できる。
• 参考スコア（独自算出の注目度）: 5.373015313199385
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-device learning has emerged as a promising direction for AI development, particularly because of its potential to reduce latency issues and mitigate privacy risks associated with device-server communication, while improving energy efficiency. Despite these advantages, significant memory and computational constraints still represent major challenges for its deployment. Drawing on previous studies on low-rank decomposition methods that address activation memory bottlenecks in backpropagation, we propose a novel shortcut approach as an alternative. Our analysis and experiments demonstrate that our method can reduce activation memory usage, even up to $120.09\times$ compared to vanilla training, while also reducing overall training FLOPs up to $1.86\times$ when evaluated on traditional benchmarks.
• Abstract（参考訳）: デバイス上での学習は、特に遅延問題を低減し、デバイスサーバ間の通信に関連するプライバシーリスクを軽減し、エネルギー効率を向上する可能性があるため、AI開発にとって有望な方向として現れている。 これらの利点にもかかわらず、大きなメモリと計算上の制約は、その展開における大きな課題である。 バックプロパゲーションにおけるアクティベーションメモリボトルネックに対処する低ランク分解手法に関する先行研究に基づいて,新しいショートカット手法を提案する。 分析と実験により,本手法はバニラトレーニングと比較して最大120.09ドル,従来のベンチマークで評価した場合は1.86ドルまで削減できることがわかった。

関連論文リスト

• Towards Resource-Efficient Federated Learning in Industrial IoT for Multivariate Time Series Analysis [50.18156030818883]
  異常と欠落したデータは、産業応用における厄介な問題を構成する。 ディープラーニングによる異常検出が重要な方向として現れている。 エッジデバイスで収集されたデータは、ユーザのプライバシを含む。
  論文  参考訳（メタデータ） (2024-11-06T15:38:31Z)
• Machine Unlearning with Minimal Gradient Dependence for High Unlearning Ratios [18.73206066109299]
  ミニ・アンラーニング(Mini-Unlearning)は、批判的な観察を活かした新しいアプローチである。 この軽量でスケーラブルな方法は、モデルの精度を大幅に向上し、メンバシップ推論攻撃に対する耐性を高める。 実験の結果,Mini-Unlearningは非学習率が高いだけでなく,既存の手法よりも精度と安全性が優れていることがわかった。
  論文  参考訳（メタデータ） (2024-06-24T01:43:30Z)
• Center-Sensitive Kernel Optimization for Efficient On-Device Incremental Learning [88.78080749909665]
  現在のオンデバイストレーニング手法は、破滅的な忘れを考慮せずに、効率的なトレーニングにのみ焦点をあてている。 本稿では,単純だが効果的なエッジフレンドリーなインクリメンタル学習フレームワークを提案する。 本手法は,メモリの削減と近似計算により,平均精度38.08%の高速化を実現する。
  論文  参考訳（メタデータ） (2024-06-13T05:49:29Z)
• When Foresight Pruning Meets Zeroth-Order Optimization: Efficient Federated Learning for Low-Memory Devices [36.23767349592602]
  Federated Learning (FL)は、AIoT(Artificial Intelligence of Things)設計における協調学習を可能にする。 FLはメモリ使用量が多いため、低メモリのAIoTデバイスでは動作しない。 本稿では,フェデレートされたBPフリートレーニングフレームワークとシームレスに統合可能な,ニューラル・タンジェント・カーネル(NTK)に基づくフェデレーションフォレスト・プルーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-05-08T02:24:09Z)
• Feature Alignment: Rethinking Efficient Active Learning via Proxy in the Context of Pre-trained Models [4.713652957384158]
  トレーニング済みモデルをアクティブな学習で微調整することは、アノテーションコストの削減を約束する。 近年,プロキシに基づく能動学習が提案されている。 このアプローチは、しばしばアクティブな学習性能に大きな損失をもたらし、時には計算コストの削減を上回ります。 本研究では,選択の相違による能動的学習能力の低下を緩和する適切な学習方法を示す。
  論文  参考訳（メタデータ） (2024-03-02T06:01:34Z)
• SCoTTi: Save Computation at Training Time with an adaptive framework [7.780766187171572]
  デバイス上でのトレーニングは、エッジデバイス上でモデルをトレーニングする機械学習における新たなアプローチである。 本研究では,SCoTTi(Save Computation at Training Time)を提案する。 提案手法は, 様々なベンチマークにおいて, 計算資源の節約に関する最先端手法と比較して, 優れた性能を示す。
  論文  参考訳（メタデータ） (2023-12-19T16:19:33Z)
• Towards On-device Learning on the Edge: Ways to Select Neurons to Update under a Budget Constraint [8.580120233841344]
  本稿では,従来の知恵に挑戦し,優れたサブネットワークの存在を明らかにする一連の実験を提案する。 我々は,目標タスクを微調整する際の動的ニューロン選択戦略を通じて,実質的な利得の可能性について示唆する。 実験では、平均の場合、ランダム選択よりもNEqにインスパイアされたアプローチの方が優れていることを示した。
  論文  参考訳（メタデータ） (2023-12-08T10:40:39Z)
• Augmenting Unsupervised Reinforcement Learning with Self-Reference [63.68018737038331]
  人間は、新しいタスクを学ぶ際に、過去の経験を明確に表現する能力を持っている。 本稿では,歴史情報を活用するためのアドオンモジュールとして,自己参照(SR)アプローチを提案する。 提案手法は,非教師付き強化学習ベンチマークにおけるIQM(Interquartile Mean)性能と最適ギャップ削減の両面から,最先端の成果を実現する。
  論文  参考訳（メタデータ） (2023-11-16T09:07:34Z)
• Learning with Multiclass AUC: Theory and Algorithms [141.63211412386283]
  ROC曲線 (AUC) の下の領域は、不均衡学習やレコメンダシステムといった問題に対するよく知られたランキング基準である。 本稿では,マルチクラスAUCメトリクスを最適化することで,多クラススコアリング関数を学習する問題について検討する。
  論文  参考訳（メタデータ） (2021-07-28T05:18:10Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。