論文の概要: SCoTTi: Save Computation at Training Time with an adaptive framework

• arxiv url: http://arxiv.org/abs/2312.12483v1
• Date: Tue, 19 Dec 2023 16:19:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-21 18:13:01.240453
• Title: SCoTTi: Save Computation at Training Time with an adaptive framework
• Title（参考訳）: scotti: アダプティブフレームワークを使ってトレーニング時に計算を省く
• Authors: Ziyu Lin, Enzo Tartaglione, Van-Tam Nguyen
• Abstract要約: デバイス上でのトレーニングは、エッジデバイス上でモデルをトレーニングする機械学習における新たなアプローチである。 本研究では,SCoTTi(Save Computation at Training Time)を提案する。 提案手法は, 様々なベンチマークにおいて, 計算資源の節約に関する最先端手法と比較して, 優れた性能を示す。
• 参考スコア（独自算出の注目度）: 7.780766187171572
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-device training is an emerging approach in machine learning where models are trained on edge devices, aiming to enhance privacy protection and real-time performance. However, edge devices typically possess restricted computational power and resources, making it challenging to perform computationally intensive model training tasks. Consequently, reducing resource consumption during training has become a pressing concern in this field. To this end, we propose SCoTTi (Save Computation at Training Time), an adaptive framework that addresses the aforementioned challenge. It leverages an optimizable threshold parameter to effectively reduce the number of neuron updates during training which corresponds to a decrease in memory and computation footprint. Our proposed approach demonstrates superior performance compared to the state-of-the-art methods regarding computational resource savings on various commonly employed benchmarks and popular architectures, including ResNets, MobileNet, and Swin-T.
• Abstract（参考訳）: オンデバイストレーニングは、モデルがエッジデバイス上でトレーニングされるマシンラーニングの新たなアプローチであり、プライバシ保護とリアルタイムパフォーマンスの向上を目標としている。 しかし、エッジデバイスは通常、制限された計算能力とリソースを持っており、計算集約的なモデルトレーニングタスクの実行が困難である。 そのため、この分野では、トレーニング中の資源消費の減少が懸念されている。 そこで我々は,上記の課題に対処する適応型フレームワークであるSCoTTi(Save Computation at Training Time)を提案する。 最適化可能なしきい値パラメータを利用して、メモリと計算フットプリントの減少に対応するトレーニング中のニューロン更新数を効果的に削減する。 提案手法は,resnets,mobilenet,swain-tなど,広く採用されているベンチマークおよびポピュラーアーキテクチャの計算資源節約に関する最先端手法と比較して優れた性能を示す。

関連論文リスト

• Neural Horizon Model Predictive Control -- Increasing Computational Efficiency with Neural Networks [0.0]
  予測制御をモデル化するための機械学習支援手法を提案する。 安全保証を維持しつつ,問題地平線の一部を近似することを提案する。 提案手法は,迅速な制御応答を必要とするアプリケーションを含む,幅広いアプリケーションに適用可能である。
  論文  参考訳（メタデータ） (2024-08-19T08:13:37Z)
• Center-Sensitive Kernel Optimization for Efficient On-Device Incremental Learning [88.78080749909665]
  現在のオンデバイストレーニング手法は、破滅的な忘れを考慮せずに、効率的なトレーニングにのみ焦点をあてている。 本稿では,単純だが効果的なエッジフレンドリーなインクリメンタル学習フレームワークを提案する。 本手法は,メモリの削減と近似計算により,平均精度38.08%の高速化を実現する。
  論文  参考訳（メタデータ） (2024-06-13T05:49:29Z)
• Sparse Spectral Training and Inference on Euclidean and Hyperbolic Neural Networks [9.96381061452642]
  SST(Sparse Spectral Training)は、全ての特異値を更新し、ネットワーク重みの特異ベクトルを選択的に更新する高度な訓練手法である。 SSTは、特異値の重み付けによる多項サンプリング法により決定される特異ベクトルに対する目標更新戦略を用いて、トレーニングプロセスを洗練する。 OPT-125Mでは、組込み寸法の8.3%に等しく、SSTはパープレキシティギャップを67.6%減らし、一般的なローランク法で性能損失を著しく低減した。
  論文  参考訳（メタデータ） (2024-05-24T11:59:41Z)
• Always-Sparse Training by Growing Connections with Guided Stochastic Exploration [46.4179239171213]
  本研究では,より大規模かつスペーサーなモデルへのスケーリングに優れる,効率的な常時スパーストレーニングアルゴリズムを提案する。 我々は,VGGモデルとVTモデルを用いて,CIFAR-10/100 と ImageNet の手法を評価し,様々なスペーサー化手法と比較した。
  論文  参考訳（メタデータ） (2024-01-12T21:32:04Z)
• Fast Machine Unlearning Without Retraining Through Selective Synaptic Dampening [51.34904967046097]
  Selective Synaptic Dampening (SSD)は高速で、訓練データの長期保存を必要としない。 高速で性能が高く,トレーニングデータの長期保存を必要としない,新しい2段階のポストホック,リトレーニングフリーなマシンアンラーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-08-15T11:30:45Z)
• Dynamic Scheduling for Federated Edge Learning with Streaming Data [56.91063444859008]
  我々は,長期的エネルギー制約のある分散エッジデバイスにおいて,トレーニングデータを時間とともにランダムに生成するフェデレーションエッジ学習(FEEL)システムを検討する。 限られた通信リソースとレイテンシ要件のため、各イテレーションでローカルトレーニングプロセスに参加するのはデバイスのサブセットのみである。
  論文  参考訳（メタデータ） (2023-05-02T07:41:16Z)
• Towards Compute-Optimal Transfer Learning [82.88829463290041]
  我々は、事前訓練されたモデルのゼロショット構造化プルーニングにより、性能を最小限に抑えて計算効率を向上させることができると主張している。 その結果,事前訓練されたモデルの畳み込み畳み込みフィルタは,低計算条件下で20%以上の性能向上をもたらす可能性が示唆された。
  論文  参考訳（メタデータ） (2023-04-25T21:49:09Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• POET: Training Neural Networks on Tiny Devices with Integrated Rematerialization and Paging [35.397804171588476]
  エッジデバイスの微調整モデルは、機密データに対するプライバシー保護のパーソナライゼーションを可能にする。 バッテリー駆動エッジデバイス上での大規模ニューラルネットワークのトレーニングを可能にするアルゴリズムであるPOETを提案する。
  論文  参考訳（メタデータ） (2022-07-15T18:36:29Z)
• Low-Rank Training of Deep Neural Networks for Emerging Memory Technology [4.456122555367167]
  非揮発性メモリを持つエッジデバイス上でのトレーニングには,低書き込み密度と低補助メモリという2つの課題に対処する。 計算効率を保ちながらこれらの課題に対処する低ランクトレーニング方式を提案する。
  論文  参考訳（メタデータ） (2020-09-08T17:59:56Z)
• Predicting Training Time Without Training [120.92623395389255]
  我々は、事前訓練された深層ネットワークが損失関数の所定の値に収束する必要がある最適化ステップの数を予測する問題に取り組む。 我々は、微調整中の深部ネットワークのトレーニングダイナミクスが線形化モデルによってよく近似されているという事実を活用する。 トレーニングをする必要なく、特定の損失にモデルを微調整するのに要する時間を予測できます。
  論文  参考訳（メタデータ） (2020-08-28T04:29:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。