論文の概要: NNTrainer: Light-Weight On-Device Training Framework

• arxiv url: http://arxiv.org/abs/2206.04688v1
• Date: Thu, 9 Jun 2022 08:27:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-14 07:39:09.390341
• Title: NNTrainer: Light-Weight On-Device Training Framework
• Title（参考訳）: NNTrainer:軽量オンデバイストレーニングフレームワーク
• Authors: Ji Joong Moon, Parichay Kapoor, Ji Hoon Lee, Myung Joo Ham, Hyun Suk Lee
• Abstract要約: ベンダーは、デバイス内の個人データを保存し、ネットワークとクラウドのコストを削減するために、デバイス上でインテリジェンスサービスを実行し始めた。 デバイスからデータを公開することなく、ニューラルネットワークをユーザデータで更新することで、インテリジェンスサービスをパーソナライズする機会として、このような傾向が見られます。 軽量オンデバイストレーニングフレームワークであるNNTrainerを提案する。
• 参考スコア（独自算出の注目度）: 11.497074242461135
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Modern consumer electronic devices have adopted deep learning-based intelligence services for their key features. Vendors have recently started to execute intelligence services on devices to preserve personal data in devices, reduce network and cloud costs. We find such a trend as the opportunity to personalize intelligence services by updating neural networks with user data without exposing the data out of devices: on-device training. For example, we may add a new class, my dog, Alpha, for robotic vacuums, adapt speech recognition for the users accent, let text-to-speech speak as if the user speaks. However, the resource limitations of target devices incur significant difficulties. We propose NNTrainer, a light-weight on-device training framework. We describe optimization techniques for neural networks implemented by NNTrainer, which are evaluated along with the conventional. The evaluations show that NNTrainer can reduce memory consumption down to 1/28 without deteriorating accuracy or training time and effectively personalizes applications on devices. NNTrainer is cross-platform and practical open source software, which is being deployed to millions of devices in the authors affiliation.
• Abstract（参考訳）: 現代の消費者電子デバイスは、重要な機能としてディープラーニングベースのインテリジェンスサービスを採用している。 ベンダーは最近、個人データをデバイスに保存し、ネットワークとクラウドのコストを削減するために、デバイス上でインテリジェンスサービスを実行し始めた。 デバイスからデータを公開することなく、ニューラルネットワークをユーザデータで更新することで、インテリジェンスサービスをパーソナライズする機会として、このような傾向が見られます。 例えば、ロボット掃除機用にmy dog, alphaという新しいクラスを追加して、ユーザーのアクセントに音声認識を適応させ、ユーザーが話すようにテキストから音声に話すようにします。 しかし、ターゲット機器の資源制限は重大な困難を招いた。 軽量オンデバイストレーニングフレームワークであるNNTrainerを提案する。 本稿では,nntrainerによって実装されたニューラルネットワークの最適化手法について述べる。 評価の結果,NNTrainerは精度やトレーニング時間を低下させることなく,メモリ消費を1/28に削減し,デバイス上のアプリケーションを効果的にパーソナライズできることがわかった。 NNTrainerはクロスプラットフォームで実用的なオープンソースソフトウェアであり、著者の所属する数百万のデバイスにデプロイされている。

関連論文リスト

• Edge-assisted U-Shaped Split Federated Learning with Privacy-preserving for Internet of Things [4.68267059122563]
  本稿では,エッジサーバの高性能機能を活用した,エッジ支援型U-Shaped Split Federated Learning (EUSFL) フレームワークを提案する。 このフレームワークでは、フェデレートラーニング(FL)を活用し、データ保持者がデータを共有せずに協調的にモデルをトレーニングできるようにします。 また,データの特徴やラベルが復元攻撃に対して確実に耐えられるように,ラベルDPと呼ばれる新しいノイズ機構を提案する。
  論文  参考訳（メタデータ） (2023-11-08T05:14:41Z)
• Fast Machine Unlearning Without Retraining Through Selective Synaptic Dampening [51.34904967046097]
  Selective Synaptic Dampening (SSD)は高速で、訓練データの長期保存を必要としない。 高速で性能が高く,トレーニングデータの長期保存を必要としない,新しい2段階のポストホック,リトレーニングフリーなマシンアンラーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-08-15T11:30:45Z)
• Hierarchical Training of Deep Neural Networks Using Early Exiting [42.186536611404165]
  深層ニューラルネットワークは、ビジョンタスクに最先端の精度を提供するが、トレーニングにはかなりのリソースを必要とする。 ディープニューラルネットワークは、データを取得するエッジデバイスから遠く離れたクラウドサーバでトレーニングされる。 本研究では,エッジワーカとクラウドワーカの分割アーキテクチャにおける早期出口を用いた,深層ニューラルネットワークの階層的学習手法を提案する。
  論文  参考訳（メタデータ） (2023-03-04T11:30:16Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
  スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。 本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。 CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
  論文  参考訳（メタデータ） (2022-10-10T10:05:00Z)
• On-Device Training Under 256KB Memory [62.95579393237751]
  本稿では,256KBのメモリでデバイス上でのトレーニングを可能にするアルゴリズム・システム協調設計フレームワークを提案する。 私たちのフレームワークは256KBと1MBのFlashで畳み込みニューラルネットワークのデバイス上での小さなトレーニングを可能にする最初のソリューションです。
  論文  参考訳（メタデータ） (2022-06-30T17:59:08Z)
• FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
  本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。 この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。 分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
  論文  参考訳（メタデータ） (2022-01-18T13:59:22Z)
• Dynamic Hard Pruning of Neural Networks at the Edge of the Internet [11.605253906375424]
  動的ハードプルーニング(DynHP)技術は、トレーニング中にネットワークを段階的にプルーニングする。 DynHPは、最終ニューラルネットワークの調整可能なサイズ削減と、トレーニング中のNNメモリ占有率の削減を可能にする。 凍結メモリは、ハードプルーニング戦略による精度劣化を相殺するために、エンファンダイナミックバッチサイズアプローチによって再利用される。
  論文  参考訳（メタデータ） (2020-11-17T10:23:28Z)
• Low-Rank Training of Deep Neural Networks for Emerging Memory Technology [4.456122555367167]
  非揮発性メモリを持つエッジデバイス上でのトレーニングには,低書き込み密度と低補助メモリという2つの課題に対処する。 計算効率を保ちながらこれらの課題に対処する低ランクトレーニング方式を提案する。
  論文  参考訳（メタデータ） (2020-09-08T17:59:56Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。