論文の概要: A New Frontier of AI: On-Device AI Training and Personalization

• arxiv url: http://arxiv.org/abs/2206.04688v2
• Date: Wed, 3 Jan 2024 08:32:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-04 17:33:39.518070
• Title: A New Frontier of AI: On-Device AI Training and Personalization
• Title（参考訳）: AIの新しいフロンティア:オンデバイスAIトレーニングとパーソナライゼーション
• Authors: Ji Joong Moon, Hyeonseok Lee, Jiho Chu, Donghak Park, Seungbaek Hong, Hyungjun Seo, Donghyeon Jeong, Sungsik Kong, MyungJoo Ham
• Abstract要約: メモリ効率の高いニューラルネットワークトレーニング技術を提供する軽量オンデバイストレーニングフレームワークNNTrainerを提案する。 評価の結果,NNTrainerはメモリ消費を1/20まで削減し,デバイス上でのインテリジェンスサービスを効果的にパーソナライズできることがわかった。
• 参考スコア（独自算出の注目度）: 3.4781496192206958
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Modern consumer electronic devices have started executing deep learning-based intelligence services on devices, not cloud servers, to keep personal data on devices and to reduce network and cloud costs. We find such a trend as the opportunity to personalize intelligence services by updating neural networks with user data without exposing the data out of devices: on-device training. However, the limited resources of devices incurs significant difficulties. We propose a light-weight on-device training framework, NNTrainer, which provides highly memory-efficient neural network training techniques and proactive swapping based on fine-grained execution order analysis for neural networks. Moreover, its optimizations do not sacrifice accuracy and are transparent to training algorithms; thus, prior algorithmic studies may be implemented on top of NNTrainer. The evaluations show that NNTrainer can reduce memory consumption down to 1/20 (saving 95%!) and effectively personalizes intelligence services on devices. NNTrainer is cross-platform and practical open-source software, which is being deployed to millions of mobile devices.
• Abstract（参考訳）: 最新の消費者電子デバイスは、クラウドサーバーではなくデバイス上でディープラーニングベースのインテリジェンスサービスを実行し、デバイス上の個人データを保持し、ネットワークとクラウドコストを削減する。 デバイスからデータを公開することなく、ニューラルネットワークをユーザデータで更新することで、インテリジェンスサービスをパーソナライズする機会として、このような傾向が見られます。 しかし、デバイスの限られた資源は重大な困難を引き起こす。 ニューラルネットワークのきめ細かい実行順序解析に基づいて,高メモリ効率のニューラルネットワークトレーニング技術とプロアクティブスワップを提供する軽量オンデバイストレーニングフレームワークNNTrainerを提案する。 さらに、その最適化は精度を犠牲にせず、トレーニングアルゴリズムに透過的であるため、従来のアルゴリズム研究はNTNrainer上に実装することができる。 評価の結果,NNTrainerはメモリ消費を1/20まで削減し,デバイス上でのインテリジェンスサービスを効果的にパーソナライズできることがわかった。 NNTrainerはクロスプラットフォームで実用的なオープンソースソフトウェアで、何百万ものモバイルデバイスにデプロイされている。

関連論文リスト

• Edge-assisted U-Shaped Split Federated Learning with Privacy-preserving for Internet of Things [4.68267059122563]
  本稿では,エッジサーバの高性能機能を活用した,エッジ支援型U-Shaped Split Federated Learning (EUSFL) フレームワークを提案する。 このフレームワークでは、フェデレートラーニング(FL)を活用し、データ保持者がデータを共有せずに協調的にモデルをトレーニングできるようにします。 また,データの特徴やラベルが復元攻撃に対して確実に耐えられるように,ラベルDPと呼ばれる新しいノイズ機構を提案する。
  論文  参考訳（メタデータ） (2023-11-08T05:14:41Z)
• Fast Machine Unlearning Without Retraining Through Selective Synaptic Dampening [51.34904967046097]
  Selective Synaptic Dampening (SSD)は高速で、訓練データの長期保存を必要としない。 高速で性能が高く,トレーニングデータの長期保存を必要としない,新しい2段階のポストホック,リトレーニングフリーなマシンアンラーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-08-15T11:30:45Z)
• Hierarchical Training of Deep Neural Networks Using Early Exiting [42.186536611404165]
  深層ニューラルネットワークは、ビジョンタスクに最先端の精度を提供するが、トレーニングにはかなりのリソースを必要とする。 ディープニューラルネットワークは、データを取得するエッジデバイスから遠く離れたクラウドサーバでトレーニングされる。 本研究では,エッジワーカとクラウドワーカの分割アーキテクチャにおける早期出口を用いた,深層ニューラルネットワークの階層的学習手法を提案する。
  論文  参考訳（メタデータ） (2023-03-04T11:30:16Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
  スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。 本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。 CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
  論文  参考訳（メタデータ） (2022-10-10T10:05:00Z)
• On-Device Training Under 256KB Memory [62.95579393237751]
  本稿では,256KBのメモリでデバイス上でのトレーニングを可能にするアルゴリズム・システム協調設計フレームワークを提案する。 私たちのフレームワークは256KBと1MBのFlashで畳み込みニューラルネットワークのデバイス上での小さなトレーニングを可能にする最初のソリューションです。
  論文  参考訳（メタデータ） (2022-06-30T17:59:08Z)
• FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
  本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。 この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。 分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
  論文  参考訳（メタデータ） (2022-01-18T13:59:22Z)
• Dynamic Hard Pruning of Neural Networks at the Edge of the Internet [11.605253906375424]
  動的ハードプルーニング(DynHP)技術は、トレーニング中にネットワークを段階的にプルーニングする。 DynHPは、最終ニューラルネットワークの調整可能なサイズ削減と、トレーニング中のNNメモリ占有率の削減を可能にする。 凍結メモリは、ハードプルーニング戦略による精度劣化を相殺するために、エンファンダイナミックバッチサイズアプローチによって再利用される。
  論文  参考訳（メタデータ） (2020-11-17T10:23:28Z)
• Low-Rank Training of Deep Neural Networks for Emerging Memory Technology [4.456122555367167]
  非揮発性メモリを持つエッジデバイス上でのトレーニングには,低書き込み密度と低補助メモリという2つの課題に対処する。 計算効率を保ちながらこれらの課題に対処する低ランクトレーニング方式を提案する。
  論文  参考訳（メタデータ） (2020-09-08T17:59:56Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。