論文の概要: Deep Partial Updating: Towards Communication Efficient Updating for On-device Inference

• arxiv url: http://arxiv.org/abs/2007.03071v3
• Date: Wed, 27 Jul 2022 09:00:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-13 01:52:48.188523
• Title: Deep Partial Updating: Towards Communication Efficient Updating for On-device Inference
• Title（参考訳）: 深部部分更新:オンデバイス推論における通信効率向上に向けて
• Authors: Zhongnan Qu, Cong Liu, Lothar Thiele
• Abstract要約: 新たなエッジインテリジェンスアプリケーションは、サーバがリモートエッジノードにデプロイされたディープニューラルネットワークを再トレーニングし、更新する必要がある。 高度に制約された通信リソースのために、完全に更新された重みをこれらのエッジノードに継続的に送信することは、実際には不可能かもしれない。 本稿では,サーバ間通信ラウンド毎に,重みの小さなサブセットをスマートに選択して更新する,重みの深い部分更新パラダイムを提案する。
• 参考スコア（独自算出の注目度）: 12.965226102612174
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Emerging edge intelligence applications require the server to retrain and update deep neural networks deployed on remote edge nodes to leverage newly collected data samples. Unfortunately, it may be impossible in practice to continuously send fully updated weights to these edge nodes due to the highly constrained communication resource. In this paper, we propose the weight-wise deep partial updating paradigm, which smartly selects a small subset of weights to update in each server-to-edge communication round, while achieving a similar performance compared to full updating. Our method is established through analytically upper-bounding the loss difference between partial updating and full updating, and only updates the weights which make the largest contributions to the upper bound. Extensive experimental results demonstrate the efficacy of our partial updating methodology which achieves a high inference accuracy while updating a rather small number of weights.
• Abstract（参考訳）: 新たなエッジインテリジェンスアプリケーションは、新たに収集したデータサンプルを活用するために、リモートエッジノードにデプロイされたディープニューラルネットワークの再トレーニングと更新をサーバに要求する。 残念ながら、高度に制約された通信リソースのために、完全に更新された重みをこれらのエッジノードに継続的に送信することは不可能かもしれない。 本稿では,各サーバ間通信ラウンドで更新する際の重みの小さなサブセットをスマートに選択し,フル更新と同等の性能を実現した,重みの深い部分更新パラダイムを提案する。 本手法は,部分更新と全更新の損失差を解析的に上界に設定し,上界への寄与度が最も大きい重みのみを更新することで確立した。 広範な実験結果から,比較的少数の重みを更新しながら高い推定精度を実現する部分更新手法の有効性が示された。

関連論文リスト

• High-Dimensional Distributed Sparse Classification with Scalable Communication-Efficient Global Updates [50.406127962933915]
  我々はコミュニケーション効率のよい分散ロジスティック回帰モデルを学ぶことができる問題に対する解決策を開発する。 実験では、いくつかの分散更新ステップだけで、分散アルゴリズムよりも精度が大幅に向上することを示した。
  論文  参考訳（メタデータ） (2024-07-08T19:34:39Z)
• Data Augmentations in Deep Weight Spaces [89.45272760013928]
  そこで本研究では,Mixup法に基づく新しい拡張手法を提案する。 既存のベンチマークと新しいベンチマークでこれらのテクニックのパフォーマンスを評価する。
  論文  参考訳（メタデータ） (2023-11-15T10:43:13Z)
• Efficient Bayesian Updates for Deep Learning via Laplace Approximations [1.5996841879821277]
  本稿では,ディープニューラルネットワークのための新しいベイズ更新手法を提案する。 ラプラス近似のガウス後部分布に二階最適化手法を利用する。 大規模な評価調査では、我々の更新がコストのかかるリトレーニングの高速で競争力のある代替手段であることを確認しています。
  論文  参考訳（メタデータ） (2022-10-12T12:16:46Z)
• FedNew: A Communication-Efficient and Privacy-Preserving Newton-Type Method for Federated Learning [75.46959684676371]
  我々は、クライアントからPSにヘッセン情報を送信する必要がないFedNewという新しいフレームワークを紹介した。 FedNewは勾配情報を隠蔽し、既存の最先端技術と比べてプライバシー保護のアプローチをもたらす。
  論文  参考訳（メタデータ） (2022-06-17T15:21:39Z)
• Update Compression for Deep Neural Networks on the Edge [33.57905298104467]
  エッジデバイス上でのディープニューラルネットワーク(DNN)の実行を含むAIアプリケーションの増加。 多くの実用的な理由は、デプロイ後のエッジデバイスでDNNモデルを更新する必要性を動機付けている。 モデル更新を圧縮するための行列分解に基づく簡単なアプローチを開発する。
  論文  参考訳（メタデータ） (2022-03-09T04:20:43Z)
• Training Neural Networks with Fixed Sparse Masks [19.58969772430058]
  最近の研究では、トレーニング中にモデルのパラメータの小さなサブセットだけを更新できることが示されている。 モデルのパラメータに固定されたスパースマスクを誘導し、サブセットを選択して複数のイテレーションで更新できることが示される。
  論文  参考訳（メタデータ） (2021-11-18T18:06:01Z)
• Adaptive Quantization of Model Updates for Communication-Efficient Federated Learning [75.45968495410047]
  クライアントノードと中央集約サーバ間のモデル更新の通信は、連合学習において大きなボトルネックとなる。 グラディエント量子化(Gradient Quantization)は、各モデル更新間の通信に必要なビット数を削減する効果的な方法である。 通信効率と低エラーフロアを実現することを目的としたAdaFLと呼ばれる適応量子化戦略を提案する。
  論文  参考訳（メタデータ） (2021-02-08T19:14:21Z)
• Overcoming Conflicting Data when Updating a Neural Semantic Parser [5.471925005642665]
  タスク指向のセマンティックパースモデルを更新するために、いくつかの例で所望の出力が変更されたときに、少量の新しいデータをどのように使うかを示す。 このような方法で更新を行う場合、潜在的な問題の1つは、競合するデータの存在である。 矛盾するデータの存在が更新の学習を著しく妨げていることを示し、その影響を軽減するためにいくつかの方法を模索する。
  論文  参考訳（メタデータ） (2020-10-23T21:19:03Z)
• Training Recommender Systems at Scale: Communication-Efficient Model and Data Parallelism [56.78673028601739]
  通信効率のよいハイブリッドトレーニングのためのDCT(Dynamic Communication Thresholding)という圧縮フレームワークを提案する。 DCTは、それぞれDPとMPの間に、少なくとも$100times$と$20times$の通信を削減します。 最先端の産業レコメンデーションモデルのエンドツーエンドのトレーニング時間を、パフォーマンスを損なうことなく、37%改善する。
  論文  参考訳（メタデータ） (2020-10-18T01:44:42Z)
• RIFLE: Backpropagation in Depth for Deep Transfer Learning through Re-Initializing the Fully-connected LayEr [60.07531696857743]
  事前訓練されたモデルを用いたディープ畳み込みニューラルネットワーク(CNN)の微調整は、より大きなデータセットから学習した知識をターゲットタスクに転送するのに役立つ。 転送学習環境におけるバックプロパゲーションを深める戦略であるRIFLEを提案する。 RIFLEは、深いCNN層の重み付けに意味のあるアップデートをもたらし、低レベルの機能学習を改善する。
  論文  参考訳（メタデータ） (2020-07-07T11:27:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。