論文の概要: A flexible framework for communication-efficient machine learning: from HPC to IoT

• arxiv url: http://arxiv.org/abs/2003.06377v2
• Date: Wed, 17 Jun 2020 07:58:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-24 02:07:28.337092
• Title: A flexible framework for communication-efficient machine learning: from HPC to IoT
• Title（参考訳）: コミュニケーション効率の高い機械学習のための柔軟なフレームワーク:HPCからIoTへ
• Authors: Sarit Khirirat, Sindri Magn\'usson, Arda Aytekin, Mikael Johansson
• Abstract要約: コミュニケーション効率は現在、様々なシステムアーキテクチャで必要とされる。 圧縮レベルを各イテレーションにおける真の勾配に適応させるフレキシブルなフレームワークを提案する。 我々のフレームワークは、特定の技術の圧縮レベルに依存する通信コストをモデル化することで、ある技術から別の技術への適応が容易です。
• 参考スコア（独自算出の注目度）: 13.300503079779952
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the increasing scale of machine learning tasks, it has become essential to reduce the communication between computing nodes. Early work on gradient compression focused on the bottleneck between CPUs and GPUs, but communication-efficiency is now needed in a variety of different system architectures, from high-performance clusters to energy-constrained IoT devices. In the current practice, compression levels are typically chosen before training and settings that work well for one task may be vastly suboptimal for another dataset on another architecture. In this paper, we propose a flexible framework which adapts the compression level to the true gradient at each iteration, maximizing the improvement in the objective function that is achieved per communicated bit. Our framework is easy to adapt from one technology to the next by modeling how the communication cost depends on the compression level for the specific technology. Theoretical results and practical experiments indicate that the automatic tuning strategies significantly increase communication efficiency on several state-of-the-art compression schemes.
• Abstract（参考訳）: 機械学習タスクの大規模化に伴い、計算ノード間の通信を減らすことが重要になっている。 勾配圧縮に関する初期の研究はCPUとGPUのボトルネックに焦点を当てていたが、通信効率は、高性能クラスタからエネルギー制約のIoTデバイスに至るまで、さまざまなシステムアーキテクチャで必要とされるようになった。 現在のプラクティスでは、圧縮レベルは通常、トレーニング前に選択され、あるタスクでうまく機能する設定は、別のアーキテクチャ上の別のデータセットに非常に適しています。 本稿では,各イテレーションで圧縮レベルを真の勾配に適応させ,通信ビット毎に達成される目的関数の改善を最大化するフレキシブルなフレームワークを提案する。 我々のフレームワークは、特定の技術の圧縮レベルに依存する通信コストをモデル化することで、ある技術から別の技術への適応が容易です。 理論的結果と実用実験から, 自動チューニング手法は, いくつかの最先端圧縮方式における通信効率を著しく向上させることが示された。

関連論文リスト

• AsCAN: Asymmetric Convolution-Attention Networks for Efficient Recognition and Generation [48.82264764771652]
  本稿では,畳み込みブロックと変圧器ブロックを組み合わせたハイブリッドアーキテクチャAsCANを紹介する。 AsCANは、認識、セグメンテーション、クラス条件画像生成など、さまざまなタスクをサポートしている。 次に、同じアーキテクチャをスケールして、大規模なテキスト・イメージタスクを解決し、最先端のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2024-11-07T18:43:17Z)
• Communication-Efficient Federated Learning through Adaptive Weight Clustering and Server-Side Distillation [10.541541376305245]
  Federated Learning(FL)は、複数のデバイスにわたるディープニューラルネットワークの協調トレーニングのための有望なテクニックである。 FLは、トレーニング中に繰り返しサーバー・クライアント間の通信によって、過剰な通信コストによって妨げられる。 本稿では,動的重みクラスタリングとサーバ側知識蒸留を組み合わせた新しいアプローチであるFedCompressを提案する。
  論文  参考訳（メタデータ） (2024-01-25T14:49:15Z)
• Federated learning compression designed for lightweight communications [0.0]
  Federated Learning (FL)はエッジレベルの機械学習のための有望な分散機械学習手法である。 本稿では,典型的な画像分類タスクにおける圧縮技術がFLに与える影響について検討する。
  論文  参考訳（メタデータ） (2023-10-23T08:36:21Z)
• A Machine Learning Framework for Distributed Functional Compression over Wireless Channels in IoT [13.385373310554327]
  IoTデバイスは巨大なデータを生成し、最先端の機械学習技術を組み合わせてサイバー物理システムに革命をもたらす。 トレーニングや推論のためにデータを中央の場所に転送することに集中する従来のクラウドベースの手法は、ネットワークリソースに大きな負担をかけます。 我々は,GMAC(Gaussian Multiple Access Channel)とAWGN(AWGN)の両方で分散関数圧縮を行う最初の機械学習フレームワークを開発する。
  論文  参考訳（メタデータ） (2022-01-24T06:38:39Z)
• Communication-Compressed Adaptive Gradient Method for Distributed Nonconvex Optimization [21.81192774458227]
  主なボトルネックの1つは、中央サーバとローカルワーカーの間の通信コストが大きいことである。 提案する分散学習フレームワークは,効果的な勾配勾配圧縮戦略を特徴とする。
  論文  参考訳（メタデータ） (2021-11-01T04:54:55Z)
• ProgFed: Effective, Communication, and Computation Efficient Federated Learning by Progressive Training [65.68511423300812]
  本稿では,効率的なフェデレート学習のためのプログレッシブトレーニングフレームワークであるProgFedを提案する。 ProgFedは計算と双方向通信のコストを本質的に低減し、最終モデルの強力な性能を維持している。 以上の結果から, ProgFed はフルモデルの標準トレーニングと同等の速度で収束することがわかった。
  論文  参考訳（メタデータ） (2021-10-11T14:45:00Z)
• CosSGD: Nonlinear Quantization for Communication-efficient Federated Learning [62.65937719264881]
  フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。 圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。 本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
  論文  参考訳（メタデータ） (2020-12-15T12:20:28Z)
• A Linearly Convergent Algorithm for Decentralized Optimization: Sending Less Bits for Free! [72.31332210635524]
  分散最適化手法は、中央コーディネータを使わずに、機械学習モデルのデバイス上でのトレーニングを可能にする。 ランダム化圧縮演算子を適用し,通信ボトルネックに対処する新しいランダム化一階法を提案する。 本手法は,ベースラインに比べて通信数の増加を伴わずに問題を解くことができることを示す。
  論文  参考訳（メタデータ） (2020-11-03T13:35:53Z)
• PowerGossip: Practical Low-Rank Communication Compression in Decentralized Deep Learning [62.440827696638664]
  本稿では,近隣労働者間のモデル差を直接圧縮する簡単なアルゴリズムを提案する。 中央集権的なディープラーニングのためにPowerSGDにインスパイアされたこのアルゴリズムは、パワーステップを使用して、1ビットあたりの転送情報を最大化する。
  論文  参考訳（メタデータ） (2020-08-04T09:14:52Z)
• Ternary Compression for Communication-Efficient Federated Learning [17.97683428517896]
  フェデレートされた学習は、プライバシ保護とセキュアな機械学習に対する潜在的なソリューションを提供する。 本稿では,第3次フェデレーション平均化プロトコル(T-FedAvg)を提案する。 その結果,提案したT-FedAvgは通信コストの低減に有効であり,非IIDデータの性能も若干向上できることがわかった。
  論文  参考訳（メタデータ） (2020-03-07T11:55:34Z)
• Structured Sparsification with Joint Optimization of Group Convolution and Channel Shuffle [117.95823660228537]
  本稿では,効率的なネットワーク圧縮のための新しい構造空間分割法を提案する。 提案手法は, 畳み込み重みに対する構造的疎度を自動的に誘導する。 また,学習可能なチャネルシャッフル機構によるグループ間通信の問題にも対処する。
  論文  参考訳（メタデータ） (2020-02-19T12:03:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。