論文の概要: A flexible framework for communication-efficient machine learning: from
HPC to IoT
- arxiv url: http://arxiv.org/abs/2003.06377v2
- Date: Wed, 17 Jun 2020 07:58:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-24 02:07:28.337092
- Title: A flexible framework for communication-efficient machine learning: from
HPC to IoT
- Title(参考訳): コミュニケーション効率の高い機械学習のための柔軟なフレームワーク:HPCからIoTへ
- Authors: Sarit Khirirat, Sindri Magn\'usson, Arda Aytekin, Mikael Johansson
- Abstract要約: コミュニケーション効率は現在、様々なシステムアーキテクチャで必要とされる。
圧縮レベルを各イテレーションにおける真の勾配に適応させるフレキシブルなフレームワークを提案する。
我々のフレームワークは、特定の技術の圧縮レベルに依存する通信コストをモデル化することで、ある技術から別の技術への適応が容易です。
- 参考スコア(独自算出の注目度): 13.300503079779952
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the increasing scale of machine learning tasks, it has become essential
to reduce the communication between computing nodes. Early work on gradient
compression focused on the bottleneck between CPUs and GPUs, but
communication-efficiency is now needed in a variety of different system
architectures, from high-performance clusters to energy-constrained IoT
devices. In the current practice, compression levels are typically chosen
before training and settings that work well for one task may be vastly
suboptimal for another dataset on another architecture. In this paper, we
propose a flexible framework which adapts the compression level to the true
gradient at each iteration, maximizing the improvement in the objective
function that is achieved per communicated bit. Our framework is easy to adapt
from one technology to the next by modeling how the communication cost depends
on the compression level for the specific technology. Theoretical results and
practical experiments indicate that the automatic tuning strategies
significantly increase communication efficiency on several state-of-the-art
compression schemes.
- Abstract(参考訳): 機械学習タスクの大規模化に伴い、計算ノード間の通信を減らすことが重要になっている。
勾配圧縮に関する初期の研究はCPUとGPUのボトルネックに焦点を当てていたが、通信効率は、高性能クラスタからエネルギー制約のIoTデバイスに至るまで、さまざまなシステムアーキテクチャで必要とされるようになった。
現在のプラクティスでは、圧縮レベルは通常、トレーニング前に選択され、あるタスクでうまく機能する設定は、別のアーキテクチャ上の別のデータセットに非常に適しています。
本稿では,各イテレーションで圧縮レベルを真の勾配に適応させ,通信ビット毎に達成される目的関数の改善を最大化するフレキシブルなフレームワークを提案する。
我々のフレームワークは、特定の技術の圧縮レベルに依存する通信コストをモデル化することで、ある技術から別の技術への適応が容易です。
理論的結果と実用実験から, 自動チューニング手法は, いくつかの最先端圧縮方式における通信効率を著しく向上させることが示された。
関連論文リスト
- DyCE: Dynamic Configurable Exiting for Deep Learning Compression and
Scaling [1.9686770963118378]
DyCEは、設計上の考慮事項を互いに分離し、ベースモデルから切り離す動的早期退避フレームワークである。
これにより、ResNet152の23.5%、ImageNetのConvNextv2の25.9%の計算複雑性が大幅に削減され、精度は0.5%以下になった。
論文 参考訳(メタデータ) (2024-03-04T03:09:28Z) - A Survey on Transformer Compression [84.18094368700379]
Transformerアーキテクチャに基づく大規模モデルは、人工知能においてますます重要な役割を担っている。
モデル圧縮法はメモリと計算コストを削減し、実用的なデバイス上でトランスフォーマーモデルを実装するために必要なステップである。
このサーベイは、最近の圧縮手法の包括的なレビューを提供し、トランスフォーマーモデルへの適用に特に焦点をあてている。
論文 参考訳(メタデータ) (2024-02-05T12:16:28Z) - Communication-Efficient Federated Learning through Adaptive Weight
Clustering and Server-Side Distillation [10.541541376305245]
Federated Learning(FL)は、複数のデバイスにわたるディープニューラルネットワークの協調トレーニングのための有望なテクニックである。
FLは、トレーニング中に繰り返しサーバー・クライアント間の通信によって、過剰な通信コストによって妨げられる。
本稿では,動的重みクラスタリングとサーバ側知識蒸留を組み合わせた新しいアプローチであるFedCompressを提案する。
論文 参考訳(メタデータ) (2024-01-25T14:49:15Z) - Federated learning compression designed for lightweight communications [0.0]
Federated Learning (FL)はエッジレベルの機械学習のための有望な分散機械学習手法である。
本稿では,典型的な画像分類タスクにおける圧縮技術がFLに与える影響について検討する。
論文 参考訳(メタデータ) (2023-10-23T08:36:21Z) - A Machine Learning Framework for Distributed Functional Compression over
Wireless Channels in IoT [13.385373310554327]
IoTデバイスは巨大なデータを生成し、最先端の機械学習技術を組み合わせてサイバー物理システムに革命をもたらす。
トレーニングや推論のためにデータを中央の場所に転送することに集中する従来のクラウドベースの手法は、ネットワークリソースに大きな負担をかけます。
我々は,GMAC(Gaussian Multiple Access Channel)とAWGN(AWGN)の両方で分散関数圧縮を行う最初の機械学習フレームワークを開発する。
論文 参考訳(メタデータ) (2022-01-24T06:38:39Z) - Communication-Compressed Adaptive Gradient Method for Distributed
Nonconvex Optimization [21.81192774458227]
主なボトルネックの1つは、中央サーバとローカルワーカーの間の通信コストが大きいことである。
提案する分散学習フレームワークは,効果的な勾配勾配圧縮戦略を特徴とする。
論文 参考訳(メタデータ) (2021-11-01T04:54:55Z) - ProgFed: Effective, Communication, and Computation Efficient Federated
Learning by Progressive Training [78.44473677588887]
本稿では,効率的なフェデレート学習のためのプログレッシブトレーニングフレームワークであるProgFedを提案する。
これは本質的に、最終モデルの強力な性能を維持しながら、計算と双方向通信コストを削減します。
以上の結果から, ProgFed はフルモデルの標準トレーニングと同等の速度で収束することがわかった。
論文 参考訳(メタデータ) (2021-10-11T14:45:00Z) - CosSGD: Nonlinear Quantization for Communication-efficient Federated
Learning [62.65937719264881]
フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。
圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。
本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
論文 参考訳(メタデータ) (2020-12-15T12:20:28Z) - A Linearly Convergent Algorithm for Decentralized Optimization: Sending
Less Bits for Free! [72.31332210635524]
分散最適化手法は、中央コーディネータを使わずに、機械学習モデルのデバイス上でのトレーニングを可能にする。
ランダム化圧縮演算子を適用し,通信ボトルネックに対処する新しいランダム化一階法を提案する。
本手法は,ベースラインに比べて通信数の増加を伴わずに問題を解くことができることを示す。
論文 参考訳(メタデータ) (2020-11-03T13:35:53Z) - PowerGossip: Practical Low-Rank Communication Compression in
Decentralized Deep Learning [62.440827696638664]
本稿では,近隣労働者間のモデル差を直接圧縮する簡単なアルゴリズムを提案する。
中央集権的なディープラーニングのためにPowerSGDにインスパイアされたこのアルゴリズムは、パワーステップを使用して、1ビットあたりの転送情報を最大化する。
論文 参考訳(メタデータ) (2020-08-04T09:14:52Z) - Structured Sparsification with Joint Optimization of Group Convolution
and Channel Shuffle [117.95823660228537]
本稿では,効率的なネットワーク圧縮のための新しい構造空間分割法を提案する。
提案手法は, 畳み込み重みに対する構造的疎度を自動的に誘導する。
また,学習可能なチャネルシャッフル機構によるグループ間通信の問題にも対処する。
論文 参考訳(メタデータ) (2020-02-19T12:03:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。