論文の概要: Federated learning compression designed for lightweight communications

• arxiv url: http://arxiv.org/abs/2310.14693v1
• Date: Mon, 23 Oct 2023 08:36:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 21:27:47.622055
• Title: Federated learning compression designed for lightweight communications
• Title（参考訳）: 軽量通信のためのフェデレーション学習圧縮
• Authors: Lucas Grativol Ribeiro (IMT Atlantique - MEE, Lab_STICC_BRAIn, Lab-STICC_2AI, LHC), Mathieu Leonardon (IMT Atlantique - MEE, Lab_STICC_BRAIn), Guillaume Muller, Virginie Fresse, Matthieu Arzel (IMT Atlantique - MEE, Lab-STICC_2AI)
• Abstract要約: Federated Learning (FL)はエッジレベルの機械学習のための有望な分散機械学習手法である。 本稿では,典型的な画像分類タスクにおける圧縮技術がFLに与える影響について検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning (FL) is a promising distributed method for edge-level machine learning, particularly for privacysensitive applications such as those in military and medical domains, where client data cannot be shared or transferred to a cloud computing server. In many use-cases, communication cost is a major challenge in FL due to its natural intensive network usage. Client devices, such as smartphones or Internet of Things (IoT) nodes, have limited resources in terms of energy, computation, and memory. To address these hardware constraints, lightweight models and compression techniques such as pruning and quantization are commonly adopted in centralised paradigms. In this paper, we investigate the impact of compression techniques on FL for a typical image classification task. Going further, we demonstrate that a straightforward method can compresses messages up to 50% while having less than 1% of accuracy loss, competing with state-of-the-art techniques.
• Abstract（参考訳）: フェデレーション・ラーニング(federated learning, fl)は、エッジレベルの機械学習のための有望な分散手法であり、特に軍や医療分野のプライバシに敏感なアプリケーションでは、クライアントデータをクラウドコンピューティングサーバに共有したり転送したりできない。 多くのユースケースにおいて、通信コストは自然なネットワーク利用のためにflにとって大きな課題である。 スマートフォンやIoT(Internet of Things)ノードなどのクライアントデバイスは、エネルギー、計算、メモリの面で限られたリソースを持つ。 これらのハードウェア制約に対処するために、軽量モデルやプラニングや量子化といった圧縮技術が集中型パラダイムで一般的に採用されている。 本稿では,典型的画像分類タスクにおけるflに対する圧縮技術の影響について検討する。 さらに,単純な方法では最大50%の圧縮が可能で,精度損失の1%未満で,最先端技術と競合することを実証した。

関連論文リスト

• A Survey on Transformer Compression [84.18094368700379]
  自然言語処理(NLP)とコンピュータビジョン(CV)の領域においてトランスフォーマーは重要な役割を果たす モデル圧縮法は、Transformerのメモリと計算コストを削減する。 この調査は、Transformerベースのモデルに適用することに焦点を当てた、最近の圧縮方法に関する包括的なレビューを提供する。
  論文  参考訳（メタデータ） (2024-02-05T12:16:28Z)
• Towards Hardware-Specific Automatic Compression of Neural Networks [0.0]
  プルーニングと量子化が ニューラルネットワークを圧縮する主要なアプローチです 効率的な圧縮ポリシーは、特定のハードウェアアーキテクチャが使用する圧縮方法に与える影響を考慮する。 本稿では,プレニングと量子化を利用した強化学習を用いて,Galenと呼ばれるアルゴリズムフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-15T13:34:02Z)
• A Machine Learning Framework for Distributed Functional Compression over Wireless Channels in IoT [13.385373310554327]
  IoTデバイスは巨大なデータを生成し、最先端の機械学習技術を組み合わせてサイバー物理システムに革命をもたらす。 トレーニングや推論のためにデータを中央の場所に転送することに集中する従来のクラウドベースの手法は、ネットワークリソースに大きな負担をかけます。 我々は,GMAC(Gaussian Multiple Access Channel)とAWGN(AWGN)の両方で分散関数圧縮を行う最初の機械学習フレームワークを開発する。
  論文  参考訳（メタデータ） (2022-01-24T06:38:39Z)
• ProgFed: Effective, Communication, and Computation Efficient Federated Learning by Progressive Training [65.68511423300812]
  本稿では,効率的なフェデレート学習のためのプログレッシブトレーニングフレームワークであるProgFedを提案する。 ProgFedは計算と双方向通信のコストを本質的に低減し、最終モデルの強力な性能を維持している。 以上の結果から, ProgFed はフルモデルの標準トレーニングと同等の速度で収束することがわかった。
  論文  参考訳（メタデータ） (2021-10-11T14:45:00Z)
• Supervised Compression for Resource-constrained Edge Computing Systems [26.676557573171618]
  フルスケールのディープニューラルネットワークは、エネルギーとストレージの面でリソース集約的すぎることが多い。 本稿では、知識蒸留とニューラルイメージ圧縮のアイデアを採用し、中間特徴表現をより効率的に圧縮する。 教師付きレート歪み性能を向上するとともに、エンドツーエンドのレイテンシも小さくする。
  論文  参考訳（メタデータ） (2021-08-21T11:10:29Z)
• Analyzing and Mitigating JPEG Compression Defects in Deep Learning [69.04777875711646]
  本稿では,JPEG圧縮が共通タスクやデータセットに与える影響を統一的に検討する。 高圧縮の一般的なパフォーマンス指標には大きなペナルティがあることが示される。
  論文  参考訳（メタデータ） (2020-11-17T20:32:57Z)
• PowerGossip: Practical Low-Rank Communication Compression in Decentralized Deep Learning [62.440827696638664]
  本稿では,近隣労働者間のモデル差を直接圧縮する簡単なアルゴリズムを提案する。 中央集権的なディープラーニングのためにPowerSGDにインスパイアされたこのアルゴリズムは、パワーステップを使用して、1ビットあたりの転送情報を最大化する。
  論文  参考訳（メタデータ） (2020-08-04T09:14:52Z)
• ALF: Autoencoder-based Low-rank Filter-sharing for Efficient Convolutional Neural Networks [63.91384986073851]
  オートエンコーダを用いた低ランクフィルタ共有技術(ALF)を提案する。 ALFは、ネットワークパラメータの70%、オペレーションの61%、実行時間の41%を削減し、精度の低下を最小限にしている。
  論文  参考訳（メタデータ） (2020-07-27T09:01:22Z)
• Wireless Communications for Collaborative Federated Learning [160.82696473996566]
  IoT(Internet of Things)デバイスは、収集したデータを中央のコントローラに送信することができず、機械学習モデルをトレーニングすることができる。 GoogleのセミナルFLアルゴリズムでは、すべてのデバイスを中央コントローラに直接接続する必要がある。 本稿では,コラボレーティブFL(CFL)と呼ばれる新しいFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-03T20:00:02Z)
• A flexible framework for communication-efficient machine learning: from HPC to IoT [13.300503079779952]
  コミュニケーション効率は現在、様々なシステムアーキテクチャで必要とされる。 圧縮レベルを各イテレーションにおける真の勾配に適応させるフレキシブルなフレームワークを提案する。 我々のフレームワークは、特定の技術の圧縮レベルに依存する通信コストをモデル化することで、ある技術から別の技術への適応が容易です。
  論文  参考訳（メタデータ） (2020-03-13T16:49:08Z)
• Ternary Compression for Communication-Efficient Federated Learning [17.97683428517896]
  フェデレートされた学習は、プライバシ保護とセキュアな機械学習に対する潜在的なソリューションを提供する。 本稿では,第3次フェデレーション平均化プロトコル(T-FedAvg)を提案する。 その結果,提案したT-FedAvgは通信コストの低減に有効であり,非IIDデータの性能も若干向上できることがわかった。
  論文  参考訳（メタデータ） (2020-03-07T11:55:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。