論文の概要: Towards efficient compression and communication for prototype-based decentralized learning

• arxiv url: http://arxiv.org/abs/2411.09267v1
• Date: Thu, 14 Nov 2024 08:08:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-15 15:24:04.722633
• Title: Towards efficient compression and communication for prototype-based decentralized learning
• Title（参考訳）: プロトタイプ型分散学習のための効率的な圧縮とコミュニケーションを目指して
• Authors: Pablo Fernández-Piñeiro, Manuel Ferández-Veiga, Rebeca P. Díaz-Redondo, Ana Fernández-Vilas, Martín González-Soto,
• Abstract要約: プロトタイプベースのフェデレーション学習では、クライアントとマスタサーバ間のモデルパラメータの交換は、プロトタイプまたはデータサンプルの量子化されたバージョンを集約サーバに送信することで置き換えられる。 プロトタイプベースの学習の完全な分散デプロイは、プロトタイプの集中的な収集者なしで、ネットワークの障害に対してより堅牢であり、データの統計的分布の変化に素早く反応する。 本稿では,プロトタイプに基づくコミュニケーション効率の高い分散学習システムを設計する際の課題について考察する。
• 参考スコア（独自算出の注目度）: 2.2369578015657954
• License:
• Abstract: In prototype-based federated learning, the exchange of model parameters between clients and the master server is replaced by transmission of prototypes or quantized versions of the data samples to the aggregation server. A fully decentralized deployment of prototype- based learning, without a central agregartor of prototypes, is more robust upon network failures and reacts faster to changes in the statistical distribution of the data, suggesting potential advantages and quick adaptation in dynamic learning tasks, e.g., when the data sources are IoT devices or when data is non-iid. In this paper, we consider the problem of designing a communication-efficient decentralized learning system based on prototypes. We address the challenge of prototype redundancy by leveraging on a twofold data compression technique, i.e., sending only update messages if the prototypes are informationtheoretically useful (via the Jensen-Shannon distance), and using clustering on the prototypes to compress the update messages used in the gossip protocol. We also use parallel instead of sequential gossiping, and present an analysis of its age-of-information (AoI). Our experimental results show that, with these improvements, the communications load can be substantially reduced without decreasing the convergence rate of the learning algorithm.
• Abstract（参考訳）: プロトタイプベースのフェデレーション学習では、クライアントとマスタサーバ間のモデルパラメータの交換は、プロトタイプまたはデータサンプルの量子化されたバージョンを集約サーバに送信することで置き換えられる。 プロトタイプの中心的なアグリゲータを持たない、完全に分散化されたプロトタイプベースの学習のデプロイメントは、ネットワークの障害に対してより堅牢であり、データの統計分布の変化に迅速に反応し、データソースがIoTデバイスである場合やデータが非IDである場合など、動的学習タスクに潜在的な利点と迅速な適応を示唆する。 本稿では,プロトタイプに基づくコミュニケーション効率の高い分散学習システムを設計する際の課題について考察する。 例えば,プロトタイプが情報理論上有用である場合にのみ更新メッセージを送信し(Jensen-Shannon距離を介して),プロトタイプ上のクラスタリングを使用して,ゴシッププロトコルで使用される更新メッセージを圧縮する。 また,逐次ゴシップの代わりに並列処理を用い,その情報化年代(AoI)を解析した。 実験の結果,これらの改良により,学習アルゴリズムの収束率を低下させることなく,通信負荷を大幅に削減できることがわかった。

関連論文リスト

• An Enhanced Federated Prototype Learning Method under Domain Shift [36.73020712815063]
  Federated Learning (FL)は、プライベートデータを共有することなく、協調的な機械学習トレーニングを可能にする。 最近の論文では、分散対応のデュアルレベルプロトタイプクラスタリングを導入し、新しい$alpha$-sparsityプロトタイプロスを用いる。 Digit-5、Office-10、DomainNetデータセットの評価は、我々の手法が既存のアプローチよりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-09-27T09:28:27Z)
• High-Dimensional Distributed Sparse Classification with Scalable Communication-Efficient Global Updates [50.406127962933915]
  我々はコミュニケーション効率のよい分散ロジスティック回帰モデルを学ぶことができる問題に対する解決策を開発する。 実験では、いくつかの分散更新ステップだけで、分散アルゴリズムよりも精度が大幅に向上することを示した。
  論文  参考訳（メタデータ） (2024-07-08T19:34:39Z)
• Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
  独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。 圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
  論文  参考訳（メタデータ） (2023-06-28T18:14:22Z)
• Asynchronous Parallel Incremental Block-Coordinate Descent for Decentralized Machine Learning [55.198301429316125]
  機械学習(ML)は、巨大なIoT(Internet of Things)ベースのインテリジェントでユビキタスなコンピューティングのビッグデータ駆動モデリングと分析のための重要なテクニックである。 急成長するアプリケーションやデータ量にとって、分散学習は有望な新興パラダイムである。 本稿では,多くのユーザデバイスに分散した分散システム上でMLモデルをトレーニングする問題について検討する。
  論文  参考訳（メタデータ） (2022-02-07T15:04:15Z)
• Communication-Efficient Federated Learning via Predictive Coding [38.778944321534084]
  フェデレートされた学習は、リモートワーカーが共同で機械学習モデルを共有することができる。 通信オーバーヘッドは、電力と帯域幅が限られているため、重大なボトルネックとなっている。 フェデレート学習のための予測符号化に基づく通信方式を提案する。
  論文  参考訳（メタデータ） (2021-08-02T14:12:19Z)
• A Linearly Convergent Algorithm for Decentralized Optimization: Sending Less Bits for Free! [72.31332210635524]
  分散最適化手法は、中央コーディネータを使わずに、機械学習モデルのデバイス上でのトレーニングを可能にする。 ランダム化圧縮演算子を適用し,通信ボトルネックに対処する新しいランダム化一階法を提案する。 本手法は,ベースラインに比べて通信数の増加を伴わずに問題を解くことができることを示す。
  論文  参考訳（メタデータ） (2020-11-03T13:35:53Z)
• Continual Prototype Evolution: Learning Online from Non-Stationary Data Streams [42.525141660788]
  任意の時点で学習と予測を可能にするシステムを導入する。 継続的な学習における主要な仕事とは対照的に、データストリームはオンライン形式で処理される。 我々は,高度にバランスの取れない3つのデータストリームを含む8つのベンチマークで,最先端のパフォーマンスを顕著に比較した。
  論文  参考訳（メタデータ） (2020-09-02T09:39:26Z)
• Federated Self-Supervised Learning of Multi-Sensor Representations for Embedded Intelligence [8.110949636804772]
  スマートフォン、ウェアラブル、IoT(Internet of Things)デバイスは、教師付きモデルを学習するための集中リポジトリに蓄積できない豊富なデータを生成する。 本稿では,ウェーブレット変換に基づくテキストカルグラム・信号対応学習という自己教師付きアプローチを提案し,ラベルなしセンサ入力から有用な表現を学習する。 さまざまなパブリックデータセットのマルチビュー戦略を用いて,学習機能の品質を広範囲に評価し,すべての領域で高いパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2020-07-25T21:59:17Z)
• On Robustness and Transferability of Convolutional Neural Networks [147.71743081671508]
  現代の深層畳み込みネットワーク(CNN)は、分散シフトの下で一般化しないとしてしばしば批判される。 現代画像分類CNNにおける分布外と転送性能の相互作用を初めて検討した。 トレーニングセットとモデルサイズを増大させることで、分散シフトロバスト性が著しく向上することがわかった。
  論文  参考訳（メタデータ） (2020-07-16T18:39:04Z)
• Prototypical Contrastive Learning of Unsupervised Representations [171.3046900127166]
  原型コントラスト学習(Prototypeal Contrastive Learning, PCL)は、教師なし表現学習法である。 PCLは暗黙的にデータのセマンティック構造を学習された埋め込み空間にエンコードする。 PCLは、複数のベンチマークで最先端のインスタンスワイド・コントラスト学習法より優れている。
  論文  参考訳（メタデータ） (2020-05-11T09:53:36Z)
• Ternary Compression for Communication-Efficient Federated Learning [17.97683428517896]
  フェデレートされた学習は、プライバシ保護とセキュアな機械学習に対する潜在的なソリューションを提供する。 本稿では,第3次フェデレーション平均化プロトコル(T-FedAvg)を提案する。 その結果,提案したT-FedAvgは通信コストの低減に有効であり,非IIDデータの性能も若干向上できることがわかった。
  論文  参考訳（メタデータ） (2020-03-07T11:55:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。