論文の概要: Communication Compression for Decentralized Learning with Operator Splitting Methods

• arxiv url: http://arxiv.org/abs/2205.03779v1
• Date: Sun, 8 May 2022 04:26:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-10 16:17:40.804688
• Title: Communication Compression for Decentralized Learning with Operator Splitting Methods
• Title（参考訳）: 演算子分割法による分散学習のためのコミュニケーション圧縮
• Authors: Yuki Takezawa, Kenta Niwa, Makoto Yamada
• Abstract要約: 分散学習では、原始双対の定式化を用いた演算子分割法が不均一なデータに対して堅牢であることが示されている。 エッジ・コンセンサス・ラーニング(ECL)のための新しい圧縮手法の枠組みを提案する。 具体的には、ECLの更新公式を再構成し、二重変数の更新値を圧縮することを提案する。 実験により,C-ECLはECLよりも少ないパラメータ交換でほぼ同等の性能が得られることを示した。
• 参考スコア（独自算出の注目度）: 29.256192419727444
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In decentralized learning, operator splitting methods using a primal-dual formulation (e.g., the Edge-Consensus Learning (ECL)) has been shown to be robust to heterogeneous data and has attracted significant attention in recent years. However, in the ECL, a node needs to exchange dual variables with its neighbors. These exchanges incur significant communication costs. For the Gossip-based algorithms, many compression methods have been proposed, but these Gossip-based algorithm do not perform well when the data distribution held by each node is statistically heterogeneous. In this work, we propose the novel framework of the compression methods for the ECL, called the Communication Compressed ECL (C-ECL). Specifically, we reformulate the update formulas of the ECL, and propose to compress the update values of the dual variables. We demonstrate experimentally that the C-ECL can achieve a nearly equivalent performance with fewer parameter exchanges than the ECL. Moreover, we demonstrate that the C-ECL is more robust to heterogeneous data than the Gossip-based algorithms.
• Abstract（参考訳）: 分散学習では, 一次双対定式化(エッジ・コンセンサス・ラーニング(ECL))を用いた演算子分割法が異種データに対して堅牢であることが示され, 近年, 注目されている。 しかし、ECLでは、ノードはその隣のノードと双対変数を交換する必要がある。 これらの交換は大きな通信コストを発生させる。 Gossipベースのアルゴリズムでは、多くの圧縮法が提案されているが、各ノードが保持するデータ分布が統計的に不均一である場合、これらのGossipベースのアルゴリズムはうまく機能しない。 本研究では,通信圧縮ECL(Communication Compressed ECL, C-ECL)と呼ばれる,ECLの圧縮手法の新たなフレームワークを提案する。 具体的には、ECLの更新公式を再構成し、二重変数の更新値を圧縮することを提案する。 実験により,C-ECLはECLよりも少ないパラメータ交換でほぼ同等の性能が得られることを示した。 さらに,c-eclはgossipベースのアルゴリズムよりも異種データに対して頑健であることを示す。

関連論文リスト

• Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
  本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。 DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。 実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
  論文  参考訳（メタデータ） (2024-10-09T06:17:16Z)
• L^2CL: Embarrassingly Simple Layer-to-Layer Contrastive Learning for Graph Collaborative Filtering [33.165094795515785]
  グラフニューラルネットワーク(GNN)は、最近、協調フィルタリングにおいて近隣の信号をモデル化するための効果的なアプローチとして登場した。 L2CLは、異なるレイヤの表現を対比する、原則的なレイヤ間コントラスト学習フレームワークである。 その結果,L2CLは,一対一のコントラスト学習パラダイムのみを用いて,固有の意味構造をキャプチャし,ノード表現の質を向上させることができることがわかった。
  論文  参考訳（メタデータ） (2024-07-19T12:45:21Z)
• Parameter-efficient Fine-tuning in Hyperspherical Space for Open-vocabulary Semantic Segmentation [79.66299178949257]
  オープンボキャブラリセマンティックセグメンテーションは、画像中の各ピクセルに任意のテキスト記述をラベル付けしようとする。 視覚言語基盤モデル、特にCLIPは、オープン語彙能力を取得するための強力なツールとして登場した。 H-CLIPは、CLIPの総パラメータの約4%を更新するだけで、新しいSOTAオープン語彙セマンティックセマンティックセマンティクス結果を達成する。
  論文  参考訳（メタデータ） (2024-05-29T07:41:34Z)
• Communication-Efficient Distributed Learning with Local Immediate Error Compensation [95.6828475028581]
  本稿では,局所的即時誤差補償SGD (LIEC-SGD) 最適化アルゴリズムを提案する。 LIEC-SGDは、コンバージェンスレートまたは通信コストのいずれにおいても、以前の研究よりも優れている。
  論文  参考訳（メタデータ） (2024-02-19T05:59:09Z)
• Improving the Worst-Case Bidirectional Communication Complexity for Nonconvex Distributed Optimization under Function Similarity [92.1840862558718]
  ダウンリンク圧縮のための新しい手法であるMARINA-Pを導入する。 置換圧縮機を用いたMARINA-Pは、作業者数に応じてサーバ間通信の複雑さを向上できることを示す。 本稿では,MARINA-Pとアップリンク圧縮とモーメントステップを組み合わせた手法であるM3を導入する。
  論文  参考訳（メタデータ） (2024-02-09T13:58:33Z)
• RecDCL: Dual Contrastive Learning for Recommendation [65.6236784430981]
  本稿では、RecDCLという2つのコントラスト学習推薦フレームワークを提案する。 RecDCLでは、FCLの目的は、ユーザとイテムの正のペアに対する冗長なソリューションを排除することである。 BCLの目的は、表現の堅牢性を高めるために出力ベクトルにコントラスト埋め込みを生成するために利用される。
  論文  参考訳（メタデータ） (2024-01-28T11:51:09Z)
• SSLCL: An Efficient Model-Agnostic Supervised Contrastive Learning Framework for Emotion Recognition in Conversations [20.856739541819056]
  会話における感情認識(ERC)は、自然言語処理コミュニティの中で急速に進化している課題である。 We propose a efficient and model-agnostic SCL framework named Supervised Sample-Label Contrastive Learning with Soft-HGR Maximal correlation (SSLCL)。 浅い多層パーセプトロンを通して、離散ラベルを密度の高い埋め込みに投影することで、ラベル表現を活用する新しい視点を導入する。
  論文  参考訳（メタデータ） (2023-10-25T14:41:14Z)
• Efficient Adversarial Contrastive Learning via Robustness-Aware Coreset Selection [59.77647907277523]
  敵対的コントラスト学習(ACL)は、高価なデータアノテーションを必要としないが、敵対的攻撃に耐える堅牢な表現を出力する。 ACLは、すべてのトレーニングデータの逆の変種を生成するのに、膨大な実行時間が必要です。 本稿では,ACLの高速化を目的としたロバストネス対応コアセット選択(RCS)手法を提案する。
  論文  参考訳（メタデータ） (2023-02-08T03:20:14Z)
• Personalized Federated Learning with Communication Compression [5.389294754404344]
  双方向通信プロトコルでL2GD(Loopless Gradient Descent)アルゴリズムを実装した。 我々のアルゴリズムは確率的通信プロトコルで動作しており、通信は固定されたスケジュールで行われない。
  論文  参考訳（メタデータ） (2022-09-12T11:08:44Z)
• Theoretical Analysis of Primal-Dual Algorithm for Non-Convex Stochastic Decentralized Optimization [29.256192419727444]
  分散学習は、大規模な機械学習だけでなく、プライバシの保護にも強力なツールとして登場した。 分散学習における重要な課題の1つは、各ノードが保持するデータ分布が統計的に不均一であることである。
  論文  参考訳（メタデータ） (2022-05-23T09:50:57Z)
• BEER: Fast $O(1/T)$ Rate for Decentralized Nonconvex Optimization with Communication Compression [37.20712215269538]
  コミュニケーション効率は大規模分散機械学習アプリケーションのボトルネックとして広く認識されている。 本稿では,勾配追跡と通信を併用したBEERを提案し,より高速に収束することを示す。
  論文  参考訳（メタデータ） (2022-01-31T16:14:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。