論文の概要: CoDeC: Communication-Efficient Decentralized Continual Learning

• arxiv url: http://arxiv.org/abs/2303.15378v1
• Date: Mon, 27 Mar 2023 16:52:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-28 14:28:41.142989
• Title: CoDeC: Communication-Efficient Decentralized Continual Learning
• Title（参考訳）: CoDeC: コミュニケーション効率の良い分散型継続的学習
• Authors: Sakshi Choudhary, Sai Aparna Aketi, Gobinda Saha and Kaushik Roy
• Abstract要約: エッジでのトレーニングは、異なる場所で生成された継続的な進化データを活用する。 プライバシーに関する懸念は、空間的にも時間的に分散したデータにおいても、このコロケーションを禁止している。 通信効率の高い分散型連続学習アルゴリズムであるCoDeCを提案する。
• 参考スコア（独自算出の注目度）: 6.663641564969944
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training at the edge utilizes continuously evolving data generated at different locations. Privacy concerns prohibit the co-location of this spatially as well as temporally distributed data, deeming it crucial to design training algorithms that enable efficient continual learning over decentralized private data. Decentralized learning allows serverless training with spatially distributed data. A fundamental barrier in such distributed learning is the high bandwidth cost of communicating model updates between agents. Moreover, existing works under this training paradigm are not inherently suitable for learning a temporal sequence of tasks while retaining the previously acquired knowledge. In this work, we propose CoDeC, a novel communication-efficient decentralized continual learning algorithm which addresses these challenges. We mitigate catastrophic forgetting while learning a task sequence in a decentralized learning setup by combining orthogonal gradient projection with gossip averaging across decentralized agents. Further, CoDeC includes a novel lossless communication compression scheme based on the gradient subspaces. We express layer-wise gradients as a linear combination of the basis vectors of these gradient subspaces and communicate the associated coefficients. We theoretically analyze the convergence rate for our algorithm and demonstrate through an extensive set of experiments that CoDeC successfully learns distributed continual tasks with minimal forgetting. The proposed compression scheme results in up to 4.8x reduction in communication costs with iso-performance as the full communication baseline.
• Abstract（参考訳）: エッジでのトレーニングは、異なる場所で生成された継続的な進化データを活用する。 プライバシの懸念はこの空間的および時間的分散データの共同配置を禁止し、分散されたプライベートデータ上で効率的な継続的学習を可能にするトレーニングアルゴリズムを設計する上で極めて重要である。 分散学習は、空間分散データによるサーバレストレーニングを可能にする。 このような分散学習における基本的な障壁は、エージェント間のモデル更新を通信するための高帯域幅コストである。 さらに、この訓練パラダイムに基づく既存の研究は、以前取得した知識を維持しながら、時間的なタスクのシーケンスを学習するのに本質的に適していない。 本研究では,これらの課題に対処する通信効率の高い分散型連続学習アルゴリズムであるCoDeCを提案する。 我々は、直交勾配予測と分散エージェント間のゴシップ平均化を組み合わせることで、分散学習環境でタスクシーケンスを学習しながら破滅的な忘れを緩和する。 さらに、CoDeCは勾配部分空間に基づく新しいロスレス通信圧縮スキームを含む。 これらの勾配部分空間の基底ベクトルの線形結合として層次勾配を表現し、関連する係数を伝達する。 理論的にはアルゴリズムの収束率を解析し、CoDeCが最小限の忘れを伴って分散連続タスクをうまく学習する実験を通して実証する。 提案手法は,通信コストを最大4.8倍に削減し,アイソ性能を全通信ベースラインとする。

関連論文リスト

• DRACO: Decentralized Asynchronous Federated Learning over Continuous Row-Stochastic Network Matrices [7.389425875982468]
  DRACOは、行確率ゴシップ無線ネットワーク上での分散非同期Descent(SGD)の新しい手法である。 我々のアプローチは、分散ネットワーク内のエッジデバイスが、連続したタイムラインに沿ってローカルトレーニングとモデル交換を行うことを可能にする。 我々の数値実験は提案手法の有効性を裏付けるものである。
  論文  参考訳（メタデータ） (2024-06-19T13:17:28Z)
• Communication-Efficient Decentralized Federated Learning via One-Bit Compressive Sensing [52.402550431781805]
  分散連合学習(DFL)は、様々なアプリケーションにまたがる実用性によって人気を博している。 集中型バージョンと比較して、DFLの多数のノード間で共有モデルをトレーニングするのはより難しい。 我々は,iADM (iexact alternating direction method) の枠組みに基づく新しいアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-08-31T12:22:40Z)
• Online Distributed Learning with Quantized Finite-Time Coordination [0.4910937238451484]
  私たちの設定では、エージェントのセットは、ストリーミングデータから学習モデルを協調的にトレーニングする必要があります。 本稿では,量子化された有限時間協調プロトコルに依存する分散アルゴリズムを提案する。 提案アルゴリズムの性能を,オンラインソリューションからの平均距離の観点から解析する。
  論文  参考訳（メタデータ） (2023-07-13T08:36:15Z)
• Magnitude Matters: Fixing SIGNSGD Through Magnitude-Aware Sparsification in the Presence of Data Heterogeneity [60.791736094073]
  通信オーバーヘッドは、ディープニューラルネットワークの分散トレーニングにおいて、大きなボトルネックのひとつになっています。 本稿では,SIGNSGDの非収束問題に対処する等級化方式を提案する。 提案手法は,Fashion-MNIST, CIFAR-10, CIFAR-100データセットを用いて検証した。
  論文  参考訳（メタデータ） (2023-02-19T17:42:35Z)
• On Generalization of Decentralized Learning with Separable Data [37.908159361149835]
  分離可能なデータに基づく勾配勾配勾配に基づく分散学習のアルゴリズム的および一般化特性について検討する。 具体的には、分散勾配降下と無限大で 0 に漸近する様々な損失関数に対して、新しい有限時間一般化境界を導出する。
  論文  参考訳（メタデータ） (2022-09-15T07:59:05Z)
• QC-ODKLA: Quantized and Communication-Censored Online Decentralized Kernel Learning via Linearized ADMM [30.795725108364724]
  本稿では,分散ネットワーク上でのオンラインカーネル学習に焦点を当てる。 線形化ADMMを用いたオンライン分散カーネル学習という新しい学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-08-04T17:16:27Z)
• RelaySum for Decentralized Deep Learning on Heterogeneous Data [71.36228931225362]
  分散機械学習では、労働者はローカルデータのモデル更新を計算する。 労働者は中心的な調整なしに隣人とのみ通信するため、これらの更新はネットワーク上で徐々に伝播する。 このパラダイムは、全接続のないネットワーク上での分散トレーニングを可能にし、データのプライバシ保護と、データセンタでの分散トレーニングの通信コストの削減を支援する。
  論文  参考訳（メタデータ） (2021-10-08T14:55:32Z)
• Sparse-Push: Communication- & Energy-Efficient Decentralized Distributed Learning over Directed & Time-Varying Graphs with non-IID Datasets [2.518955020930418]
  Sparse-Pushはコミュニケーション効率の高い分散型トレーニングアルゴリズムである。 提案アルゴリズムは,通信性能がわずか1%の466倍の低減を実現する。 非IIDデータセットのケースにおいて,通信圧縮が性能を著しく低下させることを示す。
  論文  参考訳（メタデータ） (2021-02-10T19:41:11Z)
• CosSGD: Nonlinear Quantization for Communication-efficient Federated Learning [62.65937719264881]
  フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。 圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。 本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
  論文  参考訳（メタデータ） (2020-12-15T12:20:28Z)
• A Low Complexity Decentralized Neural Net with Centralized Equivalence using Layer-wise Learning [49.15799302636519]
  我々は、分散処理ノード(労働者)で最近提案された大規模ニューラルネットワークをトレーニングするために、低複雑性分散学習アルゴリズムを設計する。 我々の設定では、トレーニングデータは作業者間で分散されるが、プライバシやセキュリティ上の懸念からトレーニングプロセスでは共有されない。 本研究では,データが一箇所で利用可能であるかのように,等価な学習性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-09-29T13:08:12Z)
• Adaptive Serverless Learning [114.36410688552579]
  本研究では,データから学習率を動的に計算できる適応型分散学習手法を提案する。 提案アルゴリズムは, 作業者数に対して線形高速化が可能であることを示す。 通信効率のオーバーヘッドを低減するため,通信効率のよい分散訓練手法を提案する。
  論文  参考訳（メタデータ） (2020-08-24T13:23:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。