論文の概要: Communication-Efficient Split Learning via Adaptive Feature-Wise Compression

• arxiv url: http://arxiv.org/abs/2307.10805v1
• Date: Thu, 20 Jul 2023 12:16:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-21 13:23:01.609023
• Title: Communication-Efficient Split Learning via Adaptive Feature-Wise Compression
• Title（参考訳）: 適応型特徴分割圧縮によるコミュニケーション効率の高い分割学習
• Authors: Yongjeong Oh, Jaeho Lee, Christopher G. Brinton, and Yo-Seb Jeon
• Abstract要約: SplitFCはコミュニケーション効率のよい分割学習フレームワークである。 適応的特徴量ドロップアウトと適応的特徴量量子化の2つの圧縮戦略が組み込まれている。 最先端のSLフレームワークと比較して、分類精度が5.6%以上向上している。
• 参考スコア（独自算出の注目度）: 18.82988602845702
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper proposes a novel communication-efficient split learning (SL) framework, named SplitFC, which reduces the communication overhead required for transmitting intermediate feature and gradient vectors during the SL training process. The key idea of SplitFC is to leverage different dispersion degrees exhibited in the columns of the matrices. SplitFC incorporates two compression strategies: (i) adaptive feature-wise dropout and (ii) adaptive feature-wise quantization. In the first strategy, the intermediate feature vectors are dropped with adaptive dropout probabilities determined based on the standard deviation of these vectors. Then, by the chain rule, the intermediate gradient vectors associated with the dropped feature vectors are also dropped. In the second strategy, the non-dropped intermediate feature and gradient vectors are quantized using adaptive quantization levels determined based on the ranges of the vectors. To minimize the quantization error, the optimal quantization levels of this strategy are derived in a closed-form expression. Simulation results on the MNIST, CIFAR-10, and CelebA datasets demonstrate that SplitFC provides more than a 5.6% increase in classification accuracy compared to state-of-the-art SL frameworks, while they require 320 times less communication overhead compared to the vanilla SL framework without compression.
• Abstract（参考訳）: 本稿では,SL学習過程における中間特徴量と勾配ベクトルの伝達に必要な通信オーバーヘッドを低減させる,SplitFCという新しい通信効率分割学習フレームワークを提案する。 splitfcの鍵となるアイデアは、行列の列に現れる異なる分散度を活用することである。 SplitFCには2つの圧縮戦略がある。 (i)アダプティブ・フィーチャーワイズ・ドロップアウトと (ii)適応的特徴量化。 第1の戦略では、これらのベクトルの標準偏差に基づいて、適応的なドロップアウト確率で中間特徴ベクトルをドロップする。 そして、チェーンルールにより、ドロップされた特徴ベクトルに関連する中間勾配ベクトルもドロップする。 第2の戦略では、非投下中間特徴と勾配ベクトルは、ベクトルの範囲に基づいて決定される適応量子化レベルを用いて量子化される。 量子化誤差を最小限に抑えるため、この戦略の最適量子化レベルは閉形式式で導出される。 MNIST、CIFAR-10、CelebAデータセットのシミュレーションの結果、SplitFCは最先端のSLフレームワークと比較して分類精度が5.6%以上向上し、圧縮のないバニラSLフレームワークに比べて通信オーバーヘッドが320倍小さいことが示されている。

関連論文リスト

• Rate-Constrained Quantization for Communication-Efficient Federated Learning [5.632231145349047]
  我々はtextbfrate-textbfconstrained textbffederated Learning (RC-FED) と呼ばれる新しい量子化FLフレームワークを開発した。 我々は、符号化された勾配の速度を目標閾値以下に保ちながら、量子化歪みを最小限に抑える共同最適化として、このスキームを定式化する。 RC-FEDの収束挙動を解析し,いくつかのデータセット上でのベースライン量子化FLスキームに対して優れた性能を示す。
  論文  参考訳（メタデータ） (2024-09-10T08:22:01Z)
• Compressed Regression over Adaptive Networks [58.79251288443156]
  分散エージェントのネットワークによって達成可能な性能を導出し,通信制約や回帰問題を解消し,適応的に解決する。 エージェントによって最適化に必要なパラメータをオンラインで学習できる最適化アロケーション戦略を考案する。
  論文  参考訳（メタデータ） (2023-04-07T13:41:08Z)
• Adaptive Top-K in SGD for Communication-Efficient Distributed Learning [14.867068493072885]
  本稿では,SGDフレームワークにおける新しい適応Top-Kを提案する。 MNIST と CIFAR-10 データセットの数値結果から,SGD における適応型 Top-K アルゴリズムは,最先端の手法に比べてはるかに優れた収束率が得られることが示された。
  論文  参考訳（メタデータ） (2022-10-24T18:33:35Z)
• Faster One-Sample Stochastic Conditional Gradient Method for Composite Convex Minimization [61.26619639722804]
  滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。 提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
  論文  参考訳（メタデータ） (2022-02-26T19:10:48Z)
• Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
  半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。 SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
  論文  参考訳（メタデータ） (2021-12-12T06:11:16Z)
• Communication-Efficient Federated Learning via Quantized Compressed Sensing [82.10695943017907]
  提案フレームワークは,無線機器の勾配圧縮とパラメータサーバの勾配再構成からなる。 勾配スペーシフィケーションと量子化により、我々の戦略は1ビット勾配圧縮よりも高い圧縮比を達成することができる。 圧縮を行わない場合とほぼ同じ性能を実現できることを示す。
  論文  参考訳（メタデータ） (2021-11-30T02:13:54Z)
• HSVA: Hierarchical Semantic-Visual Adaptation for Zero-Shot Learning [74.76431541169342]
  ゼロショット学習(ZSL)は、目に見えないクラス認識の問題に取り組み、目に見えないクラスから目に見えないクラスに意味的な知識を移す。 本稿では,意味領域と視覚領域を協調させる新しい階層型意味視覚適応(HSVA)フレームワークを提案する。 4つのベンチマークデータセットの実験では、HSVAは従来のZSLと一般的なZSLの両方で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-09-30T14:27:50Z)
• Two-stage Training for Learning from Label Proportions [18.78148397471913]
  ラベルパーセンテージ(LLP)からの学習は、グループ化されたトレーニングデータにおいてラベルパーセンテージを持つインスタンスレベルの分類器を学習することを目的としている。 ラベルノイズをさらに低減するために,混合戦略と対称クロスエントロピーを導入する。 我々のフレームワークはモデルに依存しず、広範な実験において魅力的なパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2021-05-22T03:55:35Z)
• Latent Space Regularization for Unsupervised Domain Adaptation in Semantic Segmentation [14.050836886292869]
  セマンティックセグメンテーションにおけるドメインの不一致を減らすために、機能レベルの空間形成正規化戦略を紹介します。 このような手法の有効性を自律運転環境で検証する。
  論文  参考訳（メタデータ） (2021-04-06T16:07:22Z)
• Adaptive Correlated Monte Carlo for Contextual Categorical Sequence Generation [77.7420231319632]
  我々は,モンテカルロ (MC) ロールアウトの集合を分散制御のために評価する政策勾配推定器に,カテゴリー列の文脈的生成を適用する。 また,二分木ソフトマックスモデルに相関したMCロールアウトを用いることで,大語彙シナリオにおける高生成コストを低減できることを示す。
  論文  参考訳（メタデータ） (2019-12-31T03:01:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。