論文の概要: Communication-Efficient Split Learning via Adaptive Feature-Wise Compression

• arxiv url: http://arxiv.org/abs/2307.10805v1
• Date: Thu, 20 Jul 2023 12:16:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-21 13:23:01.609023
• Title: Communication-Efficient Split Learning via Adaptive Feature-Wise Compression
• Title（参考訳）: 適応型特徴分割圧縮によるコミュニケーション効率の高い分割学習
• Authors: Yongjeong Oh, Jaeho Lee, Christopher G. Brinton, and Yo-Seb Jeon
• Abstract要約: SplitFCはコミュニケーション効率のよい分割学習フレームワークである。 適応的特徴量ドロップアウトと適応的特徴量量子化の2つの圧縮戦略が組み込まれている。 最先端のSLフレームワークと比較して、分類精度が5.6%以上向上している。
• 参考スコア（独自算出の注目度）: 18.82988602845702
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper proposes a novel communication-efficient split learning (SL) framework, named SplitFC, which reduces the communication overhead required for transmitting intermediate feature and gradient vectors during the SL training process. The key idea of SplitFC is to leverage different dispersion degrees exhibited in the columns of the matrices. SplitFC incorporates two compression strategies: (i) adaptive feature-wise dropout and (ii) adaptive feature-wise quantization. In the first strategy, the intermediate feature vectors are dropped with adaptive dropout probabilities determined based on the standard deviation of these vectors. Then, by the chain rule, the intermediate gradient vectors associated with the dropped feature vectors are also dropped. In the second strategy, the non-dropped intermediate feature and gradient vectors are quantized using adaptive quantization levels determined based on the ranges of the vectors. To minimize the quantization error, the optimal quantization levels of this strategy are derived in a closed-form expression. Simulation results on the MNIST, CIFAR-10, and CelebA datasets demonstrate that SplitFC provides more than a 5.6% increase in classification accuracy compared to state-of-the-art SL frameworks, while they require 320 times less communication overhead compared to the vanilla SL framework without compression.
• Abstract（参考訳）: 本稿では,SL学習過程における中間特徴量と勾配ベクトルの伝達に必要な通信オーバーヘッドを低減させる,SplitFCという新しい通信効率分割学習フレームワークを提案する。 splitfcの鍵となるアイデアは、行列の列に現れる異なる分散度を活用することである。 SplitFCには2つの圧縮戦略がある。 (i)アダプティブ・フィーチャーワイズ・ドロップアウトと (ii)適応的特徴量化。 第1の戦略では、これらのベクトルの標準偏差に基づいて、適応的なドロップアウト確率で中間特徴ベクトルをドロップする。 そして、チェーンルールにより、ドロップされた特徴ベクトルに関連する中間勾配ベクトルもドロップする。 第2の戦略では、非投下中間特徴と勾配ベクトルは、ベクトルの範囲に基づいて決定される適応量子化レベルを用いて量子化される。 量子化誤差を最小限に抑えるため、この戦略の最適量子化レベルは閉形式式で導出される。 MNIST、CIFAR-10、CelebAデータセットのシミュレーションの結果、SplitFCは最先端のSLフレームワークと比較して分類精度が5.6%以上向上し、圧縮のないバニラSLフレームワークに比べて通信オーバーヘッドが320倍小さいことが示されている。

関連論文リスト

• Parameter-efficient Fine-tuning in Hyperspherical Space for Open-vocabulary Semantic Segmentation [79.66299178949257]
  オープンボキャブラリセマンティックセグメンテーションは、画像中の各ピクセルに任意のテキスト記述をラベル付けしようとする。 視覚言語基盤モデル、特にCLIPは、オープン語彙能力を取得するための強力なツールとして登場した。 H-CLIPは、CLIPの総パラメータの約4%を更新するだけで、新しいSOTAオープン語彙セマンティックセマンティックセマンティクス結果を達成する。
  論文  参考訳（メタデータ） (2024-05-29T07:41:34Z)
• Minimizing Chebyshev Prototype Risk Magically Mitigates the Perils of Overfitting [1.6574413179773757]
  クラス内特徴相関を低減し,クラス間特徴距離を最大化する多成分損失関数を開発した。 我々は,Chebyshev Prototype Risk (CPR) という用語を明示的なCPR損失関数に限定して実装する。 トレーニングアルゴリズムは、多くの設定において、以前のアプローチの過度な適合を減らし、改善する。
  論文  参考訳（メタデータ） (2024-04-10T15:16:04Z)
• Low-Rank Gradient Compression with Error Feedback for MIMO Wireless Federated Learning [37.70844338213942]
  提案手法は,最小二乗の交互化に基づく局所勾配圧縮のための低ランク行列因数分解戦略と,オーバー・ザ・エア計算と誤差フィードバックに重点を置いている。 提案プロトコルはオーバー・ザ・エア・ローランク圧縮 (Ota-LC) と呼ばれ, 計算コストが低く, 通信オーバーヘッドも従来のベンチマークと比較できる。
  論文  参考訳（メタデータ） (2024-01-15T06:30:06Z)
• Balanced Classification: A Unified Framework for Long-Tailed Object Detection [74.94216414011326]
  従来の検出器は、分類バイアスによる長期データを扱う際の性能劣化に悩まされる。 本稿では,カテゴリ分布の格差に起因する不平等の適応的是正を可能にする,BAlanced CLassification (BACL) と呼ばれる統一フレームワークを提案する。 BACLは、さまざまなバックボーンとアーキテクチャを持つさまざまなデータセット間で、一貫してパフォーマンス改善を実現している。
  論文  参考訳（メタデータ） (2023-08-04T09:11:07Z)
• Adaptive Top-K in SGD for Communication-Efficient Distributed Learning [14.867068493072885]
  本稿では,SGDフレームワークにおける新しい適応Top-Kを提案する。 MNIST と CIFAR-10 データセットの数値結果から,SGD における適応型 Top-K アルゴリズムは,最先端の手法に比べてはるかに優れた収束率が得られることが示された。
  論文  参考訳（メタデータ） (2022-10-24T18:33:35Z)
• Faster One-Sample Stochastic Conditional Gradient Method for Composite Convex Minimization [61.26619639722804]
  滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。 提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
  論文  参考訳（メタデータ） (2022-02-26T19:10:48Z)
• Communication-Efficient Federated Learning via Quantized Compressed Sensing [82.10695943017907]
  提案フレームワークは,無線機器の勾配圧縮とパラメータサーバの勾配再構成からなる。 勾配スペーシフィケーションと量子化により、我々の戦略は1ビット勾配圧縮よりも高い圧縮比を達成することができる。 圧縮を行わない場合とほぼ同じ性能を実現できることを示す。
  論文  参考訳（メタデータ） (2021-11-30T02:13:54Z)
• HSVA: Hierarchical Semantic-Visual Adaptation for Zero-Shot Learning [74.76431541169342]
  ゼロショット学習(ZSL)は、目に見えないクラス認識の問題に取り組み、目に見えないクラスから目に見えないクラスに意味的な知識を移す。 本稿では,意味領域と視覚領域を協調させる新しい階層型意味視覚適応(HSVA)フレームワークを提案する。 4つのベンチマークデータセットの実験では、HSVAは従来のZSLと一般的なZSLの両方で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-09-30T14:27:50Z)
• Two-stage Training for Learning from Label Proportions [18.78148397471913]
  ラベルパーセンテージ(LLP)からの学習は、グループ化されたトレーニングデータにおいてラベルパーセンテージを持つインスタンスレベルの分類器を学習することを目的としている。 ラベルノイズをさらに低減するために,混合戦略と対称クロスエントロピーを導入する。 我々のフレームワークはモデルに依存しず、広範な実験において魅力的なパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2021-05-22T03:55:35Z)
• Adaptive Correlated Monte Carlo for Contextual Categorical Sequence Generation [77.7420231319632]
  我々は,モンテカルロ (MC) ロールアウトの集合を分散制御のために評価する政策勾配推定器に,カテゴリー列の文脈的生成を適用する。 また,二分木ソフトマックスモデルに相関したMCロールアウトを用いることで,大語彙シナリオにおける高生成コストを低減できることを示す。
  論文  参考訳（メタデータ） (2019-12-31T03:01:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。