論文の概要: FedBAT: Communication-Efficient Federated Learning via Learnable Binarization

• arxiv url: http://arxiv.org/abs/2408.03215v1
• Date: Tue, 6 Aug 2024 14:19:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-07 13:58:07.383245
• Title: FedBAT: Communication-Efficient Federated Learning via Learnable Binarization
• Title（参考訳）: FedBAT: 学習可能なバイナリ化によるコミュニケーション効率の高いフェデレーションラーニング
• Authors: Shiwei Li, Wenchao Xu, Haozhao Wang, Xing Tang, Yining Qi, Shijie Xu, Weihong Luo, Yuhua Li, Xiuqiang He, Ruixuan Li,
• Abstract要約: Federated Binarization-Aware Training (FedBAT)は、ローカルトレーニングプロセス中にバイナリモデルの更新を直接学習する新しいフレームワークである。 FedBATは革新的二項化演算子と巧妙に設計された導関数を組み込み、効率的な学習を容易にする。 その結果,FedBATは収束を著しく加速し,ベースラインの精度を最大9%超えることがわかった。
• 参考スコア（独自算出の注目度）: 22.42781531071806
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning is a promising distributed machine learning paradigm that can effectively exploit large-scale data without exposing users' privacy. However, it may incur significant communication overhead, thereby potentially impairing the training efficiency. To address this challenge, numerous studies suggest binarizing the model updates. Nonetheless, traditional methods usually binarize model updates in a post-training manner, resulting in significant approximation errors and consequent degradation in model accuracy. To this end, we propose Federated Binarization-Aware Training (FedBAT), a novel framework that directly learns binary model updates during the local training process, thus inherently reducing the approximation errors. FedBAT incorporates an innovative binarization operator, along with meticulously designed derivatives to facilitate efficient learning. In addition, we establish theoretical guarantees regarding the convergence of FedBAT. Extensive experiments are conducted on four popular datasets. The results show that FedBAT significantly accelerates the convergence and exceeds the accuracy of baselines by up to 9\%, even surpassing that of FedAvg in some cases.
• Abstract（参考訳）: フェデレーション学習は、ユーザのプライバシを公開することなく、大規模データを効果的に活用できる、有望な分散機械学習パラダイムである。 しかし、通信オーバーヘッドが大きくなり、訓練効率が低下する可能性がある。 この課題に対処するために、多くの研究がモデルの更新をバイナライズすることを推奨している。 それにもかかわらず、伝統的な手法は通常、モデルの更新を訓練後の方法で二項化し、かなりの近似誤差とモデル精度の連続的な劣化をもたらす。 この目的のために,FedBAT(Federated Binarization-Aware Training)を提案する。FedBATは,局所的なトレーニングプロセス中にバイナリモデルの更新を直接学習する新しいフレームワークで,近似誤差を本質的に低減する。 FedBATは革新的二項化演算子と巧妙に設計された導関数を組み込み、効率的な学習を容易にする。 また、FedBATの収束に関する理論的保証を確立する。 大規模な実験は4つの一般的なデータセットで行われている。 その結果,FedBATは収束を著しく加速し,ベースラインの精度を最大9倍にし,FedAvgを超越するケースもあることがわかった。

関連論文リスト

• Streamlined Federated Unlearning: Unite as One to Be Highly Efficient [12.467630082668254]
  「忘れられる権利」法や規制は、連邦学習(FL)に新たなプライバシー要件を課している。 本研究では,モデルの性能を劣化することなく保持データに保存しながら,対象データの影響を効果的に除去することを目的とした,合理化アンラーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-11-28T12:52:48Z)
• Sparse Training for Federated Learning with Regularized Error Correction [9.852567834643292]
  Federated Learning(FL)は、ディープニューラルネットワーク(DNN)モデルをトレーニングする上で大きなメリットがあるため、大きな関心を集めている。 FLAREは、FLプロセスへの埋め込みを正規化した更新モデルの累積引き込みによる新しいスパーストレーニング手法を提案する。 FLAREの性能は、多種多様な複雑なモデルに関する広範な実験を通じて検証され、顕著なスパーシリティレベル(現在の最先端の10倍以上の)を達成するとともに、精度が大幅に向上した。
  論文  参考訳（メタデータ） (2023-12-21T12:36:53Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• FedET: A Communication-Efficient Federated Class-Incremental Learning Framework Based on Enhanced Transformer [42.19443600254834]
  本稿では,FedET(Federated Enhanced Transformer)という新しいフレームワークを提案する。 FedETは、小さなモジュールであるEnhancerを使って、新しい知識を吸収し、伝達する。 代表的なベンチマークデータセットにおけるFedETの平均精度は、最先端の手法よりも14.1%高い。
  論文  参考訳（メタデータ） (2023-06-27T10:00:06Z)
• Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck [77.37409441129995]
  トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。 我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。 そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
  論文  参考訳（メタデータ） (2023-03-24T16:03:21Z)
• FedDBL: Communication and Data Efficient Federated Deep-Broad Learning for Histopathological Tissue Classification [65.7405397206767]
  本稿では,FedDBL(Federated Deep-Broad Learning)を提案する。 FedDBLは1ラウンドの通信と限られたトレーニングサンプルで競合相手をはるかに上回り、マルチラウンドの通信で同等のパフォーマンスを達成している。 異なるクライアント間でのデータやディープモデルを共有しないため、プライバシ問題は十分に解決されており、モデルのセキュリティはモデル反転攻撃のリスクなしに保証される。
  論文  参考訳（メタデータ） (2023-02-24T14:27:41Z)
• Federated Pruning: Improving Neural Network Efficiency with Federated Learning [24.36174705715827]
  フェデレーテッド・プルーニング(Federated Pruning)は、フェデレーテッド・セッティングの下で縮小モデルのトレーニングを行う。 異なる刈り取り方式を探索し,提案手法の有効性の実証的証拠を提供する。
  論文  参考訳（メタデータ） (2022-09-14T00:48:37Z)
• Federated Learning with Unreliable Clients: Performance Analysis and Mechanism Design [76.29738151117583]
  Federated Learning(FL)は、分散クライアント間で効果的な機械学習モデルをトレーニングするための有望なツールとなっている。 しかし、低品質のモデルは信頼性の低いクライアントによってアグリゲータサーバにアップロードすることができ、劣化やトレーニングの崩壊につながる。 クライアントの信頼できない振る舞いをモデル化し、このようなセキュリティリスクを軽減するための防御メカニズムを提案する。
  論文  参考訳（メタデータ） (2021-05-10T08:02:27Z)
• CosSGD: Nonlinear Quantization for Communication-efficient Federated Learning [62.65937719264881]
  フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。 圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。 本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
  論文  参考訳（メタデータ） (2020-12-15T12:20:28Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)
• A Federated Deep Learning Framework for Privacy Preservation and Communication Efficiency [1.2599533416395765]
  我々は、プライバシ保護と通信効率のためのフェデレーション深層学習フレームワークであるFedPCを開発した。 FedPCは、中間データであっても、トレーニングデータの情報を公開せずに、モデルを複数のプライベートデータセットで学習可能にする。 その結果、FedPCはデータが10の計算ノードに分散された場合、中央訓練されたモデルの8.5%の価格でモデルの性能近似を維持していることがわかった。
  論文  参考訳（メタデータ） (2020-01-22T02:52:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。