論文の概要: A Fast Blockchain-based Federated Learning Framework with Compressed Communications

• arxiv url: http://arxiv.org/abs/2208.06095v1
• Date: Fri, 12 Aug 2022 03:04:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-15 13:41:28.740573
• Title: A Fast Blockchain-based Federated Learning Framework with Compressed Communications
• Title（参考訳）: 圧縮通信を用いた高速ブロックチェーン型フェデレーション学習フレームワーク
• Authors: Laizhong Cui, Xiaoxin Su, Yipeng Zhou
• Abstract要約: 近年,ブロックチェーンベースのフェデレーション学習(BFL)が注目されている。 本稿では,BFLの訓練効率を向上させるために,BCFLと呼ばれる高速なBFLを提案する。
• 参考スコア（独自算出の注目度）: 14.344080339573278
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, blockchain-based federated learning (BFL) has attracted intensive research attention due to that the training process is auditable and the architecture is serverless avoiding the single point failure of the parameter server in vanilla federated learning (VFL). Nevertheless, BFL tremendously escalates the communication traffic volume because all local model updates (i.e., changes of model parameters) obtained by BFL clients will be transmitted to all miners for verification and to all clients for aggregation. In contrast, the parameter server and clients in VFL only retain aggregated model updates. Consequently, the huge communication traffic in BFL will inevitably impair the training efficiency and hinder the deployment of BFL in reality. To improve the practicality of BFL, we are among the first to propose a fast blockchain-based communication-efficient federated learning framework by compressing communications in BFL, called BCFL. Meanwhile, we derive the convergence rate of BCFL with non-convex loss. To maximize the final model accuracy, we further formulate the problem to minimize the training loss of the convergence rate subject to a limited training time with respect to the compression rate and the block generation rate, which is a bi-convex optimization problem and can be efficiently solved. To the end, to demonstrate the efficiency of BCFL, we carry out extensive experiments with standard CIFAR-10 and FEMNIST datasets. Our experimental results not only verify the correctness of our analysis, but also manifest that BCFL can remarkably reduce the communication traffic by 95-98% or shorten the training time by 90-95% compared with BFL.
• Abstract（参考訳）: 近年、ブロックチェーンベースのフェデレーションラーニング(BFL)は、トレーニングプロセスが監査可能であり、バニラフェデレーションラーニング(VFL)におけるパラメータサーバの単一ポイント障害を回避するために、アーキテクチャがサーバレスであることから、研究の注目を集めている。 しかしながら、BFLクライアントが取得したすべてのローカルモデル更新(すなわちモデルパラメータの変更)が、検証のためにすべてのマイナーに送信され、集約のためにすべてのクライアントに送信されるため、通信トラフィック量は著しく増大する。 対照的に、VFLのパラメータサーバとクライアントは集約されたモデル更新のみを保持する。 このため、BFLの膨大な通信トラフィックは、必然的に訓練効率を損なうことになり、実際のBFLの展開を妨げることになる。 BFLの実用性を改善するために,BCFLと呼ばれるBFLにおける通信を圧縮することで,ブロックチェーンによる高速なコミュニケーション効率のフェデレーション学習フレームワークを提案する。 一方,非凸損失を伴うBCFLの収束率を導出する。 最終モデルの精度を最大化するため、二凸最適化問題である圧縮率及びブロック生成率に関して、制限された訓練時間に対する収束率の訓練損失を最小化し、効率的に解くための問題を更に定式化する。 最終的に、BCFLの効率を実証するため、標準CIFAR-10およびFEMNISTデータセットを用いて広範な実験を行った。 実験の結果,BFLがBFLと比較して通信トラフィックを95～98%減らしたり,トレーニング時間を90～95%短縮できることがわかった。

関連論文リスト

• SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
  SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。 実験により、スパースベースラインに比べて通信やコンピューティングリソースをはるかに少なくし、精度を向上することが示された。
  論文  参考訳（メタデータ） (2024-06-01T13:10:35Z)
• Communication-Efficient Vertical Federated Learning with Limited Overlapping Samples [34.576230628844506]
  我々は,textbfone-shot VFLと呼ばれる垂直連合学習(VFL)フレームワークを提案する。 提案したフレームワークでは、クライアントはサーバと一度か数回だけ通信する必要があります。 提案手法は46.5%以上の精度向上と通信コストの330$times$の削減を実現している。
  論文  参考訳（メタデータ） (2023-03-28T19:30:23Z)
• Hierarchical Personalized Federated Learning Over Massive Mobile Edge Computing Networks [95.39148209543175]
  大規模MECネットワーク上でPFLをデプロイするアルゴリズムである階層型PFL(HPFL)を提案する。 HPFLは、最適帯域割り当てを共同で決定しながら、トレーニング損失最小化とラウンドレイテンシ最小化の目的を組み合わせる。
  論文  参考訳（メタデータ） (2023-03-19T06:00:05Z)
• How Much Does It Cost to Train a Machine Learning Model over Distributed Data Sources? [4.222078489059043]
  フェデレーション学習は、デバイスが生データを共有せずに機械学習モデルをトレーニングすることを可能にする。 ゴシップフェデレーションラーニング(GFL)やブロックチェーン対応フェデレーションラーニング(BFL)のようなサーバーレスFLアプローチは、これらの問題を緩和するために提案されている。 GFLはトレーニング時間の18%、エネルギーの68%、データをCFLソリューションで共有する51%を節約できるが、CFLの精度に達することはできない。 BFLは、余分なエネルギー使用とデータ共有を犠牲にして、より高いレベルのセキュリティで分散学習を実装するための実行可能なソリューションである。
  論文  参考訳（メタデータ） (2022-09-15T08:13:40Z)
• DeFL: Decentralized Weight Aggregation for Cross-silo Federated Learning [2.43923223501858]
  フェデレートラーニング(FL)は、プライバシ保護機械学習(ML)の新たなパラダイムである。 クロスサイロFLのための分散重み集約フレームワークであるDeFLを提案する。 DeFLは各ノードの重みを集約することで中央サーバを排除し、現在のトレーニングラウンドのみの重みはすべてのノード間で維持および同期される。
  論文  参考訳（メタデータ） (2022-08-01T13:36:49Z)
• Towards Communication-efficient Vertical Federated Learning Training via Cache-enabled Local Updates [25.85564668511386]
  CELU-VFLは,新しい,効率的な垂直学習フレームワークである。 CELU-VFLは、ローカル更新技術を利用して、サードパーティ間の通信ラウンドを減らす。 CELU-VFLは既存の作業の最大6倍高速であることを示す。
  論文  参考訳（メタデータ） (2022-07-29T12:10:36Z)
• FAIR-BFL: Flexible and Incentive Redesign for Blockchain-based Federated Learning [19.463891024499773]
  Vanilla Federated Learning (FL)は、集中型のグローバルアグリゲーションメカニズムに依存し、すべてのクライアントが誠実であると仮定する。 これにより、FLが単一障害点と不適切なクライアントを緩和することが難しくなります。 我々は、新しいBFLフレームワークを設計し、評価し、FAIR-BFLと呼ばれる柔軟性とインセンティブを持つバニラBFLの課題を解決した。
  論文  参考訳（メタデータ） (2022-06-26T15:20:45Z)
• Achieving Personalized Federated Learning with Sparse Local Models [75.76854544460981]
  フェデレートラーニング(FL)は異種分散データに対して脆弱である。 この問題に対処するため、個人ごとに専用のローカルモデルを作成するためにパーソナライズされたFL(PFL)が提案された。 既存のPFLソリューションは、異なるモデルアーキテクチャに対する不満足な一般化を示すか、あるいは膨大な余分な計算とメモリを犠牲にするかのどちらかである。 我々は、パーソナライズされたスパースマスクを用いて、エッジ上のスパースローカルモデルをカスタマイズする新しいPFLスキームFedSpaを提案する。
  論文  参考訳（メタデータ） (2022-01-27T08:43:11Z)
• Blockchain Assisted Decentralized Federated Learning (BLADE-FL): Performance Analysis and Resource Allocation [119.19061102064497]
  ブロックチェーンをFL、すなわちブロックチェーン支援分散学習(BLADE-FL)に統合することで、分散FLフレームワークを提案する。 提案されたBLADE-FLのラウンドでは、各クライアントはトレーニング済みモデルを他のクライアントにブロードキャストし、受信したモデルに基づいてブロックを生成し、次のラウンドのローカルトレーニングの前に生成されたブロックからモデルを集約します。 遅延クライアントがblade-flの学習性能に与える影響を調査し,最適なk,学習パラメータ,遅延クライアントの割合の関係を特徴付ける。
  論文  参考訳（メタデータ） (2021-01-18T07:19:08Z)
• Blockchain Assisted Decentralized Federated Learning (BLADE-FL) with Lazy Clients [124.48732110742623]
  フェデレートラーニング(FL)にブロックチェーンを統合する新しいフレームワークを提案する。 BLADE-FLは、プライバシー保護、改ざん抵抗、学習の効果的な協力の点で優れたパフォーマンスを持っている。 遅延クライアントは、他人のトレーニングされたモデルを盗聴し、不正行為を隠すために人工的なノイズを加える。
  論文  参考訳（メタデータ） (2020-12-02T12:18:27Z)
• Resource Management for Blockchain-enabled Federated Learning: A Deep Reinforcement Learning Approach [54.29213445674221]
  Federated Learning (BFL)は、機械学習モデル所有者(MLMO)が必要とするニューラルネットワークモデルを、モバイルデバイスが協調的にトレーニングすることを可能にする。 BFLの問題は、モバイルデバイスがシステムの寿命とトレーニング効率を低下させるエネルギーとCPUの制約を持っていることである。 我々は,Deep Reinforcement Learning (DRL) を用いて最適決定を導出することを提案する。
  論文  参考訳（メタデータ） (2020-04-08T16:29:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。