論文の概要: Secure and Efficient Federated Learning Through Layering and Sharding
Blockchain
- arxiv url: http://arxiv.org/abs/2104.13130v5
- Date: Wed, 31 Jan 2024 05:46:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-01 18:26:29.892012
- Title: Secure and Efficient Federated Learning Through Layering and Sharding
Blockchain
- Title(参考訳): 階層化とシャーディングによるセキュアで効率的な連合学習
- Authors: Shuo Yuan, Bin Cao, Yao Sun, Zhiguo Wan, Mugen Peng
- Abstract要約: 本稿では,新しい2層ブロックチェーン駆動型フェデレート学習システムChainFLを提案する。
インターネットネットワークをサブチェーン層内の複数のシャードに分割し、情報交換の規模を効果的に削減する。
また、DAG(Direct Acyclic Graph)ベースのメインチェーンをメインチェーン層として採用し、並列および非同期のクロスシャード検証を可能にする。
- 参考スコア(独自算出の注目度): 15.197940168865271
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Introducing blockchain into Federated Learning (FL) to build a trusted edge
computing environment for transmission and learning has attracted widespread
attention as a new decentralized learning pattern. However, traditional
consensus mechanisms and architectures of blockchain systems face significant
challenges in handling large-scale FL tasks, especially on Internet of Things
(IoT) devices, due to their substantial resource consumption, limited
transaction throughput, and complex communication requirements. To address
these challenges, this paper proposes ChainFL, a novel two-layer
blockchain-driven FL system. It splits the IoT network into multiple shards
within the subchain layer, effectively reducing the scale of information
exchange, and employs a Direct Acyclic Graph (DAG)-based mainchain as the
mainchain layer, enabling parallel and asynchronous cross-shard validation.
Furthermore, the FL procedure is customized to integrate deeply with blockchain
technology, and a modified DAG consensus mechanism is designed to mitigate
distortion caused by abnormal models. To provide a proof-of-concept
implementation and evaluation, multiple subchains based on Hyperledger Fabric
and a self-developed DAG-based mainchain are deployed. Extensive experiments
demonstrate that ChainFL significantly surpasses conventional FL systems,
showing up to a 14% improvement in training efficiency and a threefold increase
in robustness.
- Abstract(参考訳): ブロックチェーンを連合学習(fl)に導入して、送信と学習のための信頼されたエッジコンピューティング環境を構築することは、新しい分散学習パターンとして広く注目を集めている。
しかしながら、ブロックチェーンシステムの従来のコンセンサスメカニズムとアーキテクチャは、大規模なFLタスク、特にIoT(Internet of Things)デバイスでの処理において、リソース使用量、トランザクションスループットの制限、複雑な通信要求など、大きな課題に直面しています。
そこで本稿では,ブロックチェーン駆動型2層flシステムchainflを提案する。
IoTネットワークをサブチェーン層内の複数のシャードに分割し、情報交換の規模を効果的に削減し、ダイレクト・サイクリックグラフ(DAG)ベースのメインチェーンをメインチェーン層として使用することにより、並列かつ非同期なクロスシャード検証を可能にする。
さらに、FLプロシージャをブロックチェーン技術と深く統合するようにカスタマイズし、異常モデルによる歪みを軽減するために改良されたDAGコンセンサス機構を設計する。
Hyperledger Fabricに基づく複数のサブチェーンと自己開発DAGベースのメインチェーンがデプロイされる概念実証実装および評価を提供する。
大規模な実験では、ChainFLが従来のFLシステムを大幅に上回り、トレーニング効率が14%向上し、堅牢性が3倍向上した。
関連論文リスト
- Decentralized Federated Unlearning on Blockchain [27.614497435862766]
FLプロセスの完全性とトレーサビリティを保証するために、フェデレートドラーニング(FL)が注目を集めている。
本稿では,Chameleon Hash(CH)技術を用いてブロックチェーン構造を再設計する汎用フレームワークであるBlockFULを提案する。
我々は、勾配上昇と再学習という2つの典型的なアンラーニング手法の総合的研究を行い、効率的なアンラーニングワークフローを実証した。
論文 参考訳(メタデータ) (2024-02-26T04:31:53Z) - Generative AI-enabled Blockchain Networks: Fundamentals, Applications,
and Case Study [73.87110604150315]
Generative Artificial Intelligence(GAI)は、ブロックチェーン技術の課題に対処するための有望なソリューションとして登場した。
本稿では、まずGAI技術を紹介し、そのアプリケーションの概要を説明し、GAIをブロックチェーンに統合するための既存のソリューションについて議論する。
論文 参考訳(メタデータ) (2024-01-28T10:46:17Z) - A Blockchain Solution for Collaborative Machine Learning over IoT [0.31410859223862103]
フェデレートラーニング(FL)とブロックチェーン技術は、これらの課題に対処するための有望なアプローチとして現れています。
我々は、漸進学習ベクトル量子化アルゴリズム(XuILVQ)とブロックチェーン技術を組み合わせた、新しいIoTソリューションを提案する。
提案アーキテクチャは,データプライバシとセキュリティを維持しながら,計算オーバーヘッドと通信オーバーヘッドを削減することにより,既存のブロックチェーンベースのFLソリューションの欠点に対処する。
論文 参考訳(メタデータ) (2023-11-23T18:06:05Z) - The Implications of Decentralization in Blockchained Federated Learning:
Evaluating the Impact of Model Staleness and Inconsistencies [2.883123270573492]
ブロックチェーンのような民主的なネットワークにフェデレートされた学習のオーケストレーションをアウトソーシングすることの実践的意義について検討する。
シミュレーションを用いて、よく知られたCIFAR-10データセット上でのブロックチェーンFL操作を評価し、ソリューションの正確性とタイムラインに焦点を当てた。
論文 参考訳(メタデータ) (2023-10-11T13:18:23Z) - On the Decentralization of Blockchain-enabled Asynchronous Federated
Learning [3.3701306798873305]
フェデレートラーニング(FL)は実運用環境における真のリアルタイムアプリケーションを可能にすることが期待されている。
ブロックチェーン(FLchainとも呼ばれる)によるFLの権限付与は、台帳の不整合と情報の年齢(AoI)に関していくつかの意味を持つ。
本稿では,FLチェーン設定の影響について光を当て,AoIと台帳の不整合がFL性能に与える影響について検討する。
論文 参考訳(メタデータ) (2022-05-20T14:20:47Z) - Federated Learning over Wireless IoT Networks with Optimized
Communication and Resources [98.18365881575805]
協調学習技術のパラダイムとしてのフェデレートラーニング(FL)は研究の注目を集めている。
無線システム上での高速応答および高精度FLスキームの検証が重要である。
提案する通信効率のよいフェデレーション学習フレームワークは,強い線形速度で収束することを示す。
論文 参考訳(メタデータ) (2021-10-22T13:25:57Z) - Towards On-Device Federated Learning: A Direct Acyclic Graph-based
Blockchain Approach [2.9202274421296943]
本稿では,DAG(Direct Acyclic Graph)ベースのブロックチェーンシステム(DAG-FL)を用いたフェデレートラーニングを支援するフレームワークを提案する。
2つのアルゴリズムDAG-FL ControllingとDAG-FL Updatingは、DAG-FLコンセンサスメカニズムの操作を精巧にするために異なるノードで動作するように設計されています。
論文 参考訳(メタデータ) (2021-04-27T10:29:38Z) - Deep Multi-Task Learning for Cooperative NOMA: System Design and
Principles [52.79089414630366]
我々は,近年のディープラーニング(DL)の進歩を反映した,新しいディープ・コラボレーティブなNOMAスキームを開発する。
我々は,システム全体を包括的に最適化できるように,新しいハイブリッドカスケードディープニューラルネットワーク(DNN)アーキテクチャを開発した。
論文 参考訳(メタデータ) (2020-07-27T12:38:37Z) - Wireless Communications for Collaborative Federated Learning [160.82696473996566]
IoT(Internet of Things)デバイスは、収集したデータを中央のコントローラに送信することができず、機械学習モデルをトレーニングすることができる。
GoogleのセミナルFLアルゴリズムでは、すべてのデバイスを中央コントローラに直接接続する必要がある。
本稿では,コラボレーティブFL(CFL)と呼ばれる新しいFLフレームワークを提案する。
論文 参考訳(メタデータ) (2020-06-03T20:00:02Z) - Resource Management for Blockchain-enabled Federated Learning: A Deep
Reinforcement Learning Approach [54.29213445674221]
Federated Learning (BFL)は、機械学習モデル所有者(MLMO)が必要とするニューラルネットワークモデルを、モバイルデバイスが協調的にトレーニングすることを可能にする。
BFLの問題は、モバイルデバイスがシステムの寿命とトレーニング効率を低下させるエネルギーとCPUの制約を持っていることである。
我々は,Deep Reinforcement Learning (DRL) を用いて最適決定を導出することを提案する。
論文 参考訳(メタデータ) (2020-04-08T16:29:19Z) - Multilinear Compressive Learning with Prior Knowledge [106.12874293597754]
マルチリニア圧縮学習(MCL)フレームワークは、マルチリニア圧縮センシングと機械学習をエンドツーエンドシステムに統合する。
MCLの背後にある主要なアイデアは、下流学習タスクの信号から重要な特徴を捉えることのできるテンソル部分空間の存在を仮定することである。
本稿では、上記の要件、すなわち、関心の信号が分離可能なテンソル部分空間をどうやって見つけるかという、2つの要件に対処する新しい解決策を提案する。
論文 参考訳(メタデータ) (2020-02-17T19:06:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。