論文の概要: Reward-Based 1-bit Compressed Federated Distillation on Blockchain
- arxiv url: http://arxiv.org/abs/2106.14265v1
- Date: Sun, 27 Jun 2021 15:51:04 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-29 17:40:50.153386
- Title: Reward-Based 1-bit Compressed Federated Distillation on Blockchain
- Title（参考訳）: Reward-based 1bit Compressed Federated Distillation on Blockchain
- Authors: Leon Witt, Usama Zafar, KuoYeh Shen, Felix Sattler, Dan Li, Wojciech
Samek
- Abstract要約: 様々な形態のフェデレーション知識蒸留(FD)の出現は、新しい世代の堅牢でコミュニケーション効率の良いフェデレーション学習(FL)の道を開く。
本稿では,高度に圧縮された1ビットソフトラベルをスマートコントラクトに集約する分散化フェデレーション学習フレームワークを提案する。
労働者のコントリビューションが簡単に比較できる状況では、FDのPier Truth Serum for Crowdsourcing Mechanism(PTSC)を変更して、正直な参加に報いる。
- 参考スコア（独自算出の注目度）: 14.365210947456209
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The recent advent of various forms of Federated Knowledge Distillation (FD)
paves the way for a new generation of robust and communication-efficient
Federated Learning (FL), where mere soft-labels are aggregated, rather than
whole gradients of Deep Neural Networks (DNN) as done in previous FL schemes.
This security-per-design approach in combination with increasingly performant
Internet of Things (IoT) and mobile devices opens up a new realm of
possibilities to utilize private data from industries as well as from
individuals as input for artificial intelligence model training. Yet in
previous FL systems, lack of trust due to the imbalance of power between
workers and a central authority, the assumption of altruistic worker
participation and the inability to correctly measure and compare contributions
of workers hinder this technology from scaling beyond small groups of already
entrusted entities towards mass adoption. This work aims to mitigate the
aforementioned issues by introducing a novel decentralized federated learning
framework where heavily compressed 1-bit soft-labels, resembling 1-hot label
predictions, are aggregated on a smart contract. In a context where workers'
contributions are now easily comparable, we modify the Peer Truth Serum for
Crowdsourcing mechanism (PTSC) for FD to reward honest participation based on
peer consistency in an incentive compatible fashion. Due to heavy reductions of
both computational complexity and storage, our framework is a fully
on-blockchain FL system that is feasible on simple smart contracts and
therefore blockchain agnostic. We experimentally test our new framework and
validate its theoretical properties.
- Abstract（参考訳）: 近年のFD(Federated Knowledge Distillation)の出現は、従来のFL方式のようにディープニューラルネットワーク(Deep Neural Networks, DNN)全体の勾配ではなく、単なるソフトラベルを集約する、堅牢でコミュニケーション効率のよいフェデレートラーニング(Federated Learning, FL)の新たな世代の道を開いた。
このセキュリティ・パー・デザインのアプローチは、ますますパフォーマンスのよいモノのインターネット(IoT)やモバイルデバイスと組み合わせることで、人工知能モデルのトレーニングのインプットとして、業界だけでなく個人からもプライベートデータを活用できるようになる。
しかし、以前のflシステムでは、労働者と中央機関間の権力の不均衡による信頼の欠如、利他的な労働者参加の仮定、労働者の貢献を正しく測定し比較できないことが、この技術が既に委託された団体の小さなグループを超えて大量導入を妨げている。
本研究は,1ホットラベル予測に類似した重圧縮1ビットソフトラベルをスマートコントラクトに集約した分散化フェデレーション学習フレームワークを導入することにより,上記の課題を軽減することを目的とする。
労働者のコントリビューションが簡単に比較できる状況では、FDのためのPier Truth Serum for Crowdsourcing Mechanism(PTSC)を修正し、インセンティブ互換の方法でピア一貫性に基づいた正直な参加を報酬する。
計算複雑性とストレージの両方が大幅に削減されているため、当社のフレームワークは、シンプルなスマートコントラクトで実現可能な、ブロックチェーンに依存しない完全なオンブロックチェーンFLシステムです。
我々は新しい枠組みを実験的にテストし,その理論的性質を検証する。
関連論文リスト
- Enhancing Trust and Privacy in Distributed Networks: A Comprehensive Survey on Blockchain-based Federated Learning [51.13534069758711]
ブロックチェーンのような分散型アプローチは、複数のエンティティ間でコンセンサスメカニズムを実装することで、魅力的なソリューションを提供する。
フェデレートラーニング(FL)は、参加者がデータのプライバシを保護しながら、協力的にモデルをトレーニングすることを可能にする。
本稿では,ブロックチェーンのセキュリティ機能とFLのプライバシ保護モデルトレーニング機能の相乗効果について検討する。
論文 参考訳（メタデータ） (2024-03-28T07:08:26Z) - Blockchain-enabled Trustworthy Federated Unlearning [50.01101423318312]
フェデレートアンラーニング(Federated Unlearning)は、分散クライアントのデータオーナシップを保護するための、有望なパラダイムである。
既存の作業では、分散クライアントからの履歴モデルパラメータを保持するために、中央サーバが必要である。
本稿では,ブロックチェーンによる信頼性の高いフェデレーションアンラーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2024-01-29T07:04:48Z) - Defending Against Poisoning Attacks in Federated Learning with
Blockchain [12.840821573271999]
ブロックチェーンと分散台帳技術に基づくセキュアで信頼性の高いフェデレーション学習システムを提案する。
本システムでは,オンチェーン型スマートコントラクトを利用したピアツーピア投票機構と報酬アンドスラッシュ機構を組み込んで,悪意ある行動の検出と検出を行う。
論文 参考訳（メタデータ） (2023-07-02T11:23:33Z) - Federated Nearest Neighbor Machine Translation [66.8765098651988]
本稿では,FedNN(FedNN)機械翻訳フレームワークを提案する。
FedNNは1ラウンドの記憶に基づくインタラクションを活用して、異なるクライアント間で知識を共有する。
実験の結果,FedAvgと比較して,FedNNは計算コストと通信コストを著しく削減することがわかった。
論文 参考訳（メタデータ） (2023-02-23T18:04:07Z) - Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated
Learning Framework [82.36466358313025]
我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。
半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
論文 参考訳（メタデータ） (2022-12-03T03:27:51Z) - APPFLChain: A Privacy Protection Distributed Artificial-Intelligence
Architecture Based on Federated Learning and Consortium Blockchain [6.054775780656853]
APPFLChainと呼ばれる新しいシステムアーキテクチャを提案する。
これはHyperledger Fabricベースのブロックチェーンとフェデレーション学習パラダイムの統合アーキテクチャである。
我々の新しいシステムは、機密性の高い個人情報をサーバに共有する必要がないため、高いセキュリティとプライバシを維持することができる。
論文 参考訳（メタデータ） (2022-06-26T05:30:07Z) - Fairness, Integrity, and Privacy in a Scalable Blockchain-based
Federated Learning System [0.0]
フェデレートされた機械学習(FL)では、クライアントのモデルのみとして、センシティブなデータ上でモデルを集合的にトレーニングすることが可能で、トレーニングデータを共有する必要がなくなる。
FLの研究が注目されているにもかかわらず、この概念はいまだに広く採用されていない。
本稿では,ブロックチェーン技術,ローカルディファレンシャルプライバシ,ゼロ知識証明を組み込んだFLシステムを提案する。
論文 参考訳（メタデータ） (2021-11-11T16:08:44Z) - Federated Learning using Smart Contracts on Blockchains, based on Reward
Driven Approach [0.0]
スマートコントラクトベースのブロックチェーンが、フェデレートされた学習のための非常に自然なコミュニケーションチャネルであることを示す。
我々は、各エージェントの貢献度をいかに直感的に構築し、トレーニングと報酬プロセスのライフサイクルと統合できるかを示す。
論文 参考訳（メタデータ） (2021-07-19T12:51:22Z) - Faithful Edge Federated Learning: Scalability and Privacy [4.8534377897519105]
フェデレーション学習は、ローカルデータセットの交換を必要とせずに、分散型エッジデバイスのネットワーク上で機械学習アルゴリズムをトレーニングすることを可能にする。
エージェントが自発的に参加するインセンティブに、フェデレーション学習の鍵となる特徴、不均衡データおよび非i.d.データがどのように影響するかを分析する。
経済性,スケーラビリティ,プライバシを満足する2つの忠実な連合学習機構を設計する。
論文 参考訳（メタデータ） (2021-06-30T08:46:40Z) - Blockchain Assisted Decentralized Federated Learning (BLADE-FL):
Performance Analysis and Resource Allocation [119.19061102064497]
ブロックチェーンをFL、すなわちブロックチェーン支援分散学習(BLADE-FL)に統合することで、分散FLフレームワークを提案する。
提案されたBLADE-FLのラウンドでは、各クライアントはトレーニング済みモデルを他のクライアントにブロードキャストし、受信したモデルに基づいてブロックを生成し、次のラウンドのローカルトレーニングの前に生成されたブロックからモデルを集約します。
遅延クライアントがblade-flの学習性能に与える影響を調査し,最適なk,学習パラメータ,遅延クライアントの割合の関係を特徴付ける。
論文 参考訳（メタデータ） (2021-01-18T07:19:08Z) - Blockchain Assisted Decentralized Federated Learning (BLADE-FL) with
Lazy Clients [124.48732110742623]
フェデレートラーニング(FL)にブロックチェーンを統合する新しいフレームワークを提案する。
BLADE-FLは、プライバシー保護、改ざん抵抗、学習の効果的な協力の点で優れたパフォーマンスを持っている。
遅延クライアントは、他人のトレーニングされたモデルを盗聴し、不正行為を隠すために人工的なノイズを加える。
論文 参考訳（メタデータ） (2020-12-02T12:18:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。