Fugu-MT 論文翻訳(概要): Scaling Decentralized Learning with FLock

論文の概要: Scaling Decentralized Learning with FLock

arxiv url: http://arxiv.org/abs/2507.15349v1
Date: Mon, 21 Jul 2025 08:01:43 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-22 20:51:32.311601
Title: Scaling Decentralized Learning with FLock
Title（参考訳）: FLockによる分散学習のスケールアップ
Authors: Zehua Cheng, Rui Sun, Jiahao Sun, Yike Guo,
Abstract要約: 本稿では,大規模言語モデル(LLM)を微調整する分散型フレームワークであるFLockを紹介する。ブロックチェーンベースの信頼層と経済的インセンティブを統合することで、FLockは、中央アグリゲータを、信頼できない関係者間の協力のためのセキュアで監査可能なプロトコルに置き換える。我々の実験は、FLockフレームワークが標準FLを侵害するバックドア毒殺攻撃を防いでいることを示している。
参考スコア（独自算出の注目度）: 14.614054170542966
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Fine-tuning the large language models (LLMs) are prevented by the deficiency of centralized control and the massive computing and communication overhead on the decentralized schemes. While the typical standard federated learning (FL) supports data privacy, the central server requirement creates a single point of attack and vulnerability to poisoning attacks. Generalizing the result in this direction to 70B-parameter models in the heterogeneous, trustless environments has turned out to be a huge, yet unbroken bottleneck. This paper introduces FLock, a decentralized framework for secure and efficient collaborative LLM fine-tuning. Integrating a blockchain-based trust layer with economic incentives, FLock replaces the central aggregator with a secure, auditable protocol for cooperation among untrusted parties. We present the first empirical validation of fine-tuning a 70B LLM in a secure, multi-domain, decentralized setting. Our experiments show the FLock framework defends against backdoor poisoning attacks that compromise standard FL optimizers and fosters synergistic knowledge transfer. The resulting models show a >68% reduction in adversarial attack success rates. The global model also demonstrates superior cross-domain generalization, outperforming models trained in isolation on their own specialized data.
Abstract（参考訳）: 大規模言語モデル(LLM)の微調整は、集中制御の欠如と分散化スキームにおける大規模コンピューティングと通信オーバーヘッドによって防止される。典型的な標準フェデレーション学習(FL)はデータのプライバシをサポートするが、中央サーバ要件は単一の攻撃ポイントと攻撃に対する脆弱性を生成する。この方向に結果を一般化して、不均一で信頼性のない環境における70Bパラメーターモデルが大きなボトルネックとなることが判明した。本稿では,セキュアかつ効率的な協調LLM微調整のための分散フレームワークであるFLockを紹介する。ブロックチェーンベースの信頼層と経済的インセンティブを統合することで、FLockは、中央アグリゲータを、信頼できない関係者間の協力のためのセキュアで監査可能なプロトコルに置き換える。セキュアでマルチドメインな分散環境において,70B LLMの微調整を初めて行った経験的検証を行った。実験の結果,FLockフレームワークは,標準FLオプティマイザを侵害し,相乗的知識伝達を促進するバックドア毒殺攻撃を防御することがわかった。その結果、敵の攻撃成功率は68%に低下した。グローバルモデルはまた、より優れたクロスドメインの一般化を示し、独自の専門データで個別に訓練されたモデルよりも優れています。

関連論文リスト

Decentralized and Robust Privacy-Preserving Model Using Blockchain-Enabled Federated Deep Learning in Intelligent Enterprises [0.5461938536945723]
セキュアなブロックチェーンを実現するFederated Deep Learning ModelであるFedAnilを提案する。エンタープライズモデルの分散化、パフォーマンス、タンパの証明プロパティを改善します。 Sent140、FashionMNIST、FEMNIST、CIFAR10といった新しい実世界のデータセットを用いて大規模な実験を行った。
論文参考訳（メタデータ） (2025-02-18T15:17:25Z)
Enhancing Trust and Privacy in Distributed Networks: A Comprehensive Survey on Blockchain-based Federated Learning [51.13534069758711]
ブロックチェーンのような分散型アプローチは、複数のエンティティ間でコンセンサスメカニズムを実装することで、魅力的なソリューションを提供する。フェデレートラーニング(FL)は、参加者がデータのプライバシを保護しながら、協力的にモデルをトレーニングすることを可能にする。本稿では,ブロックチェーンのセキュリティ機能とFLのプライバシ保護モデルトレーニング機能の相乗効果について検討する。
論文参考訳（メタデータ） (2024-03-28T07:08:26Z)
Blockchain-enabled Trustworthy Federated Unlearning [50.01101423318312]
フェデレートアンラーニング(Federated Unlearning)は、分散クライアントのデータオーナシップを保護するための、有望なパラダイムである。既存の作業では、分散クライアントからの履歴モデルパラメータを保持するために、中央サーバが必要である。本稿では,ブロックチェーンによる信頼性の高いフェデレーションアンラーニングフレームワークを提案する。
論文参考訳（メタデータ） (2024-01-29T07:04:48Z)
Secure Decentralized Learning with Blockchain [13.795131629462798]
Federated Learning(FL)は、モバイルとIoTデバイスにおける分散機械学習のパラダイムとしてよく知られている。 FLにおける単一障害点問題を回避するため、分散学習(DFL)がモデル集約にピアツーピア通信を使用することが提案されている。
論文参考訳（メタデータ） (2023-10-10T23:45:17Z)
Defending Against Poisoning Attacks in Federated Learning with Blockchain [12.840821573271999]
ブロックチェーンと分散台帳技術に基づくセキュアで信頼性の高いフェデレーション学習システムを提案する。本システムでは,オンチェーン型スマートコントラクトを利用したピアツーピア投票機構と報酬アンドスラッシュ機構を組み込んで,悪意ある行動の検出と検出を行う。
論文参考訳（メタデータ） (2023-07-02T11:23:33Z)
FLock: Defending Malicious Behaviors in Federated Learning with Blockchain [3.0111384920731545]
Federated Learning(FL)は、複数のデータ所有者(クライアント)が協力して機械学習モデルをトレーニングできるようにする、有望な方法だ。ブロックチェーン上に構築されたセキュアで信頼性の高い分散型FLシステムであるFLockを実現するために,分散台帳技術(DLT)を利用することを提案する。
論文参考訳（メタデータ） (2022-11-05T06:14:44Z)
FLIP: A Provable Defense Framework for Backdoor Mitigation in Federated Learning [66.56240101249803]
我々は,クライアントの強固化がグローバルモデル(および悪意のあるクライアント)に与える影響について検討する。本稿では, 逆エンジニアリングによる防御手法を提案するとともに, 堅牢性を保証して, 改良を実現できることを示す。競合する8つのSOTA防御法について, 単発および連続のFLバックドア攻撃に対して, 提案手法の実証的優位性を示した。
論文参考訳（メタデータ） (2022-10-23T22:24:03Z)
DeFTA: A Plug-and-Play Decentralized Replacement for FedAvg [28.255536979484518]
我々は、FedAvgのプラグアンドプレイ代替として、分散フェデレート信頼平均化(DeFTA)を提案する。 DeFTAは、インストール後のフェデレーション学習プロセスに、より優れたセキュリティ、スケーラビリティ、フォールトトレランスを提供する。
論文参考訳（メタデータ） (2022-04-06T07:20:31Z)
CRFL: Certifiably Robust Federated Learning against Backdoor Attacks [59.61565692464579]
本稿では,第1の汎用フレームワークであるCertifiably Robust Federated Learning (CRFL) を用いて,バックドアに対する堅牢なFLモデルをトレーニングする。提案手法は, モデルパラメータのクリッピングと平滑化を利用して大域的モデル平滑化を制御する。
論文参考訳（メタデータ） (2021-06-15T16:50:54Z)
Blockchain Assisted Decentralized Federated Learning (BLADE-FL): Performance Analysis and Resource Allocation [119.19061102064497]
ブロックチェーンをFL、すなわちブロックチェーン支援分散学習(BLADE-FL)に統合することで、分散FLフレームワークを提案する。提案されたBLADE-FLのラウンドでは、各クライアントはトレーニング済みモデルを他のクライアントにブロードキャストし、受信したモデルに基づいてブロックを生成し、次のラウンドのローカルトレーニングの前に生成されたブロックからモデルを集約します。遅延クライアントがblade-flの学習性能に与える影響を調査し,最適なk,学習パラメータ,遅延クライアントの割合の関係を特徴付ける。
論文参考訳（メタデータ） (2021-01-18T07:19:08Z)
Blockchain Assisted Decentralized Federated Learning (BLADE-FL) with Lazy Clients [124.48732110742623]
フェデレートラーニング(FL)にブロックチェーンを統合する新しいフレームワークを提案する。 BLADE-FLは、プライバシー保護、改ざん抵抗、学習の効果的な協力の点で優れたパフォーマンスを持っている。遅延クライアントは、他人のトレーニングされたモデルを盗聴し、不正行為を隠すために人工的なノイズを加える。
論文参考訳（メタデータ） (2020-12-02T12:18:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。