論文の概要: Robust Decentralized Federated Distillation via Multi-Modality Knowledge Collaboration
- arxiv url: http://arxiv.org/abs/2609.07230v1
- Date: Mon, 07 Sep 2026 08:48:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.391625
- Title: Robust Decentralized Federated Distillation via Multi-Modality Knowledge Collaboration
- Title（参考訳）: マルチモーダル知識コラボレーションによるロバスト分散フェデレーション蒸留
- Abstract要約: 本研究では,異種モデルを持つクライアントが共有公開データ上での予測を通じて協調することのできる,頑健な分散化連邦蒸留法を提案する。
提案手法では,まず受信した予測を,クラス予測,境界決定,予測相関の3つのモードで評価する。
本手法は, クロスモダリティ融合後の蒸留勾配と個々のクライアントプライベート勾配の両方にバウンダリドビザンチンが与える影響を確実にすることを示す。
- 参考スコア（独自算出の注目度）: 13.638928692851726
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: This paper propose a robust decentralized federated distillation method that enables clients with heterogeneous models to collaborate through predictions on shared unlabeled public data. In the proposed method, each client first evaluates the received predictions in three modalities of class prediction, boundary decision, and prediction correlation. It then filters unreliable clients, assigns reliability-based weights to the retained clients, and constructs a teacher for each type of knowledge. Finally, the corresponding distillation gradients are validated using a supervised gradient computed from private data. Conflicting prediction and boundary gradients are removed, and conflicting relation gradients are suppressed before the final model update. We prove the convergence of the proposed method by showing stable local optimization for honest clients under Byzantine distillation. Particularly, we show that our method ensures a bounded Byzantine influence on both distillation gradients and individual client private gradients after cross-modality fusion, thereby enabling stable local optimization for honest clienunder Byzantine distillation. Extensive experiments on CIFAR-10 and CIFAR-100 demonstrate that the proposed method improves the prediction accuracy of heterogeneous models of clients under non-IID data and Byzantine attacks. As the booming demands of federated learning in decentralized environments such as edge computing and mission-oriented UAV collaborations, our method has a great potential for adoption of DFL in unreliable real-world scenarios where clients are exposed to receiver-specific Byzantine messages of malicious predictions.
- Abstract（参考訳）: 本稿では,不均質なモデルを持つクライアントが,共有されていない公開データの予測を通じて協調することのできる,頑健な分散化連邦蒸留法を提案する。
提案手法では,まず受信した予測を,クラス予測,境界決定,予測相関の3つのモードで評価する。
そして、信頼できないクライアントをフィルタリングし、信頼性に基づく重み付けを保持されたクライアントに割り当て、知識の種類ごとに教師を構築する。
最後に、民間データから算出した教師付き勾配を用いて、対応する蒸留勾配を検証する。
競合予測と境界勾配は除去され、最終モデル更新の前に競合関係勾配が抑制される。
ビザンチン蒸留法において, 誠実なクライアントに対して, 安定した局所最適化を示すことによって, 提案手法の収束を証明した。
特に,本手法は, クロスモダリティ融合後の蒸留勾配と個々のクライアントプライベート勾配の両方に有界なビザンチン効果を保証し, 誠実なビザンチン蒸留の局所最適化を可能にする。
CIFAR-10とCIFAR-100の大規模な実験により、提案手法は非IIDデータとビザンチン攻撃によるクライアントの不均一モデルの予測精度を向上させることを示した。
エッジコンピューティングやミッション指向のUAVコラボレーションといった分散環境におけるフェデレーション学習の需要が急増する中で,クライアントが悪意のある予測を受信者固有のビザンティンメッセージに晒されるような,信頼性の低い現実のシナリオにおいて,DFLを採用する可能性は非常に高い。
関連論文リスト
- Heterogeneity-Aware Personalized Federated Learning for Industrial Predictive Analytics [1.7774182430112113]
フェデレートされた予後は、各クライアントのデータをローカルかつ機密に保ちながら、クライアントが協調して障害時間予測モデルを開発することを可能にする。
本稿では, クライアントに不均一な劣化処理を施すよう設計した, パーソナライズド・フェデレーションの予測モデルを提案する。
提案手法は,モデルパーソナライゼーションを同時に達成し,データのプライバシを保護し,包括的な障害時間分布を提供することにより,既存のフェデレーション予測モデルの限界に対処する。
論文 参考訳（メタデータ） (2026-04-21T13:32:44Z) - Byzantine-Robust and Differentially Private Federated Optimization under Weaker Assumptions [89.52532304099522]
フェデレートラーニング(FL)は、クライアントが生データを集中せずに共有モデルを共同でトレーニングすることを可能にし、固有のプライバシーレベルを提供する。
グラデーションとモデル更新は機密情報を漏洩する可能性があるが、悪意のあるサーバはビザンティン操作のような敵攻撃をマウントする可能性がある。
これらの脆弱性は、統合されたフレームワーク内の差分プライバシー(DP)とビザンチンの堅牢性に対処する必要性を強調している。
Byz-Clip21-SGD2Mを提案する。
論文 参考訳（メタデータ） (2026-03-24T17:39:09Z) - FLARE: Adaptive Multi-Dimensional Reputation for Robust Client Reliability in Federated Learning [0.6524460254566904]
フェデレートラーニング(FL)は、データのプライバシを維持しながら協調的なモデルトレーニングを可能にする。
ビザンツの攻撃、データ中毒、あるいは適応的な敵行動を通じてモデルの完全性を侵害する悪意のあるクライアントには、依然として脆弱である。
FLAREは,クライアントの信頼性評価を二分決定から連続的多次元信頼評価に変換するアダプティブな評価ベースフレームワークである。
論文 参考訳（メタデータ） (2025-11-18T17:57:40Z) - Provably Reliable Conformal Prediction Sets in the Presence of Data Poisoning [53.42244686183879]
コンフォーマル予測は、モデルに依存しない、分布のない不確実性定量化を提供する。
しかし、敵が訓練データと校正データを操作した場合の毒殺攻撃では、共形予測は信頼性が低い。
信頼性予測セット (RPS): 汚染下での信頼性保証を証明可能な共形予測セットを構築するための最初の効率的な方法を提案する。
論文 参考訳（メタデータ） (2024-10-13T15:37:11Z) - FedCert: Federated Accuracy Certification [8.34167718121698]
フェデレートラーニング(FL)は、機械学習モデルを分散的にトレーニングするための強力なパラダイムとして登場した。
従来の研究では、認定精度に基づいて、集中訓練におけるモデルの有効性を評価してきた。
本研究では,FLシステムのロバスト性を評価するためのFedCertという手法を提案する。
論文 参考訳（メタデータ） (2024-10-04T01:19:09Z) - Certifiably Byzantine-Robust Federated Conformal Prediction [49.23374238798428]
本稿では,悪意のあるクライアントに対する堅牢な共形予測を行う新しいフレームワークRob-FCPを提案する。
我々は、さまざまなビザンチン攻撃の下で、悪意のあるクライアントの多様な割合に対するRob-FCPの堅牢性を実証的に実証した。
論文 参考訳（メタデータ） (2024-06-04T04:43:30Z) - FedImpro: Measuring and Improving Client Update in Federated Learning [77.68805026788836]
フェデレートラーニング(FL)モデルは、不均一なデータによって引き起こされるクライアントのドリフトを経験することが多い。
我々は、クライアントのドリフトに対する別の視点を示し、改善されたローカルモデルを生成することにより、それを緩和することを目指している。
論文 参考訳（メタデータ） (2024-02-10T18:14:57Z) - Byzantine Robustness and Partial Participation Can Be Achieved at Once: Just Clip Gradient Differences [61.74021364776313]
分散学習は、大規模な機械学習モデルをトレーニングするための主要なパラダイムとして登場した。
現実のシナリオでは、参加者は信頼できないか悪意があるかもしれない。
本稿では,クライアントサンプリングとビザンチン労働者への許容性を備えた最初の分散手法を提案する。
論文 参考訳（メタデータ） (2023-11-23T17:50:30Z) - Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。
FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文 参考訳（メタデータ） (2023-05-01T20:04:46Z) - Adaptive Federated Learning via New Entropy Approach [14.595709494370372]
Federated Learning (FL) は、分散機械学習フレームワークとして注目されている。
本稿では,不均一クライアント間のパラメータ偏差を軽減するために,entropy理論(FedEnt)に基づく適応型FEDerated Learningアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-03-27T07:57:04Z) - FedLAP-DP: Federated Learning by Sharing Differentially Private Loss Approximations [53.268801169075836]
我々は,フェデレーション学習のための新しいプライバシ保護手法であるFedLAP-DPを提案する。
公式なプライバシー分析は、FedLAP-DPが典型的な勾配共有方式と同じプライバシーコストを発生させることを示している。
提案手法は, 通常の勾配共有法に比べて高速な収束速度を示す。
論文 参考訳（メタデータ） (2023-02-02T12:56:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。