論文の概要: Secure Federated Data Distillation

• arxiv url: http://arxiv.org/abs/2502.13728v1
• Date: Wed, 19 Feb 2025 13:54:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-20 14:00:37.471827
• Title: Secure Federated Data Distillation
• Title（参考訳）: 安全なフェデレーションデータ蒸留
• Authors: Marco Arazzi, Mert Cihangiroglu, Serena Nicolazzo, Antonino Nocera,
• Abstract要約: プライバシを保ちながら蒸留プロセスの分散化を図るためのセキュアフェデレーションデータ蒸留フレームワーク(SFDD)を提案する。 蒸留知識でグローバルモデルを訓練することに焦点を当てた既存のフェデレート蒸留技術とは異なり,本手法は局所的な貢献を示さずに蒸留データセットを作成することを目的としている。
• 参考スコア（独自算出の注目度）: 2.5311562666866494
• License:
• Abstract: Dataset Distillation (DD) is a powerful technique for reducing large datasets into compact, representative synthetic datasets, accelerating Machine Learning training. However, traditional DD methods operate in a centralized manner, which poses significant privacy threats and reduces its applicability. To mitigate these risks, we propose a Secure Federated Data Distillation framework (SFDD) to decentralize the distillation process while preserving privacy.Unlike existing Federated Distillation techniques that focus on training global models with distilled knowledge, our approach aims to produce a distilled dataset without exposing local contributions. We leverage the gradient-matching-based distillation method, adapting it for a distributed setting where clients contribute to the distillation process without sharing raw data. The central aggregator iteratively refines a synthetic dataset by integrating client-side updates while ensuring data confidentiality. To make our approach resilient to inference attacks perpetrated by the server that could exploit gradient updates to reconstruct private data, we create an optimized Local Differential Privacy approach, called LDPO-RLD (Label Differential Privacy Obfuscation via Randomized Linear Dispersion). Furthermore, we assess the framework's resilience against malicious clients executing backdoor attacks and demonstrate robustness under the assumption of a sufficient number of participating clients. Our experimental results demonstrate the effectiveness of SFDD and that the proposed defense concretely mitigates the identified vulnerabilities, with minimal impact on the performance of the distilled dataset. By addressing the interplay between privacy and federation in dataset distillation, this work advances the field of privacy-preserving Machine Learning making our SFDD framework a viable solution for sensitive data-sharing applications.
• Abstract（参考訳）: データセット蒸留(DD)は、大規模なデータセットをコンパクトで代表的な合成データセットに還元し、機械学習トレーニングを加速する強力な技術である。 しかし、従来のDDメソッドは集中的に動作し、プライバシーの脅威を生じさせ、適用性を低下させる。 これらのリスクを軽減するため、プライバシーを保ちながら蒸留プロセスの分散化を図るセキュアフェデレートデータ蒸留フレームワーク(SFDD)を提案する。 本研究では, クライアントが原データを共有することなく蒸留プロセスに寄与する分散環境に適応し, 勾配マッチングに基づく蒸留手法を活用する。 中央アグリゲータは、クライアント側の更新を統合することで、データの機密性を確保しながら、合成データセットを反復的に洗練する。 サーバが実行した推論攻撃に耐性を持たせるために, LDPO-RLD (Label Differential Privacy Obfuscation via Randomized Linear Dispersion) と呼ばれる, 最適化されたローカル微分プライバシアプローチを構築した。 さらに、バックドア攻撃を行う悪意のあるクライアントに対するフレームワークのレジリエンスを評価し、十分な数のクライアントを仮定して堅牢性を実証する。 実験の結果, SFDDの有効性を実証し, 提案した防衛は, 特定された脆弱性を具体的に軽減し, 蒸留したデータセットの性能に最小限の影響を及ぼすことを示した。 データセットの蒸留におけるプライバシとフェデレーションの相互作用に対処することにより、この作業はプライバシ保護機械学習の分野を前進させ、当社のSFDDフレームワークを機密データ共有アプリケーションのための実行可能なソリューションにします。

関連論文リスト

• Dark Distillation: Backdooring Distilled Datasets without Accessing Raw Data [48.69361050757504]
  攻撃者はデータセットの配布プロセスをインターセプトし、蒸留したデータセットにバックドアを注入し、ユーザーに再配布することができる。 蒸留されたデータセットは、以前はバックドア攻撃に耐性があると考えられていたが、そのような攻撃には弱いままであることを示す。 攻撃方法は効率が良く,特定のケースでは1分以内で悪意ある蒸留データセットを作成できる。
  論文  参考訳（メタデータ） (2025-02-06T17:14:17Z)
• Federated Instruction Tuning of LLMs with Domain Coverage Augmentation [87.49293964617128]
  Federated Domain-specific Instruction Tuning (FedDIT)は、限られたクロスクライアントなプライベートデータと、命令拡張のさまざまな戦略を利用する。 我々は,欲求のあるクライアントセンターの選択と検索に基づく拡張を通じて,ドメインカバレッジを最適化するFedDCAを提案する。 クライアント側の計算効率とシステムのスケーラビリティのために、FedDCAの変種であるFedDCA$*$はサーバ側の特徴アライメントを備えた異種エンコーダを利用する。
  論文  参考訳（メタデータ） (2024-09-30T09:34:31Z)
• FewFedPIT: Towards Privacy-preserving and Few-shot Federated Instruction Tuning [54.26614091429253]
  フェデレーション・インストラクション・チューニング(FedIT)は、複数のデータ所有者間で協調的なトレーニングを統合することで、有望なソリューションである。 FedITは、インストラクショナルデータの不足や、トレーニングデータ抽出攻撃への露出リスクなどの制限に直面している。 本稿では,FewFedPITを提案する。このFewFedPITは,フェデレートされた数ショット学習のプライバシー保護とモデル性能を同時に向上する。
  論文  参考訳（メタデータ） (2024-03-10T08:41:22Z)
• Logits Poisoning Attack in Federated Distillation [8.728629314547248]
  FDLA(Federated Distillation, FD)を応用した中毒予防法について紹介する。 LPAがクライアントモデルの精度を効果的に損なうことを実証し、この点において確立されたベースラインアルゴリズムよりも優れていることを示す。 以上の結果から,FD設定における堅牢な防御機構の必要性が示唆された。
  論文  参考訳（メタデータ） (2024-01-08T06:18:46Z)
• Client-side Gradient Inversion Against Federated Learning from Poisoning [59.74484221875662]
  フェデレートラーニング(FL)により、分散参加者は、データを中央サーバに直接共有することなく、グローバルモデルをトレーニングできる。 近年の研究では、FLは元のトレーニングサンプルの再構築を目的とした勾配反転攻撃(GIA)に弱いことが判明している。 本稿では,クライアント側から起動可能な新たな攻撃手法であるクライアント側中毒性グレーディエント・インバージョン(CGI)を提案する。
  論文  参考訳（メタデータ） (2023-09-14T03:48:27Z)
• PS-FedGAN: An Efficient Federated Learning Framework Based on Partially Shared Generative Adversarial Networks For Data Privacy [56.347786940414935]
  分散計算のための効果的な学習パラダイムとして、フェデレートラーニング(FL)が登場した。 本研究は,部分的なGANモデル共有のみを必要とする新しいFLフレームワークを提案する。 PS-FedGANと名付けられたこの新しいフレームワークは、異種データ分散に対処するためのGANリリースおよびトレーニングメカニズムを強化する。
  論文  参考訳（メタデータ） (2023-05-19T05:39:40Z)
• Active Membership Inference Attack under Local Differential Privacy in Federated Learning [18.017082794703555]
  フェデレートラーニング(FL)は元々、データプライバシ保護を備えたクライアント間での協調学習のフレームワークとして見なされていた。 本稿では,FLにおける不適切なサーバによって実行される新たなアクティブメンバシップ推論(AMI)攻撃を提案する。
  論文  参考訳（メタデータ） (2023-02-24T15:21:39Z)
• Federated Learning with Privacy-Preserving Ensemble Attention Distillation [63.39442596910485]
  Federated Learning(FL)は、多くのローカルノードがトレーニングデータを分散化しながら、中央モデルを協調的にトレーニングする機械学習パラダイムである。 本稿では,未ラベル公開データを利用した一方向オフライン知識蒸留のためのプライバシー保護FLフレームワークを提案する。 我々の技術は、既存のFLアプローチのような分散的で異質なローカルデータを使用するが、より重要なのは、プライバシー漏洩のリスクを著しく低減することです。
  論文  参考訳（メタデータ） (2022-10-16T06:44:46Z)
• Stochastic Coded Federated Learning with Convergence and Privacy Guarantees [8.2189389638822]
  フェデレートラーニング(FL)は、プライバシを保存する分散機械学習フレームワークとして多くの注目を集めている。 本稿では、トラグラー問題を緩和するために、SCFL(Coded Federated Learning)というコード付きフェデレーション学習フレームワークを提案する。 我々は、相互情報差分プライバシー(MI-DP)によるプライバシー保証を特徴付け、連合学習における収束性能を分析する。
  論文  参考訳（メタデータ） (2022-01-25T04:43:29Z)
• FedDTG:Federated Data-Free Knowledge Distillation via Three-Player Generative Adversarial Networks [4.1693122614074785]
  データフリー相互蒸留を実現するために,分散3プレーヤ生成適応ネットワーク(GAN)を導入する。 ベンチマークデータセットの可視化実験により,本手法は一般化の観点から,他のフェデレーション蒸留アルゴリズムよりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-01-10T05:26:33Z)
• SPEED: Secure, PrivatE, and Efficient Deep learning [2.283665431721732]
  私たちは、強力なプライバシー制約に対処できるディープラーニングフレームワークを導入します。 協調学習、差分プライバシー、同型暗号化に基づいて、提案手法は最先端技術に進化する。
  論文  参考訳（メタデータ） (2020-06-16T19:31:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。