論文の概要: Constrained Differentially Private Federated Learning for Low-bandwidth Devices

• arxiv url: http://arxiv.org/abs/2103.00342v1
• Date: Sat, 27 Feb 2021 22:25:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-03 17:04:05.335907
• Title: Constrained Differentially Private Federated Learning for Low-bandwidth Devices
• Title（参考訳）: 低帯域デバイスのための制約付きプライベートフェデレーション学習
• Authors: Raouf Kerkouche and Gergely \'Acs and Claude Castelluccia and Pierre Genev\`es
• Abstract要約: 本稿では,新しいプライバシー保護型連合学習方式を提案する。 これは、差分プライバシーに基づく理論上のプライバシー保証を提供する。 上流と下流の帯域幅を標準のフェデレート学習と比較して最大99.9%削減する。
• 参考スコア（独自算出の注目度）: 1.1470070927586016
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning becomes a prominent approach when different entities want to learn collaboratively a common model without sharing their training data. However, Federated learning has two main drawbacks. First, it is quite bandwidth inefficient as it involves a lot of message exchanges between the aggregating server and the participating entities. This bandwidth and corresponding processing costs could be prohibitive if the participating entities are, for example, mobile devices. Furthermore, although federated learning improves privacy by not sharing data, recent attacks have shown that it still leaks information about the training data. This paper presents a novel privacy-preserving federated learning scheme. The proposed scheme provides theoretical privacy guarantees, as it is based on Differential Privacy. Furthermore, it optimizes the model accuracy by constraining the model learning phase on few selected weights. Finally, as shown experimentally, it reduces the upstream and downstream bandwidth by up to 99.9% compared to standard federated learning, making it practical for mobile systems.
• Abstract（参考訳）: 異なるエンティティがトレーニングデータを共有することなく、共通のモデルを共同で学習したい場合、フェデレーション学習は顕著なアプローチになります。 しかし、連合学習には2つの大きな欠点がある。 まず、集約サーバと関連するエンティティ間の多くのメッセージ交換を必要とするため、帯域幅は極めて非効率です。 この帯域幅と対応する処理コストは、参加者が例えばモバイルデバイスである場合、禁止される可能性がある。 さらに、フェデレートされた学習はデータを共有しないことでプライバシーを向上するが、最近の攻撃はトレーニングデータに関する情報をまだリークしていることを示している。 本稿では,新しいプライバシー保護型連合学習方式を提案する。 提案されたスキームは、差分プライバシーに基づく理論的プライバシー保証を提供します。 さらに,モデル学習フェーズを限られた重みで制限することにより,モデルの精度を最適化する。 最後に、実験的に示すように、標準のフェデレーション学習と比較して上流と下流の帯域幅を最大99.9%削減し、モバイルシステムに実用的である。

関連論文リスト

• Can Public Large Language Models Help Private Cross-device Federated Learning? [58.05449579773249]
  言語モデルのプライベート・フェデレーション・ラーニング(FL)について検討する。 公開データは、大小両方の言語モデルのプライバシーとユーティリティのトレードオフを改善するために使われてきた。 提案手法は,プライベートなデータ分布に近い公開データをサンプリングするための理論的基盤を持つ新しい分布マッチングアルゴリズムである。
  論文  参考訳（メタデータ） (2023-05-20T07:55:58Z)
• FedDBL: Communication and Data Efficient Federated Deep-Broad Learning for Histopathological Tissue Classification [65.7405397206767]
  本稿では,FedDBL(Federated Deep-Broad Learning)を提案する。 FedDBLは1ラウンドの通信と限られたトレーニングサンプルで競合相手をはるかに上回り、マルチラウンドの通信で同等のパフォーマンスを達成している。 異なるクライアント間でのデータやディープモデルを共有しないため、プライバシ問題は十分に解決されており、モデルのセキュリティはモデル反転攻撃のリスクなしに保証される。
  論文  参考訳（メタデータ） (2023-02-24T14:27:41Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Federated Zero-Shot Learning for Visual Recognition [55.65879596326147]
  本稿では,Federated Zero-Shot Learning FedZSLフレームワークを提案する。 FedZSLは、エッジデバイス上の分散データから中心的なモデルを学ぶ。 FedZSLの有効性と堅牢性は、3つのゼロショットベンチマークデータセットで実施された広範な実験によって実証された。
  論文  参考訳（メタデータ） (2022-09-05T14:49:34Z)
• Practical Vertical Federated Learning with Unsupervised Representation Learning [47.77625754666018]
  フェデレートされた学習は、複数のパーティが生データを共有せずに、機械学習モデルを協調的にトレーニングすることを可能にする。 我々はFedOnceという,一対一のコミュニケーションしか必要としない新しいコミュニケーション効率の縦型学習アルゴリズムを提案する。 私たちのプライバシー保護技術は、同じプライバシー予算の下で最先端のアプローチを著しく上回ります。
  論文  参考訳（メタデータ） (2022-08-13T08:41:32Z)
• Comparative assessment of federated and centralized machine learning [0.0]
  Federated Learning(FL)は、デバイス間でフェデレーションされたデータによってトレーニングが行われる、プライバシ保護機械学習スキームである。 本稿では,非IID分散データの性質から,フェデレーション学習に影響を及ぼす諸要因について論じる。 トレーニング対象のモデルサイズが合理的に大きくない場合には,フェデレーション学習がコスト面で有利であることを示す。
  論文  参考訳（メタデータ） (2022-02-03T11:20:47Z)
• Compression Boosts Differentially Private Federated Learning [0.7742297876120562]
  フェデレートされた学習により、分散エンティティは、自身のデータを共有することなく、共通のモデルを協調的にトレーニングできる。 悪意のあるエンティティが、捕獲された勾配から参加者のトレーニングデータに関するプライベート情報を学ぶことができるような、さまざまな推論や再構築攻撃に対して脆弱なままである。 本稿では,2つのデータセットを用いて,従来の非私的フェデレート学習方式と比較して,通信コストを最大95%削減できることを示す。
  論文  参考訳（メタデータ） (2020-11-10T13:11:03Z)
• Federated Learning in Adversarial Settings [0.8701566919381224]
  フェデレートされた学習スキームは、堅牢性、プライバシ、帯域幅効率、モデルの精度の異なるトレードオフを提供します。 この拡張は、厳格なプライバシー要件があっても、プライベートではないがロバストなスキームと同じくらい効率的に機能することを示す。 これは差別化プライバシとロバストネスの基本的なトレードオフの可能性を示している。
  論文  参考訳（メタデータ） (2020-10-15T14:57:02Z)
• WAFFLe: Weight Anonymized Factorization for Federated Learning [88.44939168851721]
  データが機密性やプライベート性を持つドメインでは、ローカルデバイスを離れることなく、分散的に学習できるメソッドには大きな価値があります。 本稿では,フェデレートラーニングのためのウェイト匿名化因子化(WAFFLe)を提案する。これは,インド・バフェット・プロセスとニューラルネットワークの重み要因の共有辞書を組み合わせたアプローチである。
  論文  参考訳（メタデータ） (2020-08-13T04:26:31Z)
• Concentrated Differentially Private and Utility Preserving Federated Learning [24.239992194656164]
  フェデレーション・ラーニング(Federated Learning)とは、エッジデバイスのセットが、中央サーバのオーケストレーションの下でモデルを協調的にトレーニングする、機械学習環境である。 本稿では,モデルユーティリティの劣化を伴わずに,プライバシ問題に対処するフェデレーション学習手法を開発する。 このアプローチのエンドツーエンドのプライバシ保証を厳格に提供し、理論的収束率を分析します。
  論文  参考訳（メタデータ） (2020-03-30T19:20:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。