論文の概要: Two-Bit Aggregation for Communication Efficient and Differentially Private Federated Learning

• arxiv url: http://arxiv.org/abs/2110.03017v1
• Date: Wed, 6 Oct 2021 19:03:58 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-08 15:57:45.406800
• Title: Two-Bit Aggregation for Communication Efficient and Differentially Private Federated Learning
• Title（参考訳）: コミュニケーション効率と個人差分学習のための2ビットアグリゲーション
• Authors: Mohammad Aghapour and Aidin Ferdowsi and Walid Saad
• Abstract要約: フェデレートラーニング(FL)では、機械学習モデルは、データをローカルに保ち、他のノードと共有しない状態で、複数のノードで分散的にトレーニングされる。 ノードからサーバに送信された情報は、各ノードのローカルデータの詳細を明らかにする可能性があるため、プライバシー上の懸念が生じる。 差分プライバシーを保証し、アップリンク通信オーバーヘッドを低減した2ビットアグリゲーションアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 79.66767935077925
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In federated learning (FL), a machine learning model is trained on multiple nodes in a decentralized manner, while keeping the data local and not shared with other nodes. However, FL requires the nodes to also send information on the model parameters to a central server for aggregation. However, the information sent from the nodes to the server may reveal some details about each node's local data, thus raising privacy concerns. Furthermore, the repetitive uplink transmission from the nodes to the server may result in a communication overhead and network congestion. To address these two challenges, in this paper, a novel two-bit aggregation algorithm is proposed with guaranteed differential privacy and reduced uplink communication overhead. Extensive experiments demonstrate that the proposed aggregation algorithm can achieve the same performance as state-of-the-art approaches on datasets such as MNIST, Fashion MNIST, CIFAR-10, and CIFAR-100, while ensuring differential privacy and improving communication efficiency.
• Abstract（参考訳）: フェデレートラーニング(FL)では、機械学習モデルは、データをローカルに保ち、他のノードと共有しない状態で、複数のノードで分散的にトレーニングされる。 しかし、flでは、集約のためにモデルパラメータに関する情報を中央サーバに送信する必要がある。 しかし、ノードからサーバに送信された情報は、各ノードのローカルデータの詳細を明らかにする可能性があるため、プライバシー上の懸念が生じる。 さらに、ノードからサーバへの繰り返しのアップリンク送信は、通信オーバーヘッドとネットワークの混雑をもたらす可能性がある。 この2つの課題に対処するために,差分プライバシーを保証し,アップリンク通信オーバーヘッドを低減した新しい2ビット集約アルゴリズムを提案する。 大規模な実験により,提案アルゴリズムはMNIST, Fashion MNIST, CIFAR-10, CIFAR-100といったデータセットに対する最先端のアプローチと同じ性能を達成でき, 差分プライバシーの確保と通信効率の向上を実現している。

関連論文リスト

• Privacy Preserving Semi-Decentralized Mean Estimation over Intermittently-Connected Networks [59.43433767253956]
  信頼できない無線ネットワークの異なるノードに分散するベクトルの平均をプライベートに推定する問題を考える。 半分散的なセットアップでは、ノードは隣人と協力してローカルコンセンサスを計算し、中央サーバにリレーする。 ノード間のデータ共有による協調中継とプライバシー漏洩のトレードオフについて検討する。
  論文  参考訳（メタデータ） (2024-06-06T06:12:15Z)
• Communication-Efficient Decentralized Federated Learning via One-Bit Compressive Sensing [52.402550431781805]
  分散連合学習(DFL)は、様々なアプリケーションにまたがる実用性によって人気を博している。 集中型バージョンと比較して、DFLの多数のノード間で共有モデルをトレーニングするのはより難しい。 我々は,iADM (iexact alternating direction method) の枠組みに基づく新しいアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-08-31T12:22:40Z)
• Distributed Learning over Networks with Graph-Attention-Based Personalization [49.90052709285814]
  分散ディープラーニングのためのグラフベースパーソナライズアルゴリズム(GATTA)を提案する。 特に、各エージェントのパーソナライズされたモデルは、グローバルな部分とノード固有の部分で構成される。 グラフ内の各エージェントを1つのノードとして扱うことにより、ノード固有のパラメータを特徴として扱うことにより、グラフアテンション機構の利点を継承することができる。
  論文  参考訳（メタデータ） (2023-05-22T13:48:30Z)
• Collaborative Mean Estimation over Intermittently Connected Networks with Peer-To-Peer Privacy [86.61829236732744]
  本研究は、断続接続を有するネットワーク上での分散平均推定(DME)の問題について考察する。 目標は、中央サーバの助けを借りて、分散ノード間でローカライズされたデータサンプルに関するグローバル統計を学習することだ。 ノード間のデータ共有による協調中継とプライバシー漏洩のトレードオフについて検討する。
  論文  参考訳（メタデータ） (2023-02-28T19:17:03Z)
• Communication-Efficient Federated Learning With Data and Client Heterogeneity [22.432529149142976]
  Federated Learning (FL)は、機械学習モデルの大規模分散トレーニングを可能にする。 FLを大規模に実行するには、本質的に実践的な課題が伴う。 従来のフェデレーション平均化(FedAvg)アルゴリズムの最初の変種を示す。
  論文  参考訳（メタデータ） (2022-06-20T22:39:39Z)
• DisPFL: Towards Communication-Efficient Personalized Federated Learning via Decentralized Sparse Training [84.81043932706375]
  本稿では,分散型(ピアツーピア)通信プロトコルであるDis-PFLにおいて,新たな個人化フェデレーション学習フレームワークを提案する。 Dis-PFLはパーソナライズされたスパースマスクを使用して、エッジ上のスパースローカルモデルをカスタマイズする。 本手法は,計算複雑性の異なる異種ローカルクライアントに容易に適応できることを実証する。
  論文  参考訳（メタデータ） (2022-06-01T02:20:57Z)
• Variational Co-embedding Learning for Attributed Network Clustering [30.7006907516984]
  属性ネットワーククラスタリングの最近の研究は、グラフ畳み込みを利用してノード埋め込みを取得し、同時に埋め込み空間上でクラスタリング割り当てを行う。 属性ネットワーククラスタリング(ANC)のための分散共埋め込み学習モデルを提案する。 ANCは、ノードと属性を同時に埋め込む2つの変分自動エンコーダで構成されている。
  論文  参考訳（メタデータ） (2021-04-15T08:11:47Z)
• Consensus Driven Learning [0.0]
  本稿では,信頼できないネットワーク上での非同期更新を用いて,ノードのネットワークがトレーニングを調整できる分散分散型学習手法を提案する。 これは、様々なノードを調整するために、分散平均コンセンサスアルゴリズムからインスピレーションを得て達成される。 この調整手法により,高度に偏りのあるデータセットや間欠的な通信障害の存在下でモデルを学習できることを示す。
  論文  参考訳（メタデータ） (2020-05-20T18:24:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。