論文の概要: Unified Privacy Guarantees for Decentralized Learning via Matrix Factorization

• arxiv url: http://arxiv.org/abs/2510.17480v1
• Date: Mon, 20 Oct 2025 12:24:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 00:56:39.448454
• Title: Unified Privacy Guarantees for Decentralized Learning via Matrix Factorization
• Title（参考訳）: 行列分解による分散学習のための統一プライバシ保証
• Authors: Aurélien Bellet, Edwige Cyffers, Davide Frey, Romaric Gaudel, Dimitri Lerévérend, François Taïani,
• Abstract要約: 分散学習(DL)では、ネットワークグラフ内の隣人とのローカルアップデートを平均化することにより、生データを共有せずにモデルを協調的にトレーニングすることができる。 DLの強いプライバシー保証は、通常、差分プライバシー(DP)を通じて達成される。 しかし、実際には、観測されたプライバシーユーティリティのトレードオフは、DLの現在のDP会計方法に制限があるため、集中的なトレーニングよりも悪く見えることが多い。
• 参考スコア（独自算出の注目度）: 18.709549777027224
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Decentralized Learning (DL) enables users to collaboratively train models without sharing raw data by iteratively averaging local updates with neighbors in a network graph. This setting is increasingly popular for its scalability and its ability to keep data local under user control. Strong privacy guarantees in DL are typically achieved through Differential Privacy (DP), with results showing that DL can even amplify privacy by disseminating noise across peer-to-peer communications. Yet in practice, the observed privacy-utility trade-off often appears worse than in centralized training, which may be due to limitations in current DP accounting methods for DL. In this paper, we show that recent advances in centralized DP accounting based on Matrix Factorization (MF) for analyzing temporal noise correlations can also be leveraged in DL. By generalizing existing MF results, we show how to cast both standard DL algorithms and common trust models into a unified formulation. This yields tighter privacy accounting for existing DP-DL algorithms and provides a principled way to develop new ones. To demonstrate the approach, we introduce MAFALDA-SGD, a gossip-based DL algorithm with user-level correlated noise that outperforms existing methods on synthetic and real-world graphs.
• Abstract（参考訳）: 分散学習(DL)では、ネットワークグラフ内の隣人とのローカルアップデートを反復的に平均化することにより、生データを共有せずにモデルを協調的にトレーニングすることができる。 この設定は、スケーラビリティと、ユーザーコントロール下でデータをローカルに保つ能力で、ますます人気を博している。 DLの強いプライバシー保証は、通常、差分プライバシー(DP)を通じて達成される。 しかし、実際には、観測されたプライバシーユーティリティのトレードオフは、DLの現在のDP会計方法に制限があるため、集中的なトレーニングよりも悪く見えることが多い。 本稿では,時間的雑音相関を解析するための行列因子化(MF)に基づく集中型DP会計の最近の進歩もDLで活用できることを示す。 既存のMF結果を一般化することにより、標準DLアルゴリズムと共通信頼モデルの両方を統一的な定式化にする方法を示す。 これにより、既存のDP-DLアルゴリズムのより厳密なプライバシ会計が得られ、新しいものを開発するための原則的な方法が提供される。 提案手法を実証するために,既存の合成グラフや実世界のグラフよりも優れたユーザレベルの相関ノイズを持つゴシップ型DLアルゴリズムであるMAFALDA-SGDを導入する。

関連論文リスト

• Federated Learning with Differential Privacy: An Utility-Enhanced Approach [12.614480013684759]
  フェデレーション学習は、クライアントのデータを共有する必要性をなくすことによって、データのプライバシを保護するための魅力的なアプローチとして現れている。 最近の研究では、フェデレートされた学習だけではプライバシーが保証されないことが示されている。 本稿では,これらのバニラ微分プライベートアルゴリズムを,ハールウェーブレット変換ステップとノイズの分散を著しく低減する新しいノイズ注入方式に基づいて修正する。
  論文  参考訳（メタデータ） (2025-03-27T04:48:29Z)
• Bridging and Modeling Correlations in Pairwise Data for Direct Preference Optimization [75.1240295759264]
  本稿では,BMC という名前のペアデータにおけるブリッジ・アンド・モデリングの効果的なフレームワークを提案する。 目的の修正によって、ペアの選好信号の一貫性と情報性が向上する。 DPOだけではこれらの相関をモデル化し、ニュアンス付き変動を捉えるには不十分である。
  論文  参考訳（メタデータ） (2024-08-14T11:29:47Z)
• Noisy Neighbors: Efficient membership inference attacks against LLMs [2.666596421430287]
  本稿では,組込み空間に雑音を付加することにより,対象試料のテクストノイズを発生させる効率的な手法を提案する。 提案手法はシャドウモデルの有効性と密に一致し,実際のプライバシー監査シナリオにおけるユーザビリティを示す。
  論文  参考訳（メタデータ） (2024-06-24T12:02:20Z)
• Differentially Private Clustered Federated Learning [4.768272342753616]
  フェデレートラーニング(FL)は、厳格なデータプライバシ保証を提供するために、しばしば差分プライバシ(DP)を取り入れる。 以前の研究は、クラスタリングクライアント(クラスタ化FL)を介してバニラFL設定における高構造データ不均一性に対処しようとした。 システム内のDPノイズに対して頑健で,基盤となるクライアントのクラスタを正しく識別する,差分プライベートクラスタリングFLのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-05-29T17:03:31Z)
• Balancing Privacy and Performance for Private Federated Learning Algorithms [4.681076651230371]
  Federated Learning(FL)は、複数のクライアントがプライベートデータを公開せずにモデルをトレーニングする分散機械学習フレームワークである。 FLアルゴリズムは、共有前に各クライアントのモデル更新にノイズを導入する差分プライバシーメカニズムを頻繁に採用する。 ローカルステップの数と通信ラウンドの間に最適なバランスがあることを示し、プライバシー予算内での収束性能を最大化する。
  論文  参考訳（メタデータ） (2023-04-11T10:42:11Z)
• FedLAP-DP: Federated Learning by Sharing Differentially Private Loss Approximations [53.268801169075836]
  我々は,フェデレーション学習のための新しいプライバシ保護手法であるFedLAP-DPを提案する。 公式なプライバシー分析は、FedLAP-DPが典型的な勾配共有方式と同じプライバシーコストを発生させることを示している。 提案手法は, 通常の勾配共有法に比べて高速な収束速度を示す。
  論文  参考訳（メタデータ） (2023-02-02T12:56:46Z)
• Representation Learning for High-Dimensional Data Collection under Local Differential Privacy [18.98782927283319]
  ローカルディファレンシャルプライバシ(LDP)は、プライバシを保護するための厳格なアプローチを提供する。 既存のLPP機構は低次元データに適用されている。 高次元において、プライバシを誘発するノイズは、データの有用性を大きく損なう。
  論文  参考訳（メタデータ） (2020-10-23T15:01:19Z)
• User-Level Privacy-Preserving Federated Learning: Analysis and Performance Optimization [77.43075255745389]
  フェデレートラーニング(FL)は、データを有用なモデルにトレーニングしながら、モバイル端末(MT)からプライベートデータを保存することができる。 情報理論の観点からは、MTがアップロードした共有モデルから、好奇心の強いサーバがプライベートな情報を推測することが可能である。 サーバにアップロードする前に、共有モデルに人工ノイズを加えることで、ユーザレベルの差分プライバシー(UDP)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-29T10:13:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。