論文の概要: FedMPDD: Communication-Efficient Federated Learning with Privacy Preservation Attributes via Projected Directional Derivative

• arxiv url: http://arxiv.org/abs/2512.20814v1
• Date: Tue, 23 Dec 2025 22:25:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-25 19:43:21.619238
• Title: FedMPDD: Communication-Efficient Federated Learning with Privacy Preservation Attributes via Projected Directional Derivative
• Title（参考訳）: FedMPDD: 予測方向導出によるプライバシー保護属性によるコミュニケーション効率の良いフェデレーションラーニング
• Authors: Mohammadreza Rostami, Solmaz S. Kia,
• Abstract要約: textttFedMPDD (textbfFederated Learning via textbfMulti-textbfProjected textbfDirectional textbfDerivatives) textttFedMPDDは、各クライアントの高次元勾配を、複数のランダムベクトルに沿って方向微分を計算することによってエンコードする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper introduces \texttt{FedMPDD} (\textbf{Fed}erated Learning via \textbf{M}ulti-\textbf{P}rojected \textbf{D}irectional \textbf{D}erivatives), a novel algorithm that simultaneously optimizes bandwidth utilization and enhances privacy in Federated Learning. The core idea of \texttt{FedMPDD} is to encode each client's high-dimensional gradient by computing its directional derivatives along multiple random vectors. This compresses the gradient into a much smaller message, significantly reducing uplink communication costs from $\mathcal{O}(d)$ to $\mathcal{O}(m)$, where $m \ll d$. The server then decodes the aggregated information by projecting it back onto the same random vectors. Our key insight is that averaging multiple projections overcomes the dimension-dependent convergence limitations of a single projection. We provide a rigorous theoretical analysis, establishing that \texttt{FedMPDD} converges at a rate of $\mathcal{O}(1/\sqrt{K})$, matching the performance of FedSGD. Furthermore, we demonstrate that our method provides some inherent privacy against gradient inversion attacks due to the geometric properties of low-rank projections, offering a tunable privacy-utility trade-off controlled by the number of projections. Extensive experiments on benchmark datasets validate our theory and demonstrates our results.
• Abstract（参考訳）: 本稿では,帯域幅利用を同時に最適化し,フェデレート学習におけるプライバシーを高める新しいアルゴリズムである \textbf{FedMPDD} (\textbf{Fed}erated Learning via \textbf{M}ulti-\textbf{P}rojected \textbf{D}irectional \textbf{D}erivatives)を紹介する。 texttt{FedMPDD} の中核となる考え方は、各クライアントの高次元勾配を、複数のランダムベクトルに沿ってその方向微分を計算することによってエンコードすることである。 これにより、勾配をはるかに小さなメッセージに圧縮し、アップリンク通信コストを$\mathcal{O}(d)$から$\mathcal{O}(m)$に大幅に削減する。 サーバは、集約された情報を同じランダムなベクトルに投影することでデコードする。 我々の重要な洞察は、複数の射影の平均化は、単一の射影の次元依存収束限界を克服するということである。 We provide a rigorous theory analysis, established that \texttt{FedMPDD} with a rate of $\mathcal{O}(1/\sqrt{K})$, with the performance of FedSGD。 さらに,提案手法は,低ランク投影の幾何学的性質による勾配反転攻撃に対して固有のプライバシーを提供し,予測数によって制御される調整可能なプライバシ・ユーティリティ・トレードオフを提供することを示した。 ベンチマークデータセットの大規模な実験は、我々の理論を検証し、その結果を実証する。

関連論文リスト

• DP-CSGP: Differentially Private Stochastic Gradient Push with Compressed Communication [71.60998478544028]
  本稿では,分散学習グラフのための圧縮通信(termedfrac-CSGP)を用いた差分的プライベート・グラディエント・プッシュを提案する。 一般の非数学的かつ滑らかな目的関数に対して,本アルゴリズムは高精度かつ効率的な通信を実現するために設計されていることを示す。
  論文  参考訳（メタデータ） (2025-12-15T17:37:02Z)
• Provable FDR Control for Deep Feature Selection: Deep MLPs and Beyond [0.0]
  深層ニューラルネットワークに基づくフレキシブルな特徴選択フレームワークを開発し,FDR(False discovery rate)を概ね制御する。 勾配に基づく特徴ベクトルの各座標は、限界正規近似を許容し、FDR制御の有効性を支持することを示す。
  論文  参考訳（メタデータ） (2025-12-04T11:46:06Z)
• Communication Efficient, Differentially Private Distributed Optimization using Correlation-Aware Sketching [17.117393709226903]
  各クライアントはラウンド毎に$d$Dの勾配を送信し、DPノイズの大きさは$d$で増加する。 DOMEは分散化されたDP最適化フレームワークで、各クライアントは、プライベート化とセキュアアグリゲーションの前に、プロジェクトグラデーションを$mathbbRk$に拡張するためのコンパクトなスケッチを維持できる。 これにより、ラウンドごとの通信が$d$から$k$に減少し、勾配近似の平均2乗誤差が$sigma2 k$になる。
  論文  参考訳（メタデータ） (2025-07-04T12:54:21Z)
• Simple yet Effective Semi-supervised Knowledge Distillation from Vision-Language Models via Dual-Head Optimization [47.38380084735716]
  大規模な画像テキストペアで事前訓練された視覚教師付きモデル(VLM)は、顕著なゼロ/フェーショット性能を示した。 知識蒸留(KD)は、VLM能力を伝達するための自然な枠組みを提供するが、監督と蒸留の損失の間の勾配の衝突に悩まされる。 本稿では,異なる信号に対して2つの予測ヘッドを導入するDual-Head Optimization (DHO)を提案する。
  論文  参考訳（メタデータ） (2025-05-12T15:39:51Z)
• Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
  分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。 非滑らかな正規化はしばしば機械学習タスクに組み込まれる。 本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-17T08:32:25Z)
• Smoothed Normalization for Efficient Distributed Private Optimization [54.197255548244705]
  フェデレートされた学習は、参加者のプライバシを備えた機械学習モデルを可能にする。 トレーニングやフィードバックのない問題に対して、差分にプライベートな分散手法は存在しない。 証明可能な収束保証付き分散アルゴリズム$alpha$-$sf NormEC$を導入する。
  論文  参考訳（メタデータ） (2025-02-19T07:10:32Z)
• Self-Supervised Scalable Deep Compressed Sensing [24.854496459622787]
  圧縮センシングはサンプリングコストを削減するための有望なツールである。 現在のディープニューラルネットワーク(NN)ベースのCS手法は、ラベル付き測定地上真実(GT)データ収集の課題に直面している。 本稿では,新しい$mathbfS$elf-supervised s$mathbfC$alable Deep CS法を提案する。
  論文  参考訳（メタデータ） (2023-08-26T06:03:06Z)
• Communication-Efficient Adam-Type Algorithms for Distributed Data Mining [93.50424502011626]
  我々はスケッチを利用した新しい分散Adam型アルゴリズムのクラス(例:SketchedAMSGrad)を提案する。 我々の新しいアルゴリズムは、反復毎に$O(frac1sqrtnT + frac1(k/d)2 T)$の高速収束率を$O(k log(d))$の通信コストで達成する。
  論文  参考訳（メタデータ） (2022-10-14T01:42:05Z)
• DP-NormFedAvg: Normalizing Client Updates for Privacy-Preserving Federated Learning [48.064786028195506]
  我々は,クライアントに対して,大局的な情報の観点から,テキスト単位のみを定量化したバージョンを送信させることを提案する。 また、単位ノルムの新しい微分プライベート量子化機構であるQTDLを導入する。
  論文  参考訳（メタデータ） (2021-06-13T21:23:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。