Fugu-MT 論文翻訳(概要): DPZV: Resource Efficient ZO Optimization For Differentially Private VFL

論文の概要: DPZV: Resource Efficient ZO Optimization For Differentially Private VFL

arxiv url: http://arxiv.org/abs/2502.20565v1
Date: Thu, 27 Feb 2025 22:07:16 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-03 13:44:03.323336
Title: DPZV: Resource Efficient ZO Optimization For Differentially Private VFL
Title（参考訳）: DPZV: 異なるプライベートなVFLのためのリソース効率の良いZO最適化
Authors: Jianing Zhang, Evan Chen, Chaoyue Liu, Christopher G. Brinton,
Abstract要約: Vertical Federated Learning (VFL)は、機能分割されたデータ間で協調的なモデル計算を可能にするが、大規模モデルへのスケーリングではプライバシのリスクに直面する。差分プライバシーを統合するメモリゼロ効率(DP)フレームワークであるDPZVを提案する。本フレームワークは,2点推定によるバックパゲーションを排除し,クライアントメモリ使用率を1次推定に比べて90%削減する。
参考スコア（独自算出の注目度）: 9.302691218735406
License:
Abstract: Vertical Federated Learning (VFL) enables collaborative model training across feature-partitioned data, yet faces significant privacy risks and inefficiencies when scaling to large models. We propose DPZV, a memory-efficient Zeroth-Order(ZO) optimization framework that integrates differential privacy (DP) with vertical federated learning, addressing three critical challenges: (1) privacy vulnerabilities from gradient leakage, (2) high computation/communication costs of first-order methods, and (3) excessive memory footprint in conventional zeroth-order approaches. Our framework eliminates backpropagation through two-point gradient estimation, reducing client memory usage by 90\% compared to first-order counterparts while enabling asynchronous communication. By strategically injecting Gaussian noise on the server, DPZV achieves rigorous $(\epsilon, \delta)$-DP guarantees without third-party trust assumptions. Theoretical analysis establishes a convergence rate matching centralized case under non-convex objectives. Extensive experiments on image and NLP benchmarks demonstrate that DPZV outperforms all baselines in accuracy while providing strong privacy assurances ($\epsilon \leq 10$) and requiring far fewer computation resources, establishing new state-of-the-art privacy-utility tradeoffs for resource-constrained VFL deployments.
Abstract（参考訳）: Vertical Federated Learning (VFL)は、機能分割されたデータ間で協調的なモデルトレーニングを可能にするが、大規模なモデルにスケールする際の大きなプライバシーリスクと非効率に直面している。本稿では,(1)勾配リークによるプライバシーの脆弱性,(2)一階法における高い計算・通信コスト,(3)従来のゼロ階法における過剰メモリフットプリントの3つの重要な課題に対処する,メモリ効率のよいゼロ階最適化フレームワークであるDPZVを提案する。本フレームワークでは,2点勾配推定によるバックプロパゲーションを排除し,クライアントメモリ使用率を1次よりも90%削減し,非同期通信を実現する。サーバにガウスノイズを戦略的に注入することにより、DPZVはサードパーティの信頼前提なしで厳格な$(\epsilon, \delta)$-DP保証を達成する。理論的解析は、非凸目的の下で集中的なケースに一致する収束速度を確立する。画像とNLPベンチマークに関する大規模な実験は、DPZVが強力なプライバシ保証($\epsilon \leq 10$)を提供しながら、すべてのベースラインを正確性で上回ることを示した。

関連論文リスト

Linear-Time User-Level DP-SCO via Robust Statistics [55.350093142673316]
ユーザレベルの差分プライベート凸最適化(DP-SCO)は、マシンラーニングアプリケーションにおけるユーザのプライバシ保護の重要性から、大きな注目を集めている。微分プライベート勾配勾配(DP-SGD)に基づくような現在の手法は、しばしば高雑音蓄積と準最適利用に苦しむ。これらの課題を克服するために、ロバストな統計、特に中央値とトリミング平均を利用する新しい線形時間アルゴリズムを導入する。
論文参考訳（メタデータ） (2025-02-13T02:05:45Z)
Providing Differential Privacy for Federated Learning Over Wireless: A Cross-layer Framework [19.381425127772054]
Federated Learning(FL)は、エッジデバイスがローカルなトレーニングデータを維持することができる分散機械学習フレームワークである。本稿では,分散化された動的電力制御により差分プライバシ(DP)を改善するOTA-FLの無線物理層(PHY)設計を提案する。この適応は、異なる学習アルゴリズム間で設計の柔軟性と有効性を示しながら、プライバシに強く重点を置いています。
論文参考訳（メタデータ） (2024-12-05T18:27:09Z)
Share Your Secrets for Privacy! Confidential Forecasting with Vertical Federated Learning [5.584904689846748]
製造業における主な課題は、データプライバシと、小さくノイズの多いデータセットへの過度な適合である。本稿では、以下の重要な特徴を示す新しいフレームワークである「VFLによる秘かに共有された時系列予測」を提案する。以上の結果から,STVの予測精度は集中型手法に匹敵することがわかった。
論文参考訳（メタデータ） (2024-05-31T12:27:38Z)
TernaryVote: Differentially Private, Communication Efficient, and Byzantine Resilient Distributed Optimization on Heterogeneous Data [50.797729676285876]
本稿では, 3次圧縮機と多数決機構を組み合わせて, 差分プライバシー, 勾配圧縮, ビザンチンレジリエンスを同時に実現するternaryVoteを提案する。提案アルゴリズムのF差分プライバシー(DP)とビザンチンレジリエンスのレンズによるプライバシー保証を理論的に定量化する。
論文参考訳（メタデータ） (2024-02-16T16:41:14Z)
Binary Federated Learning with Client-Level Differential Privacy [7.854806519515342]
フェデレートラーニング(Federated Learning、FL)は、プライバシ保護のための協調学習フレームワークである。既存のFLシステムはトレーニングアルゴリズムとしてフェデレーション平均(FedAvg)を採用するのが一般的である。差分プライバシーを保証する通信効率のよいFLトレーニングアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-08-07T06:07:04Z)
sqSGD: Locally Private and Communication Efficient Federated Learning [14.60645909629309]
Federated Learning(FL)は、分散データソースから機械学習モデルをトレーニングするテクニックである。我々は,通信効率と高次元互換性に対処するsqSGDという勾配学習アルゴリズムを開発した。実験の結果、sqSGDはローカルのプライバシー制約でLeNetやResNetのような大規模なモデルをうまく学習している。
論文参考訳（メタデータ） (2022-06-21T17:45:35Z)
Decentralized Stochastic Optimization with Inherent Privacy Protection [103.62463469366557]
分散最適化は、現代の協調機械学習、分散推定と制御、大規模センシングの基本的な構成要素である。データが関与して以降、分散最適化アルゴリズムの実装において、プライバシ保護がますます重要になっている。
論文参考訳（メタデータ） (2022-05-08T14:38:23Z)
Desirable Companion for Vertical Federated Learning: New Zeroth-Order Gradient Based Algorithm [140.25480610981504]
VFLアルゴリズムを評価するための指標の完全なリストには、モデル適用性、プライバシ、通信、計算効率が含まれるべきである。ブラックボックスのスケーラビリティを備えた新しいVFLフレームワークを提案する。
論文参考訳（メタデータ） (2022-03-19T13:55:47Z)
Secure Bilevel Asynchronous Vertical Federated Learning with Backward Updating [159.48259714642447]
垂直拡張学習(VFL)は、多人数協調モデリングの要求とプライバシー漏洩の懸念により、注目を集めている。我々は,vf$b2$を含む3つの新しいアルゴリズムを提案する新しいbftextlevel parallel architecture (vf$bfb2$)を提案する。
論文参考訳（メタデータ） (2021-03-01T12:34:53Z)
Federated Learning with Sparsification-Amplified Privacy and Adaptive Optimization [27.243322019117144]
フェデレートラーニング(FL)により、分散エージェントは、生データを互いに共有することなく、集中型モデルを共同で学習することができる。スパーシフィケーションを増幅した新しいFLフレームワークを提案する。提案手法では,ランダムなスペーシフィケーションと各エージェントの勾配摂動を統合し,プライバシー保証を増幅する。
論文参考訳（メタデータ） (2020-08-01T20:22:57Z)
User-Level Privacy-Preserving Federated Learning: Analysis and Performance Optimization [77.43075255745389]
フェデレートラーニング(FL)は、データを有用なモデルにトレーニングしながら、モバイル端末(MT)からプライベートデータを保存することができる。情報理論の観点からは、MTがアップロードした共有モデルから、好奇心の強いサーバがプライベートな情報を推測することが可能である。サーバにアップロードする前に、共有モデルに人工ノイズを加えることで、ユーザレベルの差分プライバシー(UDP)アルゴリズムを提案する。
論文参考訳（メタデータ） (2020-02-29T10:13:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。