論文の概要: DP-FEDSOFIM: Differentially Private Federated Stochastic Optimization using Regularized Fisher Information Matrix

• arxiv url: http://arxiv.org/abs/2601.09166v1
• Date: Wed, 14 Jan 2026 05:11:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-15 18:59:20.275776
• Title: DP-FEDSOFIM: Differentially Private Federated Stochastic Optimization using Regularized Fisher Information Matrix
• Title（参考訳）: DP-FEDSOFIM:正則化漁業情報行列を用いた微分プライベート・フェデレート確率最適化
• Authors: Sidhant R. Nair, Tanmay Sen, Mrinmay Sen,
• Abstract要約: DP-FLは、プライバシーを守るために導入された圧倒的なノイズのために、厳格なプライバシー予算の下で緩やかな収束に苦しむ。 本稿では,サーバサイドの2次最適化フレームワークであるDP-FedSOFIMを提案する。 分析の結果,サーバサイドのプレコンディショニングは後処理定理によって(エプシロン,デルタ)差分プライバシーを保っていることが明らかとなった。
• 参考スコア（独自算出の注目度）: 0.0611737116137921
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differentially private federated learning (DP-FL) suffers from slow convergence under tight privacy budgets due to the overwhelming noise introduced to preserve privacy. While adaptive optimizers can accelerate convergence, existing second-order methods such as DP-FedNew require O(d^2) memory at each client to maintain local feature covariance matrices, making them impractical for high-dimensional models. We propose DP-FedSOFIM, a server-side second-order optimization framework that leverages the Fisher Information Matrix (FIM) as a natural gradient preconditioner while requiring only O(d) memory per client. By employing the Sherman-Morrison formula for efficient matrix inversion, DP-FedSOFIM achieves O(d) computational complexity per round while maintaining the convergence benefits of second-order methods. Our analysis proves that the server-side preconditioning preserves (epsilon, delta)-differential privacy through the post-processing theorem. Empirical evaluation on CIFAR-10 demonstrates that DP-FedSOFIM achieves superior test accuracy compared to first-order baselines across multiple privacy regimes.
• Abstract（参考訳）: DP-FLは、プライバシーを守るために導入された圧倒的なノイズのために、厳格なプライバシー予算の下で緩やかな収束に苦しむ。 適応オプティマイザは収束を加速できるが、DP-FedNewのような既存の2階法では各クライアントにO(d^2)メモリが必要であり、局所的な特徴共分散行列を維持でき、高次元モデルでは実用的ではない。 本稿では,サーバサイドの2次最適化フレームワークであるDP-FedSOFIMを提案する。 効率的な行列逆転のためにシャーマン・モリソンの公式を用いることで、DP-FedSOFIMは2次法の収束利益を維持しながら、ラウンド当たりのO(d)計算複雑性を達成できる。 分析の結果,サーバサイドのプレコンディショニングは後処理定理によって(エプシロン,デルタ)差分プライバシーを保っていることがわかった。 CIFAR-10の実証評価は、DP-FedSOFIMが複数のプライバシー体制における1次ベースラインよりも優れたテスト精度を達成することを示す。

関連論文リスト

• DP-MicroAdam: Private and Frugal Algorithm for Training and Fine-tuning [7.445350484328613]
  適応性は非プライベートなトレーニングにおける事実上の標準であり、より高速な収束とパフォーマンスの向上を可能にする。 対照的に、差分プライベートトレーニングは依然としてDP-SGD(典型的にはDP-SGD)で行われている。
  論文  参考訳（メタデータ） (2025-11-25T17:17:48Z)
• FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [68.44043212834204]
  Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。 Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
  論文  参考訳（メタデータ） (2025-05-19T07:32:56Z)
• Double Momentum and Error Feedback for Clipping with Fast Rates and Differential Privacy [11.356444450240799]
  既存のアルゴリズムは、強い微分プライバシー(DP)と最適化の保証を一度に達成しない。 クリッピング,重球運動量,誤差フィードバックを組み合わせたClip21-SGD2Mを提案する。
  論文  参考訳（メタデータ） (2025-02-17T11:16:21Z)
• DiSK: Differentially Private Optimizer with Simplified Kalman Filter for Noise Reduction [57.83978915843095]
  本稿では,微分プライベート勾配の性能を著しく向上する新しいフレームワークであるDiSKを紹介する。 大規模トレーニングの実用性を確保するため,Kalmanフィルタプロセスを簡素化し,メモリと計算要求を最小化する。
  論文  参考訳（メタデータ） (2024-10-04T19:30:39Z)
• AdaFisher: Adaptive Second Order Optimization via Fisher Information [22.851200800265914]
  第一次最適化法は、現在、深層ニューラルネットワーク(DNN)のトレーニングにおいて主流となっている。Adamのような企業は、トレーニング中に勾配の行列プレコンディショニングを利用することで、限られた曲率情報を取り入れている。 広範に使われている2階最適化アルゴリズムは、AdamやSGDのような一階最適化アルゴリズムよりも優れた収束特性を示す。 本稿では,適応勾配プレコンディショニングのためのフィッシャー情報行列の角角ブロッククロネッカー近似を利用する適応二階法であるEmphAdaFisherを提案する。
  論文  参考訳（メタデータ） (2024-05-26T01:25:02Z)
• Improved Communication-Privacy Trade-offs in $L_2$ Mean Estimation under Streaming Differential Privacy [47.997934291881414]
  既存の平均推定スキームは、通常、$L_infty$幾何に最適化され、ランダムな回転や、$L$幾何に適応するカシンの表現に依存する。 本稿では,スパシフィケーションに固有のランダム性をDPに組み込んだ,スパシフィケーションガウシアン機構の新たなプライバシ会計手法を提案する。 従来の手法とは異なり、我々の会計アルゴリズムは直接$L$幾何で動作し、ガウスの機構に迅速に収束するMSEが得られる。
  論文  参考訳（メタデータ） (2024-05-02T03:48:47Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• On the Practicality of Differential Privacy in Federated Learning by Tuning Iteration Times [51.61278695776151]
  フェデレートラーニング(FL)は、分散クライアント間で機械学習モデルを協調的にトレーニングする際のプライバシ保護でよく知られている。 最近の研究では、naive flは勾配リーク攻撃の影響を受けやすいことが指摘されている。 ディファレンシャルプライバシ(dp)は、勾配漏洩攻撃を防御するための有望な対策として現れる。
  論文  参考訳（メタデータ） (2021-01-11T19:43:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。