論文の概要: DP-KFC: Data-Free Preconditioning for Privacy-Preserving Deep Learning

• arxiv url: http://arxiv.org/abs/2605.13418v1
• Date: Wed, 13 May 2026 12:14:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-14 23:30:28.034647
• Title: DP-KFC: Data-Free Preconditioning for Privacy-Preserving Deep Learning
• Title（参考訳）: DP-KFC:プライバシ保護ディープラーニングのためのデータフリープレコンディショニング
• Authors: Marc Molina Van den Bosch, Riccardo Taiello, Albert Sund Aillet, Andrea Protani, Miguel Angel Gonzalez Ballester, Luigi Serio,
• Abstract要約: 本稿では,フィッシャー情報行列をアーキテクチャ感度に分解し,合成ノイズと入力相関により復元可能であることを示す。 KFACプレコンディショナーを構成するDP-KFCを提案する。 実証的に、DP-KFCは強力なプライバシー体制において、DP-SGDと適応ベースラインを多種多様なモダリティで一貫して上回っている。
• 参考スコア（独自算出の注目度）: 0.2873445316250935
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Differentially private optimization suffers from a fundamental geometric mismatch: deep networks have highly anisotropic loss landscapes, yet DP-SGD injects isotropic noise. Second-order preconditioning can resolve this, but estimating curvature typically requires private data (consuming privacy budget) or public data (introducing distribution shift). We show that the Fisher Information Matrix decouples into architectural sensitivity, recoverable via synthetic noise, and input correlations, approximable from modality-specific frequency statistics. We propose DP-KFC, which constructs KFAC preconditioners by probing networks with structured synthetic noise, requiring neither private nor public data. Empirically, DP-KFC consistently outperforms DP-SGD and adaptive baselines across diverse modalities in strong privacy regimes ($\varepsilon \leq 3$). DP-KFC matches private-data preconditioners while public-data variants degrade by up to $4.8\%$, showing that curvature can be estimated without consuming privacy budget or introducing distribution shift. This enables privacy-preserving learning in specialized domains (e.g., medical applications) where regulatory constraints make data scarce.
• Abstract（参考訳）: ディープネットワークは高い異方性ロスランドスケープを持つが、DP-SGDは異方性ノイズを注入する。 2階目のプレコンディショニングではこの問題を解決できるが、計算には一般的にプライベートデータ(プライバシ予算の浪費)やパブリックデータ(配布シフトの導入)が必要である。 そこで本研究では,Fisher Information Matrixを設計上の感度に分解し,合成ノイズと入力相関を加味し,モダリティ比の周波数統計量から近似できることを示す。 本稿では,KFACプリコンディショナを構成するDP-KFCを提案する。 実証的に、DP-KFCは、強力なプライバシー体制において、DP-SGDとアダプティブベースラインを一貫して上回っている(\varepsilon \leq 3$)。 DP-KFCはプライベート・データ・プレコンディショナーと一致し、パブリック・データ・バリアントは最大$4.8\%まで低下し、プライバシーの予算を消費したり、流通のシフトを起こすことなく曲率を推定できることを示した。 これにより、規制制約によってデータが不足する特殊なドメイン(例えば医療アプリケーション)で、プライバシ保護学習が可能になる。

関連論文リスト

• Machine Learning with Privacy for Protected Attributes [56.44253915927481]
  差分プライバシー(DP)の定義を洗練し、機能差分プライバシー(FDP)と呼ばれるより汎用的で柔軟なフレームワークを作成する。 私たちの定義はシミュレーションに基づいており、プライバシの追加/削除と置き換えの両方が可能で、保護された機能と非保護された機能の任意の分離を処理できます。 各種機械学習タスクにフレームワークを適用し,パブリック機能が利用可能であればDP学習モデルの実用性を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2025-06-24T17:53:28Z)
• Differentially Private Best-Arm Identification [14.916947598339988]
  ベストアーム識別(BAI)問題は、データセンシティブなアプリケーションに徐々に使われている。 これらのアプリケーションによって引き起こされるデータプライバシの懸念に触発され、ローカルモデルと中央モデルの両方に一定の信頼を保ちながら、BAIの問題を研究する。
  論文  参考訳（メタデータ） (2024-06-10T16:02:48Z)
• Noise Variance Optimization in Differential Privacy: A Game-Theoretic Approach Through Per-Instance Differential Privacy [7.264378254137811]
  差分プライバシー(DP)は、個人をターゲットデータセットに含めることによる分布の変化を観察することにより、プライバシー損失を測定することができる。 DPは、AppleやGoogleのような業界巨人の機械学習におけるデータセットの保護において際立っている。 本稿では,PDPを制約として提案し,各データインスタンスのプライバシ損失を測定し,個々のインスタンスに適したノイズを最適化する。
  論文  参考訳（メタデータ） (2024-04-24T06:51:16Z)
• How Private are DP-SGD Implementations? [61.19794019914523]
  2種類のバッチサンプリングを使用する場合、プライバシ分析の間に大きなギャップがあることが示される。 その結果,2種類のバッチサンプリングでは,プライバシ分析の間に大きなギャップがあることが判明した。
  論文  参考訳（メタデータ） (2024-03-26T13:02:43Z)
• Privacy Amplification for the Gaussian Mechanism via Bounded Support [64.86780616066575]
  インスタンスごとの差分プライバシー(pDP)やフィッシャー情報損失(FIL)といったデータ依存のプライバシ会計フレームワークは、固定されたトレーニングデータセット内の個人に対してきめ細かいプライバシー保証を提供する。 本稿では,データ依存会計下でのプライバシ保証を向上することを示すとともに,バウンドサポートによるガウス機構の簡単な修正を提案する。
  論文  参考訳（メタデータ） (2024-03-07T21:22:07Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• DTGAN: Differential Private Training for Tabular GANs [6.174448419090292]
  本稿では,DTGAN_GとDTGAN_Dの2つの変種からなる条件付きワッサースタインGANであるDTGANを提案する。 我々は,DPの理論的プライバシー保証を,メンバーシップや属性推論攻撃に対して実証的に評価する。 その結果,DP-SGD フレームワークは PATE よりも優れており,DP 判別器の方が訓練収束に最適であることが示唆された。
  論文  参考訳（メタデータ） (2021-07-06T10:28:05Z)
• Smoothed Differential Privacy [55.415581832037084]
  微分プライバシー(DP)は、最悪のケース分析に基づいて広く受け入れられ、広く適用されているプライバシーの概念である。 本稿では, 祝賀されたスムーズな解析の背景にある最悪の平均ケースのアイデアに倣って, DPの自然な拡張を提案する。 サンプリング手順による離散的なメカニズムはDPが予測するよりもプライベートであるのに対して,サンプリング手順による連続的なメカニズムはスムーズなDP下では依然としてプライベートではないことが証明された。
  論文  参考訳（メタデータ） (2021-07-04T06:55:45Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。