論文の概要: DP-IVON-Gradsq: Differentially Private Squared-Gradient Improved Variational Online Newton

• arxiv url: http://arxiv.org/abs/2607.23649v1
• Date: Sun, 26 Jul 2026 13:32:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-28 22:34:15.180752
• Title: DP-IVON-Gradsq: Differentially Private Squared-Gradient Improved Variational Online Newton
• Title（参考訳）: DP-IVON-Gradsq: 変分オンラインニュートンの改良
• Authors: Nour Jamoussi, Ikram Dridi, Giuseppe Serra, Marios Kountouris,
• Abstract要約: 改良変分オンライン(IVON)フレームワークを用いて,個人差分ベイズ学習について検討した。 提案手法は雑音補正二乗勾配推定器を用いて曲率推定を行う。 CIFAR-10 上のDP-IVON-sq を標準プライベート DP-SGD と DP-Adam に対して様々なプライバシー予算で評価する。
• 参考スコア（独自算出の注目度）: 7.840001337179043
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Differential privacy provides formal privacy guarantees for training neural networks on sensitive data, while Bayesian deep learning offers a principled framework for uncertainty-aware prediction. Combining these two objectives remains challenging, as privacy noise can interact with the stochasticity introduced by Bayesian posterior sampling. In this work, we investigate differentially private variational Bayesian learning through the Improved Variational Online Newton (IVON) optimizer. We introduce DP-IVON-Gradsq, a private variant of IVON. The proposed method constructs its curvature estimate from the privatized gradient using a noise-corrected squared-gradient estimator, reducing the direct interaction between posterior-sampling noise and privacy noise while preserving the Adam-like computational efficiency of IVON. We evaluate DP-IVON-Gradsq on CIFAR-10 against the standard private optimizers DP-SGD and DP-Adam over a range of privacy budgets. The results show that DP-IVON-Gradsq is competitive under weak-to-moderate privacy constraints, i.e., large-to-moderate values of $\varepsilon$, while degrading under strong privacy. Code is available at https://github.com/NourJamoussi/DP-IVON-Gradsq.git.
• Abstract（参考訳）: 差分プライバシーは、機密データ上でニューラルネットワークをトレーニングするための正式なプライバシー保証を提供する。 この2つの目的を組み合わせることは、ベイジアン後続サンプリングによってもたらされる確率と、プライバシーのノイズが相互作用しうるため、依然として困難である。 本研究では,改良型変分オンラインニュートン(IVON)オプティマイザを用いて,個人差分ベイズ学習について検討する。 DP-IVON-Gradsq, DP-IVON-Gradsqについて述べる。 提案手法は、雑音補正二乗勾配推定器を用いて、民営化勾配から曲率推定を行い、IVONのAdamライクな計算効率を維持しながら、後サンプリングノイズとプライバシノイズとの直接的相互作用を低減させる。 CIFAR-10 上のDP-IVON-Gradsq を、標準のプライベートオプティマイザ DP-SGD と DP-Adam に対して、様々なプライバシー予算に対して評価する。 その結果、DP-IVON-Gradsqは、強いプライバシの下で劣化しながらも、弱いモデレートのプライバシ制約、すなわち、大口モデレートの値で競合していることがわかった。 コードはhttps://github.com/NourJamoussi/DP-IVON-Gradsq.gitで公開されている。

関連論文リスト

• Evaluation of Differential Privacy Mechanisms on Federated Learning [0.0]
  フェデレーション学習は、生データを開示することなく、複数のクライアントに分散される。 差分プライバシー(DP)は、モデル更新にノイズを加えることで機密データを保護する技術である。 本研究は,Laplace と Gaussian のメカニズムを用いたDP手法を適応的なプライバシー予算で実装する。
  論文  参考訳（メタデータ） (2025-10-09T11:32:36Z)
• Revisiting Privacy-Utility Trade-off for DP Training with Pre-existing Knowledge [40.44144653519249]
  異種雑音(DP-Hero)を有する一般微分プライバシーフレームワークを提案する。 DP-Heroでは、DP-SGDの異種バージョンをインスタンス化し、さらにフェデレーショントレーニングに拡張する。 提案するDP-Heroの有効性を検証・説明するための総合的な実験を行い,最新技術と比較するとトレーニング精度が向上した。
  論文  参考訳（メタデータ） (2024-09-05T08:40:54Z)
• Differentially Private Best-Arm Identification [14.916947598339988]
  ベストアーム識別(BAI)問題は、データセンシティブなアプリケーションに徐々に使われている。 これらのアプリケーションによって引き起こされるデータプライバシの懸念に触発され、ローカルモデルと中央モデルの両方に一定の信頼を保ちながら、BAIの問題を研究する。
  論文  参考訳（メタデータ） (2024-06-10T16:02:48Z)
• Private Fine-tuning of Large Language Models with Zeroth-order Optimization [51.19403058739522]
  差分的プライベート勾配降下(DP-SGD)により、モデルはプライバシ保護の方法でトレーニングできる。 DP-ZO(DP-ZO)は,ゼロオーダー最適化手法を民営化することで,大規模言語モデルのためのプライベートな微調整フレームワークである。
  論文  参考訳（メタデータ） (2024-01-09T03:53:59Z)
• Blink: Link Local Differential Privacy in Graph Neural Networks via Bayesian Estimation [79.64626707978418]
  分散ノード上でのリンクローカル差分プライバシーを用いてグラフニューラルネットワークをトレーニングする。 当社のアプローチでは、グラフトポロジをより悪用するために、グラフのリンクと学位を別々に、プライバシ予算に費やしています。 当社のアプローチは、様々なプライバシー予算の下での精度において、既存の手法よりも優れています。
  論文  参考訳（メタデータ） (2023-09-06T17:53:31Z)
• "Private Prediction Strikes Back!'' Private Kernelized Nearest Neighbors with Individual Renyi Filter [31.970442970375153]
  Ind-KNN(Personalized Nearest Neighbor)というアルゴリズムを提案する。 Ind-KNNはデータセットの変更に対して容易に更新可能であり、個々のユーザレベルでR'enyiを正確に制御できる。 以上の結果から,Ind-KNNは4つの視覚および言語タスクにおいて,既存のプライベート予測手法よりも,幅広い$epsilon$の精度を一貫して向上させることがわかった。
  論文  参考訳（メタデータ） (2023-06-12T19:14:45Z)
• TAN Without a Burn: Scaling Laws of DP-SGD [70.7364032297978]
  近年、ディープニューラルネットワーク(DNN)を訓練するための微分プライベートな手法が進歩している。 プライバシ分析とノイズのあるトレーニングの実験的振る舞いを分離し、最小限の計算要件でトレードオフを探索する。 我々は,提案手法をCIFAR-10とImageNetに適用し,特にImageNetの最先端性を,上位1点の精度で向上させる。
  論文  参考訳（メタデータ） (2022-10-07T08:44:35Z)
• DP$^2$-VAE: Differentially Private Pre-trained Variational Autoencoders [26.658723213776632]
  DP保証付き変分オートエンコーダ(VAE)のトレーニング機構であるDP$2$-VAEを提案する。 さまざまなプライバシ予算と評価指標の下で,ベースラインよりも優位性を示すために,画像データセットに関する広範な実験を行った。
  論文  参考訳（メタデータ） (2022-08-05T23:57:34Z)
• Individual Privacy Accounting for Differentially Private Stochastic Gradient Descent [69.14164921515949]
  DP-SGDで訓練されたモデルをリリースする際の個々の事例に対するプライバシー保証を特徴付ける。 ほとんどの例では、最悪のケースよりも強力なプライバシー保証を享受しています。 これは、モデルユーティリティの観点からは守られないグループが同時に、より弱いプライバシー保証を経験することを意味する。
  論文  参考訳（メタデータ） (2022-06-06T13:49:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。