論文の概要: Escaping Iterative Parameter-Space Noise: Differentially Private Learning with a Hypernetwork

• arxiv url: http://arxiv.org/abs/2606.26772v1
• Date: Thu, 25 Jun 2026 08:57:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 18:46:32.222359
• Title: Escaping Iterative Parameter-Space Noise: Differentially Private Learning with a Hypernetwork
• Title（参考訳）: 反復パラメータ空間雑音の回避--ハイパーネットワークを用いた個人差分学習
• Abstract要約: ニューラルネットワークの差分プライベート(DP)トレーニングのための新しいフレームワークを提案する。 我々は、プライベートデータセットをターゲットモデルのパラメータにマップするために、パブリックデータセットでトレーニングされたハイパーネットワークを使用する。 プライバシノイズは低次元データセット表現に1回だけ注入されるため,本手法はノイズの悪影響を著しく低減することができる。
• 参考スコア（独自算出の注目度）: 7.085954928597583
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differentially private (DP) training of neural networks is often hindered by the large amount of noise required by gradient-based methods such as DP-SGD, which repeatedly inject high-dimensional noise in parameter space throughout training. In this paper, we propose a new framework for DP learning that avoids iterative optimization in parameter space. Instead of updating the target model using privatized gradients, we employ a hypernetwork trained on public datasets to map a private dataset to the parameters of the target model. Specifically, each example is embedded into a low-dimensional representation, the embeddings are aggregated and perturbed to obtain a DP dataset embedding, and the hypernetwork generates the target model parameters from this noisy embedding. Because privacy noise is injected only once into a low-dimensional dataset representation, our approach can significantly reduce the adverse effect of noise. We theoretically show in a synthetic setting that, under a fixed privacy budget, models produced by our approach achieve higher utility than those trained with DP-SGD. Moreover, we apply our approach to LoRA fine-tuning of diffusion models and show that it achieves lower FID than LoRA models trained with DP-SGD and other public-data-guided methods.
• Abstract（参考訳）: ニューラルネットワークの差分プライベート(DP)トレーニングは、トレーニングを通してパラメータ空間に高次元ノイズを繰り返し注入するDP-SGDのような勾配に基づく手法によって要求される大量のノイズによって、しばしば妨げられる。 本稿では,パラメータ空間の反復最適化を回避するDP学習のための新しいフレームワークを提案する。 プライベートな勾配を使ってターゲットモデルを更新する代わりに、パブリックデータセットでトレーニングされたハイパーネットワークを使用して、プライベートデータセットをターゲットモデルのパラメータにマップする。 具体的には、各例を低次元表現に埋め込み、埋め込みを集約・摂動してDPデータセットの埋め込みを求め、このノイズの埋め込みからターゲットモデルパラメータを生成する。 プライバシノイズは低次元データセット表現に1回だけ注入されるため,本手法はノイズの悪影響を著しく低減することができる。 理論的には、固定されたプライバシ予算の下では、DP-SGDで訓練されたモデルよりも、我々のアプローチによって作成されたモデルが高い実用性を達成することを、合成環境で示す。 さらに,本手法を拡散モデルの微調整に適用し,DP-SGDや他の公開データ誘導手法を用いて訓練したLoRAモデルよりもFIDが低いことを示す。

関連論文リスト

• Jacobian-Guided Anisotropic Noise Reshaping for Enhancing Representation Utility under Local Differential Privacy [9.339558179603214]
  ローカル微分プライバシー(LDP)は、分散データ収集の基礎となるプリミティブである。 従来のLDPメカニズムは、下流の目的に対する相対的な重要性にかかわらず、あらゆる次元にわたってノイズを均一に注入する。 本稿では,データ表現のタスク関連部分空間におけるノイズを軽減する新しい手法を提案する。
  論文  参考訳（メタデータ） (2026-05-16T05:01:41Z)
• Privacy without Noisy Gradients: Slicing Mechanism for Generative Model Training [10.229653770070202]
  差分プライバシ(DP)を持つ生成モデルを訓練するには、通常、勾配更新にノイズを注入するか、判別器の訓練手順を適用する必要がある。 プライベートデータのランダムな低次元投影にノイズを注入するスライシングプライバシ機構について考察する。 本稿では,この分散性を考慮したカーネルベース推定器を提案し,対角訓練の必要性を回避した。
  論文  参考訳（メタデータ） (2024-10-25T19:32:58Z)
• Steering Masked Discrete Diffusion Models via Discrete Denoising Posterior Prediction [88.65168366064061]
  本稿では,確率論的推論の課題として,事前学習したMDMを操る作業を行う新しいフレームワークであるDDPPを紹介する。 私たちのフレームワークは、3つの新しい目標のファミリーにつながります。 Wet-lab Validation(ウェット・ラブ・バリデーション)を用いて,報酬最適化タンパク質配列の過渡的発現を観察する。
  論文  参考訳（メタデータ） (2024-10-10T17:18:30Z)
• Differential Privacy Regularization: Protecting Training Data Through Loss Function Regularization [49.1574468325115]
  ニューラルネットワークに基づく機械学習モデルのトレーニングには、機密情報を含む大きなデータセットが必要である。 差分的にプライベートなSGD [DP-SGD] は、新しいモデルをトレーニングするために標準勾配降下アルゴリズム(SGD)を変更する必要がある。 より効率的な方法で同じ目標を達成するための新しい正規化戦略が提案されている。
  論文  参考訳（メタデータ） (2024-09-25T17:59:32Z)
• Differentially Private Fine-Tuning of Diffusion Models [22.454127503937883]
  微分プライバシーと拡散モデル(DM)の統合は、有望だが挑戦的なフロンティアを示している。 この分野での最近の進歩は、公開データによる事前学習によって高品質な合成データを生成する可能性を強調している。 本稿では,プライバシとユーティリティのトレードオフを高めるために,トレーニング可能なパラメータの数を最小限に抑える,プライベート拡散モデルに最適化された戦略を提案する。
  論文  参考訳（メタデータ） (2024-06-03T14:18:04Z)
• Sparsity-Preserving Differentially Private Training of Large Embedding Models [67.29926605156788]
  DP-SGDは、差分プライバシーと勾配降下を組み合わせたトレーニングアルゴリズムである。 DP-SGDをネーティブに埋め込みモデルに適用すると、勾配の間隔が破壊され、トレーニング効率が低下する。 我々は,大規模埋め込みモデルのプライベートトレーニングにおいて,勾配間隔を保ったDP-FESTとDP-AdaFESTの2つの新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-11-14T17:59:51Z)
• Differential Privacy Meets Neural Network Pruning [10.77469946354744]
  ニューラルネットワークのプルーニングと差分プライバシーの相互作用をパラメータ更新の2つのモードを用いて検討する。 実験により,パラメータ空間の減少が個人訓練の差分を改善することを示す。 勾配に依存しない2種類の人気プルーニングについて研究し、さらなるプライバシー損失を生じさせないことにより、ランダム選択が等級に基づく選択と同等に実行されることを示す。
  論文  参考訳（メタデータ） (2023-03-08T14:27:35Z)
• Differentially Private Diffusion Models [46.46256537222917]
  我々は近年の拡散モデル(DM)の成功の上に構築され、微分プライベート拡散モデル(DPDM)を導入している。 DMのトレーニングに適したDP-SGDの強力な修正であるノイズ多重性を提案する。 我々は,新しいDPDMを画像生成ベンチマークで検証し,すべての実験で最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-10-18T15:20:47Z)
• Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
  Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。 この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
  論文  参考訳（メタデータ） (2022-05-06T01:22:20Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Don't Generate Me: Training Differentially Private Generative Models with Sinkhorn Divergence [73.14373832423156]
  そこで我々はDP-Sinkhornを提案する。DP-Sinkhornは個人データからデータ分布を差分プライバシで学習するための新しいトランスポートベース生成手法である。 差分的にプライベートな生成モデルを訓練するための既存のアプローチとは異なり、我々は敵の目的に頼らない。
  論文  参考訳（メタデータ） (2021-11-01T18:10:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。