論文の概要: Rethinking Layer-wise Gaussian Noise Injection: Bridging Implicit Objectives and Privacy Budget Allocation

• arxiv url: http://arxiv.org/abs/2509.04232v1
• Date: Thu, 04 Sep 2025 14:09:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-05 20:21:10.181683
• Title: Rethinking Layer-wise Gaussian Noise Injection: Bridging Implicit Objectives and Privacy Budget Allocation
• Title（参考訳）: レイヤーワイドガウスノイズ注入の再考: ブリッジング不特定目的とプライバシ予算配分
• Authors: Qifeng Tan, Shusen Yang, Xuebin Ren, Yikai Zhang,
• Abstract要約: LGM(Layer-wise Gaussian Mechanism)は、分割された勾配ベクトルにノイズを注入することにより、微分プライベートなディープラーニングにおける柔軟性を高める。 既存の手法は、しばしばノイズアロケーション戦略に依存しており、ノイズアロケーションと正式なプライバシー利用トレードオフを接続する理論上の根拠を厳格に理解していない。 両面を統一したSNR-Consistentノイズアロケーション戦略を提案し,より優れた信号保存とより効率的なプライバシ予算利用を実現するノイズアロケーション方式を提案する。
• 参考スコア（独自算出の注目度）: 11.461532588974215
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Layer-wise Gaussian mechanisms (LGM) enhance flexibility in differentially private deep learning by injecting noise into partitioned gradient vectors. However, existing methods often rely on heuristic noise allocation strategies, lacking a rigorous understanding of their theoretical grounding in connecting noise allocation to formal privacy-utility tradeoffs. In this paper, we present a unified analytical framework that systematically connects layer-wise noise injection strategies with their implicit optimization objectives and associated privacy budget allocations. Our analysis reveals that several existing approaches optimize ill-posed objectives -- either ignoring inter-layer signal-to-noise ratio (SNR) consistency or leading to inefficient use of the privacy budget. In response, we propose a SNR-Consistent noise allocation strategy that unifies both aspects, yielding a noise allocation scheme that achieves better signal preservation and more efficient privacy budget utilization. Extensive experiments in both centralized and federated learning settings demonstrate that our method consistently outperforms existing allocation strategies, achieving better privacy-utility tradeoffs. Our framework not only offers diagnostic insights into prior methods but also provides theoretical guidance for designing adaptive and effective noise injection schemes in deep models.
• Abstract（参考訳）: LGM(Layer-wise Gaussian Mechanism)は、分割された勾配ベクトルにノイズを注入することで、微分プライベートなディープラーニングにおける柔軟性を高める。 しかし、既存の手法は、しばしばヒューリスティックなノイズアロケーション戦略に依存しており、ノイズアロケーションと正式なプライバシユーティリティのトレードオフを接続する理論上の根拠を厳格に理解していない。 本稿では,レイヤワイドノイズ注入戦略を暗黙の最適化目標と関連するプライバシー予算に体系的に結合する統合分析フレームワークを提案する。 我々の分析によると、いくつかの既存のアプローチは、レイヤ間信号-ノイズ比(SNR)の一貫性を無視したり、プライバシー予算の非効率な使用につながる、不適切な目的を最適化している。 両面を統一したSNR-Consistentノイズアロケーション戦略を提案し,より優れた信号保存とより効率的なプライバシ予算利用を実現するノイズアロケーション方式を提案する。 集中学習とフェデレーション学習の両方における大規模な実験は、我々の手法が既存のアロケーション戦略を一貫して上回り、より優れたプライバシとユーティリティのトレードオフを実現することを実証している。 我々のフレームワークは,従来の手法の診断的知見を提供するだけでなく,深層モデルにおける適応的かつ効果的なノイズ注入方式を設計するための理論的ガイダンスも提供する。

関連論文リスト

• LAPA-based Dynamic Privacy Optimization for Wireless Federated Learning in Heterogeneous Environments [24.88312051228607]
  Federated Learning(FL)は、デバイスのデータのプライバシ保護に基づく分散機械学習パラダイムである。 差分プライバシー(DP)技術は、勾配に人工ノイズを加えることで、プライベートデータ漏洩のリスクを低減する。 本稿では、各アグリゲーションラウンドのデバイスにパーソナライズされたプライバシ予算を割り当てる軽量適応プライバシ割り当て(LAPA)戦略を提案する。
  論文  参考訳（メタデータ） (2025-05-26T11:00:31Z)
• Optimizing Privacy-Utility Trade-off in Decentralized Learning with Generalized Correlated Noise [32.914407967052114]
  CorN-DSGDはエージェント間で相関するプライバシーノイズを生成する新しいフレームワークである。 我々は,CorN-DSGDが既存の相互相関方式よりもノイズをキャンセルし,形式的なプライバシ保証下でのモデル性能を向上させることを示す。
  論文  参考訳（メタデータ） (2025-01-24T17:05:00Z)
• Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
  人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。 過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。 報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
  論文  参考訳（メタデータ） (2024-05-26T05:38:50Z)
• Adaptive Differentially Quantized Subspace Perturbation (ADQSP): A Unified Framework for Privacy-Preserving Distributed Average Consensus [6.364764301218972]
  本稿では適応微分量子化部分空間(ADQSP)という一般手法を提案する。 本研究では,単一の量子化パラメータを変化させることで,提案手法がSMPC型の性能とDP型性能に異なることを示す。 この結果から,従来の分散信号処理ツールを暗号保証に活用する可能性が示唆された。
  論文  参考訳（メタデータ） (2023-12-13T07:52:16Z)
• Differentially Private Stochastic Gradient Descent with Low-Noise [49.981789906200035]
  現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目的としており、プライバシー保護の目標と矛盾することが多い。 本稿では、プライバシを保ちながら優れたパフォーマンスを確保するために、プライバシを保存する機械学習アルゴリズムを開発することの実践的および理論的重要性について論じる。
  論文  参考訳（メタデータ） (2022-09-09T08:54:13Z)
• Decentralized Stochastic Optimization with Inherent Privacy Protection [103.62463469366557]
  分散最適化は、現代の協調機械学習、分散推定と制御、大規模センシングの基本的な構成要素である。 データが関与して以降、分散最適化アルゴリズムの実装において、プライバシ保護がますます重要になっている。
  論文  参考訳（メタデータ） (2022-05-08T14:38:23Z)
• Optimum Noise Mechanism for Differentially Private Queries in Discrete Finite Sets [3.5379819043314176]
  本稿では,離散的かつ有限な問合せセットに適した最適ノイズマス確率関数を設計するための新しいフレームワークを提案する。 我々のフレームワークは、任意の$(epsilon, delta)$制約の下でノイズ分布を最適化し、応答の精度と有用性を向上させる。 数値実験により,提案手法の最先端手法と比較して,最適機構の優れた性能が示された。
  論文  参考訳（メタデータ） (2021-11-23T05:24:34Z)
• Topology-aware Differential Privacy for Decentralized Image Classification [81.2202290003513]
  Top-DPは、分散画像分類システムの差分プライバシー保護を最適化するための新しいソリューションである。 我々は、分散化された通信トポロジのユニークな特徴を活用し、ノイズスケールを小さくし、モデルのユーザビリティを向上させる。
  論文  参考訳（メタデータ） (2020-06-14T06:42:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。