論文の概要: Privacy Amplification in Differentially Private Zeroth-Order Optimization with Hidden States

• arxiv url: http://arxiv.org/abs/2506.00158v1
• Date: Fri, 30 May 2025 18:55:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:32.469759
• Title: Privacy Amplification in Differentially Private Zeroth-Order Optimization with Hidden States
• Title（参考訳）: 隠れ状態を考慮した微分プライベートゼロ階最適化におけるプライバシ増幅
• Authors: Eli Chien, Wei-Ning Chen, Pan Li,
• Abstract要約: 我々は、ゼロ階最適化のために収束プライバシー境界を確立することができることを示す。 本分析は,スムーズな損失関数の設定に注目するプライバシアンプリフィケーション・バイ・イテレーション・フレームワークを一般化する。 この手法は、それまで文献に知られていなかったDPゼロオーダーのアルゴリズム設計を改良する。
• 参考スコア（独自算出の注目度）: 23.033229440303355
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Zeroth-order optimization has emerged as a promising approach for fine-tuning large language models on domain-specific data, particularly under differential privacy (DP) and memory constraints. While first-order methods have been extensively studied from a privacy perspective, the privacy analysis and algorithmic design for zeroth-order methods remain significantly underexplored. A critical open question concerns hidden-state DP analysis: although convergent privacy bounds are known for first-order methods, it has remained unclear whether similar guarantees can be established for zeroth-order methods. In this work, we provide an affirmative answer by proving a convergent DP bound for zeroth-order optimization. Our analysis generalizes the celebrated privacy amplification-by-iteration framework to the setting of smooth loss functions in zeroth-order optimization. Furthermore, it induces better DP zeroth-order algorithmic designs that are previously unknown to the literature.
• Abstract（参考訳）: ゼロオーダー最適化は、特に差分プライバシ(DP)とメモリ制約の下で、ドメイン固有のデータに対して大きな言語モデルを微調整するための有望なアプローチとして現れている。 プライバシの観点からは一階法が広く研究されているが、ゼロ階法におけるプライバシー分析とアルゴリズム設計はいまだにかなり過小評価されている。 プライバシーの収束境界は1次法では知られているが、0次法では同様の保証が確立できるかどうかは不明だ。 本研究では、ゼロ階最適化のための収束DPを証明し、肯定的な答えを与える。 本分析は,0次最適化におけるスムーズな損失関数の設定に注目するプライバシアンプリフィケーション・バイ・イテレーション・フレームワークを一般化する。 さらに、それまで文献に知られていなかったより優れたDPゼロ階アルゴリズム設計を導出する。

関連論文リスト

• Provable Privacy with Non-Private Pre-Processing [56.770023668379615]
  非プライベートなデータ依存前処理アルゴリズムによって生じる追加のプライバシーコストを評価するための一般的なフレームワークを提案する。 当社のフレームワークは,2つの新しい技術的概念を活用することにより,全体的なプライバシー保証の上限を確立する。
  論文  参考訳（メタデータ） (2024-03-19T17:54:49Z)
• Shifted Interpolation for Differential Privacy [6.1836947007564085]
  雑音勾配降下とその変種は、微分プライベート機械学習の主要なアルゴリズムである。 本稿では、$f$差分プライバシの統一化フレームワークにおいて、"corollary によるプライバシ増幅" 現象を確立する。 これは、強力な凸最適化の基礎的な設定において、最初の正確なプライバシー分析につながる。
  論文  参考訳（メタデータ） (2024-03-01T04:50:04Z)
• Private Fine-tuning of Large Language Models with Zeroth-order Optimization [51.19403058739522]
  差分的プライベート勾配降下(DP-SGD)により、モデルはプライバシ保護の方法でトレーニングできる。 DP-ZO(DP-ZO)は,ゼロオーダー最適化手法を民営化することで,大規模言語モデルのためのプライベートな微調整フレームワークである。
  論文  参考訳（メタデータ） (2024-01-09T03:53:59Z)
• DPZero: Private Fine-Tuning of Language Models without Backpropagation [49.365749361283704]
  DPZeroは、ほぼ次元に依存しない新しいゼロオーダーアルゴリズムである。 DPZeroのメモリ効率は、いくつかの下流タスクでプライベートに微調整されたRoBERTaとOPTで実証される。
  論文  参考訳（メタデータ） (2023-10-14T18:42:56Z)
• Dynamic Privacy Allocation for Locally Differentially Private Federated Learning with Composite Objectives [10.528569272279999]
  本稿では,強い凸性を持つが非滑らかな問題に対する差分プライベートなフェデレーション学習アルゴリズムを提案する。 提案アルゴリズムは、共有情報に人工ノイズを加えてプライバシーを確保するとともに、時間変化のノイズ分散を動的に割り当て、最適化誤差の上限を最小化する。 解析結果から,提案手法が最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-02T13:30:33Z)
• Differentially Private Stochastic Gradient Descent with Low-Noise [49.981789906200035]
  現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目的としており、プライバシー保護の目標と矛盾することが多い。 本稿では、プライバシを保ちながら優れたパフォーマンスを確保するために、プライバシを保存する機械学習アルゴリズムを開発することの実践的および理論的重要性について論じる。
  論文  参考訳（メタデータ） (2022-09-09T08:54:13Z)
• Private Alternating Least Squares: Practical Private Matrix Completion with Tighter Rates [34.023599653814415]
  ユーザレベルのプライバシの下で、差分的プライベート(DP)行列補完の問題について検討する。 本稿では,Alternating-Least-Squares (ALS) 方式の差分型を設計する。
  論文  参考訳（メタデータ） (2021-07-20T23:19:11Z)
• No-Regret Algorithms for Private Gaussian Process Bandit Optimization [13.660643701487002]
  プライバシー保護統計のレンズによるガウス過程(GP)帯域最適化の至るところでの問題点を考察する。 均一なカーネル近似器とランダムな摂動を組み合わせた差分プライベートGPバンディット最適化のためのソリューションを提案する。 我々のアルゴリズムは最適化手順を通して微分プライバシを保持し、予測のためのサンプルパスに明示的に依存しない。
  論文  参考訳（メタデータ） (2021-02-24T18:52:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。