論文の概要: Private Zeroth-Order Optimization with Public Data

• arxiv url: http://arxiv.org/abs/2511.10859v1
• Date: Thu, 13 Nov 2025 23:51:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-17 22:42:18.368337
• Title: Private Zeroth-Order Optimization with Public Data
• Title（参考訳）: 公開データを用いたプライベートゼロ階最適化
• Authors: Xuchen Gong, Tian Li,
• Abstract要約: 1次微分プライベート機械学習アルゴリズムをデプロイする際の大きなボトルネックの1つは、高い計算とメモリコストである。 我々は、公開情報を活用して、プライベートゼロオーダーアルゴリズムの近似をガイドし、改善することを提案する。 PAZOは、事前学習と微調整の両方で、視覚とテキストタスク間の優れたプライバシー/ユーティリティトレードオフを実現する。
• 参考スコア（独自算出の注目度）: 5.409688800035885
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: One of the major bottlenecks for deploying popular first-order differentially private (DP) machine learning algorithms (e.g., DP-SGD) lies in their high computation and memory cost, despite the existence of optimized implementations. Zeroth-order methods have promise in mitigating the overhead, as they leverage function evaluations to approximate the gradients, hence significantly easier to privatize. While recent works have explored zeroth-order approaches in both private and non-private settings, they still suffer from relatively low utilities compared with DP-SGD, and have only been evaluated in limited application domains. In this work, we propose to leverage public information to guide and improve gradient approximation of private zeroth-order algorithms. We explore a suite of public-data-assisted zeroth-order optimizers (PAZO) with minimal overhead. We provide theoretical analyses of the PAZO framework under an assumption of the similarity between public and private data. Empirically, we demonstrate that PAZO achieves superior privacy/utility tradeoffs across vision and text tasks in both pre-training and fine-tuning settings, outperforming the best first-order baselines (with public data) especially in highly private regimes, while offering up to $16\times$ runtime speedup.
• Abstract（参考訳）: 人気のある一階微分プライベート(DP-SGD)機械学習アルゴリズム(例えばDP-SGD)をデプロイする際のボトルネックの1つは、最適化された実装が存在するにもかかわらず、高い計算とメモリコストにある。 ゼロ階法は、関数評価を利用して勾配を近似し、民営化が著しく容易になるため、オーバーヘッド軽減の公約を持っている。 最近の研究では、プライベートと非プライベートの両方でゼロオーダーのアプローチが検討されているが、DP-SGDと比較して比較的低ユーティリティに悩まされており、限られたアプリケーションドメインでのみ評価されている。 本研究では,公的な情報を活用して,プライベートゼロ階次アルゴリズムの勾配近似を導出し,改善することを提案する。 オーバーヘッドを最小限に抑えたパブリックデータ支援ゼロ階最適化器(PAZO)のスイートについて検討する。 パブリックデータとプライベートデータとの類似性を前提として,PAZOフレームワークの理論的解析を行う。 実証的には、PAZOは事前トレーニングと微調整の両方の設定において、ビジョンとテキストタスク間の優れたプライバシー/ユーティリティのトレードオフを達成し、特に非常にプライベートな状況において、最高のファーストオーダーベースライン(パブリックデータを含む)を上回り、最大16\times$ランタイムのスピードアップを提供します。

関連論文リスト

• Privacy Amplification in Differentially Private Zeroth-Order Optimization with Hidden States [23.033229440303355]
  我々は、ゼロ階最適化のために収束プライバシー境界を確立することができることを示す。 本分析は,スムーズな損失関数の設定に注目するプライバシアンプリフィケーション・バイ・イテレーション・フレームワークを一般化する。 この手法は、それまで文献に知られていなかったDPゼロオーダーのアルゴリズム設計を改良する。
  論文  参考訳（メタデータ） (2025-05-30T18:55:32Z)
• Linear-Time User-Level DP-SCO via Robust Statistics [55.350093142673316]
  ユーザレベルの差分プライベート凸最適化(DP-SCO)は、マシンラーニングアプリケーションにおけるユーザのプライバシ保護の重要性から、大きな注目を集めている。 微分プライベート勾配勾配(DP-SGD)に基づくような現在の手法は、しばしば高雑音蓄積と準最適利用に苦しむ。 これらの課題を克服するために、ロバストな統計、特に中央値とトリミング平均を利用する新しい線形時間アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2025-02-13T02:05:45Z)
• Provable Privacy with Non-Private Pre-Processing [56.770023668379615]
  非プライベートなデータ依存前処理アルゴリズムによって生じる追加のプライバシーコストを評価するための一般的なフレームワークを提案する。 当社のフレームワークは,2つの新しい技術的概念を活用することにより,全体的なプライバシー保証の上限を確立する。
  論文  参考訳（メタデータ） (2024-03-19T17:54:49Z)
• Private Fine-tuning of Large Language Models with Zeroth-order Optimization [51.19403058739522]
  差分的プライベート勾配降下(DP-SGD)により、モデルはプライバシ保護の方法でトレーニングできる。 DP-ZO(DP-ZO)は,ゼロオーダー最適化手法を民営化することで,大規模言語モデルのためのプライベートな微調整フレームワークである。
  論文  参考訳（メタデータ） (2024-01-09T03:53:59Z)
• Pre-trained Perceptual Features Improve Differentially Private Image Generation [8.659595986100738]
  差分降下勾配(DP-SGD)を用いた中等度生成モデルの訓練も困難である。 私たちは、情報のある公開データセット上に適切な、関連する表現を構築し、その表現でプライベートデータをモデル化することを学びます。 私たちの研究は、プライベートと非プライベートの深層生成モデルの間のギャップを減らすための、シンプルで強力な基盤を導入しています。
  論文  参考訳（メタデータ） (2022-05-25T16:46:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。