論文の概要: Optimal differentially private kernel learning with random projection

• arxiv url: http://arxiv.org/abs/2507.17544v2
• Date: Sun, 10 Aug 2025 07:51:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-12 16:55:53.667892
• Title: Optimal differentially private kernel learning with random projection
• Title（参考訳）: ランダムプロジェクションを用いた最適微分プライベートカーネル学習
• Authors: Bonwoo Lee, Cheolwoo Park, Jeongyoun Ahn,
• Abstract要約: ガウス過程を用いた再生カーネルヒルベルト空間におけるランダムプロジェクションに基づく新しい微分プライベートカーネルERMアルゴリズムを提案する。 本手法は,2乗損失とリプシッツ・スムース凸損失関数の双方に対して,極小最大超過リスクを実現する。 代替次元低減技術に基づく既存手法は、最適以下の性能を得る。
• 参考スコア（独自算出の注目度）: 2.048226951354646
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differential privacy has become a cornerstone in the development of privacy-preserving learning algorithms. This work addresses optimizing differentially private kernel learning within the empirical risk minimization (ERM) framework. We propose a novel differentially private kernel ERM algorithm based on random projection in the reproducing kernel Hilbert space using Gaussian processes. Our method achieves minimax-optimal excess risk for both the squared loss and Lipschitz-smooth convex loss functions under a local strong convexity condition. We further show that existing approaches based on alternative dimension reduction techniques, such as random Fourier feature mappings or $\ell_2$ regularization, yield suboptimal generalization performance. Our key theoretical contribution also includes the derivation of dimension-free generalization bounds for objective perturbation-based private linear ERM -- marking the first such result that does not rely on noisy gradient-based mechanisms. Additionally, we obtain sharper generalization bounds for existing differentially private kernel ERM algorithms. Empirical evaluations support our theoretical claims, demonstrating that random projection enables statistically efficient and optimally private kernel learning. These findings provide new insights into the design of differentially private algorithms and highlight the central role of dimension reduction in balancing privacy and utility.
• Abstract（参考訳）: 差別化プライバシは、プライバシ保護学習アルゴリズムの開発における基盤となっている。 この研究は、経験的リスク最小化(ERM)フレームワークにおける微分プライベートカーネル学習の最適化に対処する。 ガウス過程を用いた再生カーネルヒルベルト空間におけるランダムプロジェクションに基づく新しい微分プライベートカーネルERMアルゴリズムを提案する。 本手法は局所的な強凸条件下での2乗損失とリプシッツ・スムーズ凸損失関数の両方に対する極小最大超過リスクを実現する。 さらに、ランダムなフーリエ特徴写像や$\ell_2$正規化のような代替次元削減手法に基づく既存の手法が、最適部分一般化性能を得ることを示す。 我々の理論的貢献は、目的摂動に基づくプライベート線形ERMに対する次元自由一般化境界の導出も含んでいる。 さらに,既存の微分プライベートカーネルERMアルゴリズムに対して,よりシャープな一般化境界を求める。 実験的な評価は、確率予測が統計的に効率的かつ最適にプライベートなカーネル学習を可能にすることを示す理論的な主張を支持する。 これらの知見は、微分プライベートアルゴリズムの設計に関する新たな洞察を与え、プライバシとユーティリティのバランスをとる上での次元削減の中心的な役割を強調している。

関連論文リスト

• Differentially Private Bilevel Optimization: Efficient Algorithms with Near-Optimal Rates [9.07536816900443]
  双レベル最適化問題は別の内部にネストされ、多くの機械学習アプリケーションにハイパーラーニング構造が組み込まれている。 両レベル最適化により、最適境界を求めるための最先端のアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2025-06-15T23:21:36Z)
• Linear-Time User-Level DP-SCO via Robust Statistics [55.350093142673316]
  ユーザレベルの差分プライベート凸最適化(DP-SCO)は、マシンラーニングアプリケーションにおけるユーザのプライバシ保護の重要性から、大きな注目を集めている。 微分プライベート勾配勾配(DP-SGD)に基づくような現在の手法は、しばしば高雑音蓄積と準最適利用に苦しむ。 これらの課題を克服するために、ロバストな統計、特に中央値とトリミング平均を利用する新しい線形時間アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2025-02-13T02:05:45Z)
• The Cost of Shuffling in Private Gradient Based Optimization [40.31928071333575]
  その結果, DP-ShuffleGはDP-SGDと比較して, データのシャッフル処理により過大なリスクが生じることがわかった。 我々は、プライベートな最適化に公開データサンプルを統合するハイブリッドアプローチである textitInterleaved-ShuffleG を提案する。
  論文  参考訳（メタデータ） (2025-02-05T22:30:00Z)
• Differentially Private Random Feature Model [52.468511541184895]
  プライバシを保存するカーネルマシンに対して,差分的にプライベートな特徴モデルを作成する。 本手法は,プライバシを保護し,一般化誤差を導出する。
  論文  参考訳（メタデータ） (2024-12-06T05:31:08Z)
• Differentially Private Domain Adaptation with Theoretical Guarantees [46.37771025567305]
  多くのアプリケーションでは、ラベル付きデータの処分におけるラベル付きデータはプライバシー上の制約を受けており、比較的制限されている。 これは、パブリックソースからプライベートターゲットドメインへのドメイン適応を監督する現代の問題である。 我々は、理論的な学習保証の恩恵を受けるために、一般の学習者を利用する。
  論文  参考訳（メタデータ） (2023-06-15T04:03:06Z)
• Differentially Private Stochastic Gradient Descent with Low-Noise [49.981789906200035]
  現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目的としており、プライバシー保護の目標と矛盾することが多い。 本稿では、プライバシを保ちながら優れたパフォーマンスを確保するために、プライバシを保存する機械学習アルゴリズムを開発することの実践的および理論的重要性について論じる。
  論文  参考訳（メタデータ） (2022-09-09T08:54:13Z)
• Decentralized Stochastic Optimization with Inherent Privacy Protection [103.62463469366557]
  分散最適化は、現代の協調機械学習、分散推定と制御、大規模センシングの基本的な構成要素である。 データが関与して以降、分散最適化アルゴリズムの実装において、プライバシ保護がますます重要になっている。
  論文  参考訳（メタデータ） (2022-05-08T14:38:23Z)
• Differentially Private Learning with Margin Guarantees [48.83724068578305]
  我々は,次元非依存のマージン保証を備えた新しい差分プライベート(DP)アルゴリズムを提案する。 線形仮説の族に対しては、相対的な偏差マージン保証の恩恵を受ける純粋DP学習アルゴリズムを提供する。 また,カーネルベースの仮説に対するマージン保証を備えたDP学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-04-21T19:12:06Z)
• Adaptive Differentially Private Empirical Risk Minimization [95.04948014513226]
  本稿では,適応的(確率的)勾配摂動法を提案する。 ADP法は,バニラランダムノイズを付加した標準微分プライベート法と比較して,実用性保証を大幅に改善することを示す。
  論文  参考訳（メタデータ） (2021-10-14T15:02:20Z)
• No-Regret Algorithms for Private Gaussian Process Bandit Optimization [13.660643701487002]
  プライバシー保護統計のレンズによるガウス過程(GP)帯域最適化の至るところでの問題点を考察する。 均一なカーネル近似器とランダムな摂動を組み合わせた差分プライベートGPバンディット最適化のためのソリューションを提案する。 我々のアルゴリズムは最適化手順を通して微分プライバシを保持し、予測のためのサンプルパスに明示的に依存しない。
  論文  参考訳（メタデータ） (2021-02-24T18:52:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。