論文の概要: An exponential mechanism based on quadratic approximations for fine-tuning machine learning models with privacy guarantees

• arxiv url: http://arxiv.org/abs/2605.20521v1
• Date: Tue, 19 May 2026 21:43:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-21 19:19:56.390267
• Title: An exponential mechanism based on quadratic approximations for fine-tuning machine learning models with privacy guarantees
• Title（参考訳）: プライバシー保証付き微調整機械学習モデルの二次近似に基づく指数的メカニズム
• Authors: Hoang Tran, Jorge Ramirez, Jiayi Wang, Alberto Bocchinfuso, Christopher Stanley, M. Paul Laiu,
• Abstract要約: トレーニング済みの機械学習モデルを小さな、機密性の高いデータセットに微調整することで、個々の新しいデータポイントを記憶するリスクがある。 差分プライバシーを確保しつつ、微調整の指数的機構に基づくランダム化アルゴリズムを開発した。 MNISTベンチマークとMIMIC臨床データセットの数値実験は、既存の微分プライベート微調整技術と競合する性能を示した。
• 参考スコア（独自算出の注目度）: 6.856118376541429
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-tuning adapts a pretrained machine learning model to a small, sensitive dataset, but this process risks memorizing individual new data points, making the model vulnerable to adversaries who seek to extract sensitive information. In this work, we develop a randomized algorithm based on the exponential mechanism for fine-tuning while ensuring differential privacy. Our key idea is to construct a simple utility function that combines a local quadratic approximation of the pretrained model with information from the new dataset. The resulting exponential mechanism admits exact sampling from a multivariate normal distribution in closed form. We establish theoretical privacy guarantees, sensitivity bounds, and accuracy estimations for our method. We further introduce a random-projection strategy that makes the approach scalable to high-dimensional models. Numerical experiments on the MNIST benchmark and the MIMIC clinical dataset demonstrate competitive performance against existing differentially private fine-tuning techniques.
• Abstract（参考訳）: 微調整は、トレーニング済みの機械学習モデルを小さくて機密性の高いデータセットに適合させるが、このプロセスは個々の新しいデータポイントを記憶するリスクがあり、機密情報を抽出しようとする敵に脆弱である。 本研究では,差分プライバシーを確保しつつ,微調整の指数的機構に基づくランダム化アルゴリズムを開発する。 私たちのキーとなるアイデアは、事前訓練されたモデルの局所的な二次近似と、新しいデータセットの情報を組み合わせた、シンプルなユーティリティ関数を構築することです。 結果として生じる指数的なメカニズムは、閉形式の多変量正規分布からの正確なサンプリングを許容する。 提案手法の理論的プライバシー保証,感度境界,精度推定を行う。 さらに、高次元モデルにアプローチをスケーラブルにするランダムプロジェクション戦略を導入する。 MNISTベンチマークとMIMIC臨床データセットの数値実験は、既存の微分プライベート微調整技術と競合する性能を示した。

関連論文リスト

• High-Dimensional Differentially Private Quantile Regression: Distributed Estimation and Statistical Inference [0.26784722398800515]
  分散環境での高次元データに対する微分プライベート量子回帰法を提案する。 我々は、反復的な更新を行い、ほぼ最適な統計精度と正式なプライバシー保証を確保する、微分プライベートな推定アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2025-08-07T09:47:44Z)
• Private Training & Data Generation by Clustering Embeddings [74.00687214400021]
  差分プライバシー(DP)は、個々のデータを保護するための堅牢なフレームワークを提供する。 本稿では,DP合成画像埋め込み生成のための新しい原理的手法を提案する。 経験的に、合成的に生成された埋め込みに基づいて訓練された単純な2層ニューラルネットワークは、最先端(SOTA)分類の精度を達成する。
  論文  参考訳（メタデータ） (2025-06-20T00:17:14Z)
• Differentially Private Random Feature Model [47.35176457481132]
  プライバシを保存するカーネルマシンに対して,差分的にプライベートな特徴モデルを作成する。 本手法は,プライバシを保護し,一般化誤差を導出する。
  論文  参考訳（メタデータ） (2024-12-06T05:31:08Z)
• Bayesian Estimation and Tuning-Free Rank Detection for Probability Mass Function Tensors [17.640500920466984]
  本稿では,関節のPMFを推定し,そのランクを観測データから自動的に推定する新しい枠組みを提案する。 我々は、様々なモデルパラメータの後方分布を近似するために、変分推論(VI)に基づく決定論的解を導出し、さらに、変分推論(SVI)を利用して、VVIベースのアプローチのスケーラブルバージョンを開発する。 合成データと実映画レコメンデーションデータの両方を含む実験は、推定精度、自動ランク検出、計算効率の点で、VVIおよびSVIベースの手法の利点を示している。
  論文  参考訳（メタデータ） (2024-10-08T20:07:49Z)
• Distributed Personalized Empirical Risk Minimization [19.087524494290676]
  本稿では、異種データからの学習を容易にするために、新たなパラダイムであるPersonalized Empirical Risk Minimization(PERM)を提案する。 本稿では,標準モデル平均化をモデルシャッフルに置き換えた分散アルゴリズムを提案し,すべてのデバイスに対してPERM目標を同時に最適化する。
  論文  参考訳（メタデータ） (2023-10-26T20:07:33Z)
• Self-Supervised Dataset Distillation for Transfer Learning [77.4714995131992]
  ラベルなしデータセットを、効率的な自己教師付き学習(SSL)のための小さな合成サンプル群に蒸留する新しい問題を提案する。 両レベル最適化におけるSSL目標に対する合成サンプルの勾配は、データ拡張やマスキングから生じるランダム性から、テキストバイアスを受けていることを最初に証明する。 転送学習を含む様々な応用における本手法の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2023-10-10T10:48:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。