論文の概要: DP-SAPF: Saliency-Aware Parameter Fine-tuning of Public Models for Differentially Private Image Synthesis

• arxiv url: http://arxiv.org/abs/2605.30312v1
• Date: Thu, 28 May 2026 17:53:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:56.650828
• Title: DP-SAPF: Saliency-Aware Parameter Fine-tuning of Public Models for Differentially Private Image Synthesis
• Title（参考訳）: DP-SAPF:個人差分画像合成のための公共モデルの精度を考慮したパラメータ微調整
• Authors: Chen Gong, Kecen Li, Zinan Lin, Tianhao Wang,
• Abstract要約: 差分プライベート(DP)画像は、センシティブデータセットの統計的特性を保持する画像を生成する。 DPグラディエントDescent (DP-SGD) を用いた高感度画像から合成画像を生成する既存手法について検討した。 本稿では,DP-SAPFを提案する。このDP-SAPFは,DP下でのLoRAトレーニングの特定の目標パラメータを特定するために,Saliency-aware 戦略を用いている。
• 参考スコア（独自算出の注目度）: 18.158096061348157
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differentially private (DP) image synthesis generates images that preserve the statistical characteristics of a sensitive dataset, enabling sensitive data analysis and usage while providing rigorous guarantees of privacy leakage. Existing methods fine-tune public models using DP Stochastic Gradient Descent (DP-SGD) on sensitive images to generate synthetic images. But full fine-tuning public models on sensitive images is computationally expensive, because current public models typically contain a large number of parameters. Recent work proposes heuristically using Low-Rank Adaptation (LoRA) on all attention-layer parameters of public models to reduce the number of trainable parameters. However, we argue that exhaustive LoRA coverage across all attention-layer parameters is suboptimal in a DP setting, as it leads to noise accumulation and collapse during private training. To address this issue, we propose DP-SAPF, which uses a saliency-aware strategy to identify specific target parameters for LoRA training under DP. DP-SAPF is inspired by the fact that larger gradients signify higher saliency, indicating that these parameters are most critical for the DP learning. Specifically, we feed the sensitive images into public models, compute gradients, and add noise to the gradients to satisfy DP. Then, DP-SAPF identifies the most salient parameters, those exhibiting high gradient magnitudes on sensitive images, for DP fine-tuning. Experiments on four sensitive image datasets show that DP-SAPF improves the utility and fidelity of synthetic images while requiring fewer computational resources than fine-tuning methods without parameter selection.
• Abstract（参考訳）: 差分プライベート(DP)画像合成は、センシティブなデータセットの統計特性を保持する画像を生成し、プライバシー漏洩の厳密な保証を提供しながら、センシティブなデータ分析と使用を可能にする。 DP-SGD(DP Stochastic Gradient Descent, DP-SGD)を用いた合成画像の生成法について検討した。 しかし、高感度画像の完全な微調整公開モデルは計算に費用がかかる。 最近の研究は、訓練可能なパラメータの数を減らすために、公共モデルのすべての注意層パラメータにローランド適応(LoRA)をヒューリスティックに使用することを提案する。 しかし,全ての注意層パラメータにわたるLoRAの網羅的カバレッジは,プライベートトレーニング中にノイズの蓄積や崩壊につながるため,DP設定では最適以下である,と我々は主張する。 この問題に対処するため,DP-SAPFを提案する。 DP-SAPFは、より大きな勾配が高塩分濃度を示すという事実に着想を得ており、これらのパラメータがDP学習に最も重要であることを示している。 具体的には、機密画像をパブリックモデルにフィードし、勾配を計算し、DPを満たすために勾配に雑音を加える。 次に、DP-SAPFは、DP微調整のために、感度画像に高い勾配等級を示す最も有能なパラメータを識別する。 4つの感度画像データセットの実験により、DP-SAPFはパラメータ選択なしの微調整法よりも計算資源が少なく、合成画像の有用性と忠実性を向上することが示された。

関連論文リスト

• DP-SelFT: Differentially Private Selective Fine-Tuning for Large Language Models [28.62057098410814]
  大規模言語モデル(LLM)の個人選択微調整のためのフレームワークであるDP-SelFTを提案する。 DP-SelFTは、パラメータ選択におけるDP固有の3つの課題に対処している。 実験の結果、DP-SelFTはプライバシー保証の下で、既存のDPファインチューニングベースラインに対するプライバシーとユーティリティのトレードオフを一貫して改善していることがわかった。
  論文  参考訳（メタデータ） (2026-05-17T12:55:11Z)
• Decomposing Private Image Generation via Coarse-to-Fine Wavelet Modeling [25.30412582520304]
  画像の最もプライバシーに敏感な部分はウェーブレット空間の低周波成分である、という仮説に基づくスペクトルDPフレームワークを提案する。 最初の段階では、画像のグローバル構造にプライバシー予算を制限し、DPのポストプロセッシング特性を細部の改良に活用することにより、プライバシーと実用性の間の有望なトレードオフを実現する。
  論文  参考訳（メタデータ） (2026-02-26T17:36:48Z)
• DP-RFT: Learning to Generate Synthetic Text via Differentially Private Reinforcement Fine-Tuning [51.35628297101575]
  差分的プライベート(DP)合成データ生成は,個人データ上での大規模言語モデル(LLM)の開発において重要な役割を担っている。 LLMを用いた合成データ生成のためのオンライン強化学習アルゴリズムDP-RFTを導入する。 DP-RFTは,ニュース記事や会議録,医療記事の要約など,長文およびドメイン固有の合成データ生成に有用である。
  論文  参考訳（メタデータ） (2026-02-20T22:03:56Z)
• DPImageBench: A Unified Benchmark for Differentially Private Image Synthesis [18.158096061348157]
  差分プライベート(DP)画像合成は、データセット内の個々の画像のプライバシーを保護しながら、機密画像の特性を保持する人工画像を生成することを目的としている。 近年の進歩にもかかわらず、不整合かつ時には欠陥のある評価プロトコルが研究全体で適用されている。 本稿では,DP画像合成のためのDPImageBenchについて述べる。
  論文  参考訳（メタデータ） (2025-03-18T19:37:35Z)
• Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
  Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。 提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
  論文  参考訳（メタデータ） (2023-11-24T17:56:44Z)
• Private Ad Modeling with DP-SGD [58.670969449674395]
  プライバシ保護MLにおけるよく知られたアルゴリズムは、差分プライベート勾配降下(DP-SGD)である 本研究では,DP-SGDをクリックスルー率,変換率,変換イベント数などの広告モデリングタスクに適用する。 私たちの研究は、DP-SGDが広告モデリングタスクのプライバシーとユーティリティの両方を提供できることを実証的に実証した初めてのものです。
  論文  参考訳（メタデータ） (2022-11-21T22:51:16Z)
• Smoothed Differential Privacy [55.415581832037084]
  微分プライバシー(DP)は、最悪のケース分析に基づいて広く受け入れられ、広く適用されているプライバシーの概念である。 本稿では, 祝賀されたスムーズな解析の背景にある最悪の平均ケースのアイデアに倣って, DPの自然な拡張を提案する。 サンプリング手順による離散的なメカニズムはDPが予測するよりもプライベートであるのに対して,サンプリング手順による連続的なメカニズムはスムーズなDP下では依然としてプライベートではないことが証明された。
  論文  参考訳（メタデータ） (2021-07-04T06:55:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。