論文の概要: VP-NTK: Exploring the Benefits of Visual Prompting in Differentially Private Data Synthesis

• arxiv url: http://arxiv.org/abs/2503.16195v1
• Date: Thu, 20 Mar 2025 14:42:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-21 16:35:19.483320
• Title: VP-NTK: Exploring the Benefits of Visual Prompting in Differentially Private Data Synthesis
• Title（参考訳）: VP-NTK: 微分プライベートデータ合成における視覚プロンプトのメリットを探る
• Authors: Chia-Yi Hsu, Jia-You Chen, Yu-Lin Tsai, Chih-Hsun Lin, Pin-Yu Chen, Chia-Mu Yu, Chun-Ying Huang,
• Abstract要約: 微分プライベート(DP)合成データは、機密データを公開するためのデファクトスタンダードとなっている。 パラメータ効率細調整(PEFT)における新しい手法の1つは、視覚的プロンプト(VP)である。 本研究では, DP生成モデルのトレーニングにおいて, ニューラルタンジェントカーネル(NTK)のパワーを利用するDPジェネレータであるDP-NTKと組み合わせたVPが, 大幅な性能向上を実現していることを示す。
• 参考スコア（独自算出の注目度）: 48.75967507528161
• License:
• Abstract: Differentially private (DP) synthetic data has become the de facto standard for releasing sensitive data. However, many DP generative models suffer from the low utility of synthetic data, especially for high-resolution images. On the other hand, one of the emerging techniques in parameter efficient fine-tuning (PEFT) is visual prompting (VP), which allows well-trained existing models to be reused for the purpose of adapting to subsequent downstream tasks. In this work, we explore such a phenomenon in constructing captivating generative models with DP constraints. We show that VP in conjunction with DP-NTK, a DP generator that exploits the power of the neural tangent kernel (NTK) in training DP generative models, achieves a significant performance boost, particularly for high-resolution image datasets, with accuracy improving from 0.644$\pm$0.044 to 0.769. Lastly, we perform ablation studies on the effect of different parameters that influence the overall performance of VP-NTK. Our work demonstrates a promising step forward in improving the utility of DP synthetic data, particularly for high-resolution images.
• Abstract（参考訳）: 微分プライベート(DP)合成データは、機密データを公開するためのデファクトスタンダードとなっている。 しかし、多くのDP生成モデルは、特に高解像度画像において、合成データの低有用性に悩まされている。 一方、パラメータ効率のよい微調整(PEFT)における新しい手法の1つは視覚的プロンプト(VP)である。 本研究では,DP制約付き生成モデル構築におけるそのような現象について考察する。 DP生成モデルのトレーニングにおいて,ニューラルタンジェントカーネル(NTK)のパワーを利用するDPジェネレータであるDP-NTKと組み合わせたVPは,特に高解像度の画像データセットにおいて大きな性能向上を実現し,精度は0.644$\pm$0.044から0.769に向上した。 最後に,VP-NTKの全体的な性能に影響を及ぼす異なるパラメータの効果について,アブレーション研究を行った。 本研究は,DP合成データ,特に高解像度画像の有効性向上に向けた有望な一歩を示すものである。

関連論文リスト

• Privacy without Noisy Gradients: Slicing Mechanism for Generative Model Training [10.229653770070202]
  差分プライバシ(DP)を持つ生成モデルを訓練するには、通常、勾配更新にノイズを注入するか、判別器の訓練手順を適用する必要がある。 プライベートデータのランダムな低次元投影にノイズを注入するスライシングプライバシ機構について考察する。 本稿では,この分散性を考慮したカーネルベース推定器を提案し,対角訓練の必要性を回避した。
  論文  参考訳（メタデータ） (2024-10-25T19:32:58Z)
• Efficient Differentially Private Fine-Tuning of Diffusion Models [15.71777343534365]
  DP-SGDによる微調整された大規模な拡散モデルは、メモリ使用量や計算量の観点から非常にリソース需要が高い。 本研究では,低次元適応(LoDA)と微分プライバシーを用いた拡散モデルの高効率微調整(PEFT)について検討する。 ソースコードはGitHubで公開されます。
  論文  参考訳（メタデータ） (2024-06-07T21:00:20Z)
• Differentially Private Fine-Tuning of Diffusion Models [22.454127503937883]
  微分プライバシーと拡散モデル(DM)の統合は、有望だが挑戦的なフロンティアを示している。 この分野での最近の進歩は、公開データによる事前学習によって高品質な合成データを生成する可能性を強調している。 本稿では,プライバシとユーティリティのトレードオフを高めるために,トレーニング可能なパラメータの数を最小限に抑える,プライベート拡散モデルに最適化された戦略を提案する。
  論文  参考訳（メタデータ） (2024-06-03T14:18:04Z)
• DetDiffusion: Synergizing Generative and Perceptive Models for Enhanced Data Generation and Perception [78.26734070960886]
  現在の知覚モデルは、リソース集約的なデータセットに大きく依存している。 セグメンテーションを通じて知覚認識損失(P.A.損失)を導入し、品質と制御性の両方を改善した。 本手法は,世代間における知覚認識属性(P.A. Attr)の抽出と利用により,データ拡張をカスタマイズする。
  論文  参考訳（メタデータ） (2024-03-20T04:58:03Z)
• Modality-Agnostic Variational Compression of Implicit Neural Representations [96.35492043867104]
  Inlicit Neural Representation (INR) としてパラメータ化されたデータの関数的ビューに基づくモーダリティ非依存型ニューラル圧縮アルゴリズムを提案する。 潜時符号化と疎性の間のギャップを埋めて、ソフトゲーティング機構に非直線的にマッピングされたコンパクト潜時表現を得る。 このような潜在表現のデータセットを得た後、ニューラル圧縮を用いてモーダリティ非依存空間におけるレート/歪みトレードオフを直接最適化する。
  論文  参考訳（メタデータ） (2023-01-23T15:22:42Z)
• Differentially Private Diffusion Models [46.46256537222917]
  我々は近年の拡散モデル(DM)の成功の上に構築され、微分プライベート拡散モデル(DPDM)を導入している。 DMのトレーニングに適したDP-SGDの強力な修正であるノイズ多重性を提案する。 我々は,新しいDPDMを画像生成ベンチマークで検証し,すべての実験で最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-10-18T15:20:47Z)
• End-to-End Facial Deep Learning Feature Compression with Teacher-Student Enhancement [57.18801093608717]
  本稿では,ディープニューラルネットワークの表現と学習能力を活用することで,エンドツーエンドの特徴圧縮手法を提案する。 特に、抽出した特徴量を、レート歪みコストを最適化することにより、エンドツーエンドでコンパクトに符号化する。 提案モデルの有効性を顔の特徴で検証し, 圧縮性能を高いレート精度で評価した。
  論文  参考訳（メタデータ） (2020-02-10T10:08:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。