論文の概要: Revealing the Unseen: Guiding Personalized Diffusion Models to Expose Training Data

• arxiv url: http://arxiv.org/abs/2410.03039v1
• Date: Thu, 3 Oct 2024 23:06:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-03 04:16:10.902338
• Title: Revealing the Unseen: Guiding Personalized Diffusion Models to Expose Training Data
• Title（参考訳）: 未知の発見:個人化拡散モデルによるトレーニングデータの抽出
• Authors: Xiaoyu Wu, Jiaru Zhang, Steven Wu,
• Abstract要約: 拡散モデル(DM)は高度な画像生成ツールへと進化してきた。 FineXtractは、微調整データを抽出するフレームワークである。 WikiArtやDreamBoothといったデータセットで微調整されたDMの実験や、オンラインにポストされた実世界のチェックポイントは、我々の方法の有効性を検証する。
• 参考スコア（独自算出の注目度）: 10.619162675453806
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion Models (DMs) have evolved into advanced image generation tools, especially for few-shot fine-tuning where a pretrained DM is fine-tuned on a small set of images to capture specific styles or objects. Many people upload these personalized checkpoints online, fostering communities such as Civitai and HuggingFace. However, model owners may overlook the potential risks of data leakage by releasing their fine-tuned checkpoints. Moreover, concerns regarding copyright violations arise when unauthorized data is used during fine-tuning. In this paper, we ask: "Can training data be extracted from these fine-tuned DMs shared online?" A successful extraction would present not only data leakage threats but also offer tangible evidence of copyright infringement. To answer this, we propose FineXtract, a framework for extracting fine-tuning data. Our method approximates fine-tuning as a gradual shift in the model's learned distribution -- from the original pretrained DM toward the fine-tuning data. By extrapolating the models before and after fine-tuning, we guide the generation toward high-probability regions within the fine-tuned data distribution. We then apply a clustering algorithm to extract the most probable images from those generated using this extrapolated guidance. Experiments on DMs fine-tuned with datasets such as WikiArt, DreamBooth, and real-world checkpoints posted online validate the effectiveness of our method, extracting approximately 20% of fine-tuning data in most cases, significantly surpassing baseline performance.
• Abstract（参考訳）: 拡散モデル(DM)は高度な画像生成ツールへと進化し、特に、訓練済みのDMを小さな画像に微調整して特定のスタイルやオブジェクトをキャプチャする数ショットの微調整を行う。 多くの人がこれらのパーソナライズされたチェックポイントをオンラインでアップロードし、CivitaiやHuggingFaceといったコミュニティを育てている。 しかし、モデル所有者は、微調整されたチェックポイントをリリースすることによって、データ漏洩の潜在的なリスクを見落としてしまう可能性がある。 さらに、微調整中に不正なデータが使用される場合、著作権侵害に関する懸念が生じる。 本稿では,「オンライン共有されたこれらの微調整DMから学習データを抽出するのか?」と問う。 抽出が成功すると、データ漏洩の脅威だけでなく、著作権侵害の明確な証拠も提示される。 そこで本研究では,微調整データを抽出するフレームワークであるFineXtractを提案する。 本手法は,モデルが学習した分布の段階的変化として微調整を近似する。 微調整前後のモデルを外挿することにより、微調整データ分布内の高確率領域への生成を導出する。 次に,この外挿法を用いて生成した画像から最も確率の高い画像を抽出するために,クラスタリングアルゴリズムを適用した。 WikiArtやDreamBoothなどのデータセットで微調整されたDMと実世界のチェックポイントを用いた実験は,本手法の有効性を検証し,ほとんどの場合において約20%の微調整データを抽出し,ベースライン性能を大幅に上回った。

関連論文リスト

• Training Data Attribution: Was Your Model Secretly Trained On Data Created By Mine? [17.714589429503675]
  テキスト・ツー・イメージ・モデルに対するインジェクションフリーなトレーニングデータ属性法を提案する。 我々のアプローチでは、異なるサンプルを発見できるアルゴリズムを開発し、それらを固有の透かしとして利用する。 実験により,疑わしいモデルのトレーニングデータのソースを特定する精度が80%以上であることが確認された。
  論文  参考訳（メタデータ） (2024-09-24T06:23:43Z)
• Risks When Sharing LoRA Fine-Tuned Diffusion Model Weights [0.10878040851638002]
  本研究では, 微調整拡散モデルのプライバシー漏洩問題について, 現実的に検討する。 敵は、プライベート画像と同じIDを含む画像を生成することができる。
  論文  参考訳（メタデータ） (2024-09-13T02:13:26Z)
• Forget to Flourish: Leveraging Machine-Unlearning on Pretrained Language Models for Privacy Leakage [12.892449128678516]
  下流アプリケーション用のプライベートデータ上の微調整言語モデルは、重大なプライバシーリスクを生じさせる。 いくつかの人気のあるコミュニティプラットフォームが、様々な事前訓練されたモデルの便利な配布を提供している。 本稿では,モデル学習を攻撃ツールとして利用する新しい毒殺手法を提案する。
  論文  参考訳（メタデータ） (2024-08-30T15:35:09Z)
• Slight Corruption in Pre-training Data Makes Better Diffusion Models [71.90034201302397]
  拡散モデル(DM)は、高品質な画像、オーディオ、ビデオを生成する際、顕著な能力を示している。 DMは大規模なデータセットでの広範な事前トレーニングの恩恵を受ける。 しかしながら、事前トレーニングデータセットは、しばしば、データを正確に記述しないような、破損したペアを含んでいる。 本稿では,DMの事前学習データにそのような汚職が及ぼす影響について,初めて包括的研究を行った。
  論文  参考訳（メタデータ） (2024-05-30T21:35:48Z)
• Domain Watermark: Effective and Harmless Dataset Copyright Protection is Closed at Hand [96.26251471253823]
  バックドアベースのデータセットオーナシップ検証(DOV)は現在、オープンソースデータセットの著作権を保護するための唯一の実現可能なアプローチである。 我々は、(保護されたデータセットでトレーニングされた)ウォーターマークされたモデルを、良質なモデルによって誤って分類されるであろう、いくつかの難しい'サンプルを正しく分類する。
  論文  参考訳（メタデータ） (2023-10-09T11:23:05Z)
• DIAGNOSIS: Detecting Unauthorized Data Usages in Text-to-image Diffusion Models [79.71665540122498]
  保護されたデータセットにインジェクトされたコンテンツを配置することで、不正なデータ利用を検出する手法を提案する。 具体的には、ステルス画像ワープ機能を用いて、これらの画像にユニークな内容を追加することにより、保護された画像を修正する。 このモデルが注入されたコンテンツを記憶したかどうかを解析することにより、不正に不正に使用したモデルを検出することができる。
  論文  参考訳（メタデータ） (2023-07-06T16:27:39Z)
• The Devil's Advocate: Shattering the Illusion of Unexploitable Data using Diffusion Models [14.018862290487617]
  データ保護の摂動に対抗して、慎重に設計された分極処理が可能であることを示す。 AVATARと呼ばれる我々のアプローチは、最近のアベイラビリティーアタックに対して最先端のパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2023-03-15T10:20:49Z)
• On Calibrating Diffusion Probabilistic Models [78.75538484265292]
  拡散確率モデル(DPM)は様々な生成タスクにおいて有望な結果を得た。 そこで本研究では,任意の事前学習DPMを校正する簡単な方法を提案する。 キャリブレーション法は1回だけ行い, 得られたモデルをサンプリングに繰り返し使用することができる。
  論文  参考訳（メタデータ） (2023-02-21T14:14:40Z)
• Black-box Dataset Ownership Verification via Backdoor Watermarking [67.69308278379957]
  我々は、リリースデータセットの保護を、(目立たしい)サードパーティモデルのトレーニングに採用されているかどうかの検証として定式化する。 バックドアの透かしを通じて外部パターンを埋め込んでオーナシップの検証を行い,保護することを提案する。 具体的には、有毒なバックドア攻撃(例えばBadNets)をデータセットのウォーターマーキングに利用し、データセット検証のための仮説テストガイダンスメソッドを設計する。
  論文  参考訳（メタデータ） (2022-08-04T05:32:20Z)
• Distill and Fine-tune: Effective Adaptation from a Black-box Source Model [138.12678159620248]
  Unsupervised Domain Adapt (UDA) は、既存のラベル付きデータセット (source) の知識を新しいラベル付きデータセット (target) に転送することを目的としています。 Distill and Fine-tune (Dis-tune) という新しい二段階適応フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-04T05:29:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。