論文の概要: Training Data Attribution: Was Your Model Secretly Trained On Data Created By Mine?

• arxiv url: http://arxiv.org/abs/2409.15781v1
• Date: Tue, 24 Sep 2024 06:23:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-26 08:51:16.966747
• Title: Training Data Attribution: Was Your Model Secretly Trained On Data Created By Mine?
• Title（参考訳）: トレーニングデータ属性:あなたのモデルは、マイニングによって作成されたデータに基づいて秘密にトレーニングされましたか?
• Authors: Likun Zhang, Hao Wu, Lingcui Zhang, Fengyuan Xu, Jin Cao, Fenghua Li, Ben Niu,
• Abstract要約: テキスト・ツー・イメージ・モデルに対するインジェクションフリーなトレーニングデータ属性法を提案する。 我々のアプローチでは、異なるサンプルを発見できるアルゴリズムを開発し、それらを固有の透かしとして利用する。 実験により,疑わしいモデルのトレーニングデータのソースを特定する精度が80%以上であることが確認された。
• 参考スコア（独自算出の注目度）: 17.714589429503675
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The emergence of text-to-image models has recently sparked significant interest, but the attendant is a looming shadow of potential infringement by violating the user terms. Specifically, an adversary may exploit data created by a commercial model to train their own without proper authorization. To address such risk, it is crucial to investigate the attribution of a suspicious model's training data by determining whether its training data originates, wholly or partially, from a specific source model. To trace the generated data, existing methods require applying extra watermarks during either the training or inference phases of the source model. However, these methods are impractical for pre-trained models that have been released, especially when model owners lack security expertise. To tackle this challenge, we propose an injection-free training data attribution method for text-to-image models. It can identify whether a suspicious model's training data stems from a source model, without additional modifications on the source model. The crux of our method lies in the inherent memorization characteristic of text-to-image models. Our core insight is that the memorization of the training dataset is passed down through the data generated by the source model to the model trained on that data, making the source model and the infringing model exhibit consistent behaviors on specific samples. Therefore, our approach involves developing algorithms to uncover these distinct samples and using them as inherent watermarks to verify if a suspicious model originates from the source model. Our experiments demonstrate that our method achieves an accuracy of over 80\% in identifying the source of a suspicious model's training data, without interfering the original training or generation process of the source model.
• Abstract（参考訳）: テキスト・ツー・イメージ・モデルの出現は、最近大きな関心を呼んだが、参加者はユーザー用語に違反して潜在的に侵害される恐れのある影である。 具体的には、敵は、商業モデルによって作成されたデータを利用して、適切な認可なしに自らを訓練することができる。 このようなリスクに対処するためには、不審モデルのトレーニングデータの帰属を特定ソースモデルから完全に又は部分的に判断することで、不審モデルのトレーニングデータの帰属を調査することが重要である。 生成されたデータをトレースするためには、既存の手法では、ソースモデルのトレーニングまたは推論フェーズ中に余分な透かしを適用する必要がある。 しかしながら、これらの手法は、特にモデル所有者がセキュリティの専門知識を欠いている場合に、リリースされている事前訓練されたモデルにとって実用的ではない。 この課題に対処するために,テキスト・ツー・イメージ・モデルに対するインジェクションフリーなトレーニングデータ属性法を提案する。 疑わしいモデルのトレーニングデータが、ソースモデルに追加の変更を加えることなく、ソースモデルに由来するかどうかを特定することができる。 本手法の要点は,テキスト・ツー・イメージ・モデル固有の記憶特性にある。 私たちの中核的な洞察は、トレーニングデータセットの記憶は、ソースモデルによって生成されたデータから、そのデータに基づいてトレーニングされたモデルに受け継がれ、ソースモデルと侵害モデルは、特定のサンプルに対して一貫した振る舞いを示す、ということです。 そこで本研究では,これらの異なるサンプルを探索するアルゴリズムを開発し,疑わしいモデルがソースモデルに由来するかどうかを検証するために,固有な透かしとして使用する。 本実験は,疑わしいモデルのトレーニングデータのソースを特定する際に,元のトレーニングや生成プロセスに干渉することなく,80%以上の精度を達成できることを実証する。

関連論文リスト

• Towards Reliable Verification of Unauthorized Data Usage in Personalized Text-to-Image Diffusion Models [23.09033991200197]
  新しいパーソナライズ技術は、特定のテーマやスタイルのイメージを作成するために、事前訓練されたベースモデルをカスタマイズするために提案されている。 このような軽量なソリューションは、パーソナライズされたモデルが不正なデータからトレーニングされているかどうかに関して、新たな懸念を生じさせる。 我々は、ブラックボックスパーソナライズされたテキスト・ツー・イメージ拡散モデルにおいて、不正なデータ使用を積極的に追跡する新しい手法であるSIRENを紹介する。
  論文  参考訳（メタデータ） (2024-10-14T12:29:23Z)
• On the Stability of Iterative Retraining of Generative Models on their own Data [56.153542044045224]
  混合データセットに対する生成モデルの訓練が与える影響について検討する。 まず、初期生成モデルがデータ分布を十分に近似する条件下で反復学習の安定性を実証する。 我々は、正規化フローと最先端拡散モデルを繰り返し訓練することにより、合成画像と自然画像の両方に関する我々の理論を実証的に検証する。
  論文  参考訳（メタデータ） (2023-09-30T16:41:04Z)
• DIAGNOSIS: Detecting Unauthorized Data Usages in Text-to-image Diffusion Models [79.71665540122498]
  保護されたデータセットにインジェクトされたコンテンツを配置することで、不正なデータ利用を検出する手法を提案する。 具体的には、ステルス画像ワープ機能を用いて、これらの画像にユニークな内容を追加することにより、保護された画像を修正する。 このモデルが注入されたコンテンツを記憶したかどうかを解析することにより、不正に不正に使用したモデルを検出することができる。
  論文  参考訳（メタデータ） (2023-07-06T16:27:39Z)
• Tools for Verifying Neural Models' Training Data [29.322899317216407]
  The Proof-of-Training-Data”では、モデルトレーナーがモデルの重みを発生させたトレーニングデータの検証を納得させることができる。 検証手順が多種多様な攻撃をキャッチできることを実験的に示す。
  論文  参考訳（メタデータ） (2023-07-02T23:27:00Z)
• Quantifying Sample Anonymity in Score-Based Generative Models with Adversarial Fingerprinting [3.8933108317492167]
  プライベートデータ上での拡散モデルをトレーニングし、生データセットではなくモデルと重みを広めることで、革新的な大規模データ共有戦略の道を開く。 本稿では,サンプリング過程において,識別可能な訓練画像の再生確率の上限を推定する手法を提案する。 以上の結果から,モデルが不注意にトレーニングされた場合,プライバシブリーチング画像はサンプリング時に再生されることがわかった。
  論文  参考訳（メタデータ） (2023-06-02T08:37:38Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• MOVE: Effective and Harmless Ownership Verification via Embedded External Features [109.19238806106426]
  本稿では,異なる種類のモデル盗難を同時に防ぐために,効果的かつ無害なモデル所有者認証(MOVE)を提案する。 我々は、疑わしいモデルがディフェンダー特定外部特徴の知識を含むかどうかを検証し、所有権検証を行う。 特に、包括的モデル保護を提供するために、ホワイトボックスとブラックボックスの両方の設定でMOVE法を開発した。
  論文  参考訳（メタデータ） (2022-08-04T02:22:29Z)
• Defending against Model Stealing via Verifying Embedded External Features [90.29429679125508]
  トレーニングサンプルがなく、モデルパラメータや構造にアクセスできない場合でも、敵はデプロイされたモデルを盗むことができる。 我々は、不審なモデルがディフェンダー特定遠近法の特徴の知識を含んでいるかどうかを検証することによって、他の角度からの防御を探索する。 本手法は, 複数段階の盗難処理によって盗難モデルが得られた場合でも, 同時に異なる種類の盗難モデルを検出するのに有効である。
  論文  参考訳（メタデータ） (2021-12-07T03:51:54Z)
• Dataset Inference: Ownership Resolution in Machine Learning [18.248121977353506]
  盗難モデルの訓練セットに含まれる知識は 全ての盗難コピーに共通しています 疑わしいモデルコピーが元のモデルのデータセットからプライベートな知識を持っているかどうかを識別するプロセスである$dataset$ $inferenceを紹介します。 CIFAR10、SVHN、CIFAR100、ImageNetの実験では、モデル所有者はモデル(または実際にデータセット)が盗まれたと99%以上の自信を持って主張できる。
  論文  参考訳（メタデータ） (2021-04-21T18:12:18Z)
• Learning from others' mistakes: Avoiding dataset biases without modeling them [111.17078939377313]
  最先端自然言語処理(NLP)モデルは、意図したタスクをターゲットとする機能ではなく、データセットのバイアスや表面形状の相関をモデル化することを学ぶことが多い。 これまでの研究は、バイアスに関する知識が利用できる場合に、これらの問題を回避するための効果的な方法を示してきた。 本稿では,これらの問題点を無視する学習モデルについて述べる。
  論文  参考訳（メタデータ） (2020-12-02T16:10:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。