論文の概要: Tracking the Copyright of Large Vision-Language Models through Parameter Learning Adversarial Images
- arxiv url: http://arxiv.org/abs/2502.16593v1
- Date: Sun, 23 Feb 2025 14:49:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-25 15:57:12.476163
- Title: Tracking the Copyright of Large Vision-Language Models through Parameter Learning Adversarial Images
- Title(参考訳): パラメータ学習逆画像を用いた大規模視覚言語モデルの著作権追跡
- Authors: Yubo Wang, Jianting Tang, Chaohu Liu, Linli Xu,
- Abstract要約: 大規模視覚言語モデル (LVLM) は画像理解と対話能力に優れていた。
広く利用できるようになったことで、不正使用や著作権侵害に対する懸念が高まっている。
本稿では,LVLMの著作権をオリジナルモデルを変更することなく追跡する学習攻撃(PLA)手法を提案する。
- 参考スコア(独自算出の注目度): 9.351260848685229
- License:
- Abstract: Large vision-language models (LVLMs) have demonstrated remarkable image understanding and dialogue capabilities, allowing them to handle a variety of visual question answering tasks. However, their widespread availability raises concerns about unauthorized usage and copyright infringement, where users or individuals can develop their own LVLMs by fine-tuning published models. In this paper, we propose a novel method called Parameter Learning Attack (PLA) for tracking the copyright of LVLMs without modifying the original model. Specifically, we construct adversarial images through targeted attacks against the original model, enabling it to generate specific outputs. To ensure these attacks remain effective on potential fine-tuned models to trigger copyright tracking, we allow the original model to learn the trigger images by updating parameters in the opposite direction during the adversarial attack process. Notably, the proposed method can be applied after the release of the original model, thus not affecting the model's performance and behavior. To simulate real-world applications, we fine-tune the original model using various strategies across diverse datasets, creating a range of models for copyright verification. Extensive experiments demonstrate that our method can more effectively identify the original copyright of fine-tuned models compared to baseline methods. Therefore, this work provides a powerful tool for tracking copyrights and detecting unlicensed usage of LVLMs.
- Abstract(参考訳): 大規模視覚言語モデル(LVLM)は、目覚しい画像理解と対話能力を示しており、様々な視覚的質問応答タスクを処理できる。
しかし、その普及は、ユーザまたは個人が、微調整されたパブリッシュモデルによって独自のLVLMを開発することができる、不正使用と著作権侵害に関する懸念を提起する。
本稿では,LVLMの著作権を原モデルを変更することなく追跡するパラメータ学習攻撃法(PLA)を提案する。
具体的には,元モデルに対するターゲット攻撃により,敵対画像を構築し,特定の出力を生成する。
これらの攻撃が著作権追跡をトリガーする潜在的な微調整モデルに有効であることを保証するため、原モデルでは、対向攻撃過程において、反対方向のパラメータを更新することによりトリガー画像の学習を可能にする。
特に,提案手法はオリジナルのモデルのリリース後に適用でき,モデルの性能や振る舞いに影響を与えない。
実世界の応用をシミュレートするため,さまざまなデータセットにまたがるさまざまな戦略を用いてオリジナルモデルを微調整し,著作権検証のためのさまざまなモデルを作成する。
大規模な実験により,本手法はベースライン法と比較して,微調整モデルの原著作権をより効果的に識別できることが実証された。
したがって、この研究は著作権の追跡とLVLMの無許可使用を検出する強力なツールを提供する。
関連論文リスト
- SleeperMark: Towards Robust Watermark against Fine-Tuning Text-to-image Diffusion Models [77.80595722480074]
SleeperMarkは、回復力のある透かしをT2I拡散モデルに埋め込むように設計された新しいフレームワークである。
モデルは、学習したセマンティック概念から透かし情報を切り離し、埋め込み透かしを保持することができる。
各種拡散モデルにおけるSleeperMarkの有効性について実験を行った。
論文 参考訳(メタデータ) (2024-12-06T08:44:18Z) - RLCP: A Reinforcement Learning-based Copyright Protection Method for Text-to-Image Diffusion Model [42.77851688874563]
テキスト・画像拡散モデルのための強化学習に基づく著作権保護(RLCP)手法を提案する。
提案手法は,モデル生成データセットの品質を維持しつつ,著作権侵害コンテンツの生成を最小限に抑える。
論文 参考訳(メタデータ) (2024-08-29T15:39:33Z) - Evaluating Copyright Takedown Methods for Language Models [100.38129820325497]
言語モデル(LM)は、潜在的に著作権のある資料を含む様々なデータに対する広範な訓練からその能力を引き出す。
本稿では,LMの著作権削除の可能性と副作用を初めて評価する。
システムプロンプトの追加、デコード時間フィルタリングの介入、未学習アプローチなど、いくつかの戦略を検討する。
論文 参考訳(メタデータ) (2024-06-26T18:09:46Z) - CGI-DM: Digital Copyright Authentication for Diffusion Models via Contrasting Gradient Inversion [26.70115339710056]
Contrasting Gradient Inversion for Diffusion Models (CGI-DM) はデジタル著作権認証のための鮮やかな視覚表現を特徴とする新しい手法である。
入力画像が同じである場合、2つのモデルの潜在変数間のKLばらつきを定式化する。
WikiArtとDreamboothデータセットの実験は、デジタル著作権認証におけるCGI-DMの精度を実証している。
論文 参考訳(メタデータ) (2024-03-17T10:06:38Z) - Regeneration Based Training-free Attribution of Fake Images Generated by
Text-to-Image Generative Models [39.33821502730661]
そこで本研究では,テキスト・ツー・イメージ・モデルによって生成された偽画像をソース・モデルに属性付けするためのトレーニング不要な手法を提案する。
テスト画像と候補画像の類似性を計算し、ランキングすることにより、画像のソースを決定することができる。
論文 参考訳(メタデータ) (2024-03-03T11:55:49Z) - A Dataset and Benchmark for Copyright Infringement Unlearning from Text-to-Image Diffusion Models [52.49582606341111]
著作権法は、クリエイティブ作品を再生、配布、収益化する排他的権利をクリエイターに与えている。
テキスト・ツー・イメージ・ジェネレーションの最近の進歩は、著作権の執行に重大な課題をもたらしている。
CLIP、ChatGPT、拡散モデルを調和させてデータセットをキュレートする新しいパイプラインを導入する。
論文 参考訳(メタデータ) (2024-01-04T11:14:01Z) - IMPRESS: Evaluating the Resilience of Imperceptible Perturbations
Against Unauthorized Data Usage in Diffusion-Based Generative AI [52.90082445349903]
拡散ベースの画像生成モデルは、アーティストのスタイルを模倣するアートイメージを作成したり、偽のコンテンツのためにオリジナルの画像を悪意を持って編集することができる。
知覚不能な摂動を追加することによって、元のイメージをそのような不正なデータ使用から保護する試みがいくつかなされている。
本研究では, IMPRESS という浄化摂動プラットフォームを導入し, 非受容性摂動の有効性を保護策として評価する。
論文 参考訳(メタデータ) (2023-10-30T03:33:41Z) - DIAGNOSIS: Detecting Unauthorized Data Usages in Text-to-image Diffusion Models [79.71665540122498]
保護されたデータセットにインジェクトされたコンテンツを配置することで、不正なデータ利用を検出する手法を提案する。
具体的には、ステルス画像ワープ機能を用いて、これらの画像にユニークな内容を追加することにより、保護された画像を修正する。
このモデルが注入されたコンテンツを記憶したかどうかを解析することにより、不正に不正に使用したモデルを検出することができる。
論文 参考訳(メタデータ) (2023-07-06T16:27:39Z) - MOVE: Effective and Harmless Ownership Verification via Embedded
External Features [109.19238806106426]
本稿では,異なる種類のモデル盗難を同時に防ぐために,効果的かつ無害なモデル所有者認証(MOVE)を提案する。
我々は、疑わしいモデルがディフェンダー特定外部特徴の知識を含むかどうかを検証し、所有権検証を行う。
特に、包括的モデル保護を提供するために、ホワイトボックスとブラックボックスの両方の設定でMOVE法を開発した。
論文 参考訳(メタデータ) (2022-08-04T02:22:29Z) - DynaMarks: Defending Against Deep Learning Model Extraction Using
Dynamic Watermarking [3.282282297279473]
ディープラーニング(DL)モデルの機能は、モデル抽出によって盗むことができる。
本稿では,DLモデルの知的財産権(IP)を保護するため,DynaMarksと呼ばれる新しい透かし手法を提案する。
論文 参考訳(メタデータ) (2022-07-27T06:49:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。