論文の概要: Vision-Language Model IP Protection via Prompt-based Learning

• arxiv url: http://arxiv.org/abs/2503.02393v1
• Date: Tue, 04 Mar 2025 08:31:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:17:54.079863
• Title: Vision-Language Model IP Protection via Prompt-based Learning
• Title（参考訳）: プロンプト学習による視覚言語モデルIP保護
• Authors: Lianyu Wang, Meng Wang, Huazhu Fu, Daoqiang Zhang,
• Abstract要約: 視覚言語モデル(VLM)に適した軽量IP保護戦略であるIP-CLIPを導入する。 CLIPの凍結した視覚的バックボーンを利用することで、画像スタイルとコンテンツ情報の両方を抽出し、IPプロンプトの学習に取り入れる。 この戦略は堅牢な障壁として機能し、権限のないドメインから権限のないドメインへの機能移転を効果的に防止する。
• 参考スコア（独自算出の注目度）: 52.783709712318405
• License:
• Abstract: Vision-language models (VLMs) like CLIP (Contrastive Language-Image Pre-Training) have seen remarkable success in visual recognition, highlighting the increasing need to safeguard the intellectual property (IP) of well-trained models. Effective IP protection extends beyond ensuring authorized usage; it also necessitates restricting model deployment to authorized data domains, particularly when the model is fine-tuned for specific target domains. However, current IP protection methods often rely solely on the visual backbone, which may lack sufficient semantic richness. To bridge this gap, we introduce IP-CLIP, a lightweight IP protection strategy tailored to CLIP, employing a prompt-based learning approach. By leveraging the frozen visual backbone of CLIP, we extract both image style and content information, incorporating them into the learning of IP prompt. This strategy acts as a robust barrier, effectively preventing the unauthorized transfer of features from authorized domains to unauthorized ones. Additionally, we propose a style-enhancement branch that constructs feature banks for both authorized and unauthorized domains. This branch integrates self-enhanced and cross-domain features, further strengthening IP-CLIP's capability to block features from unauthorized domains. Finally, we present new three metrics designed to better balance the performance degradation of authorized and unauthorized domains. Comprehensive experiments in various scenarios demonstrate its promising potential for application in IP protection tasks for VLMs.
• Abstract（参考訳）: CLIP(Contrastive Language- Image Pre-Training)のような視覚言語モデル(VLM)は、よく訓練されたモデルの知的財産権(IP)を保護する必要性が高まり、視覚認識において顕著な成功を収めている。 有効なIP保護は、認証された使用を保証するだけでなく、特に特定のターゲットドメインに対して微調整されたモデルの場合、認証されたデータドメインへのモデルデプロイメントを制限する必要もある。 しかし、現在のIP保護手法は視覚的なバックボーンのみに依存しており、十分なセマンティック・リッチ性に欠ける可能性がある。 このギャップを埋めるために、我々はCLIPに適した軽量IP保護戦略であるIP-CLIPを導入し、プロンプトベースの学習アプローチを採用した。 CLIPの凍結した視覚的バックボーンを利用することで、画像スタイルとコンテンツ情報の両方を抽出し、IPプロンプトの学習に取り入れる。 この戦略は堅牢な障壁として機能し、権限のないドメインから権限のないドメインへの機能移転を効果的に防止する。 さらに,認証ドメインと無認可ドメインの両方に特徴バンクを構築するスタイル拡張ブランチを提案する。 このブランチは自己拡張機能とクロスドメイン機能を統合し、IP-CLIPの機能を強化して、権限のないドメインから機能をブロックする。 最後に、認証ドメインと無認可ドメインのパフォーマンス劣化のバランスを改善するために設計された、新しい3つのメトリクスを提案する。 様々なシナリオにおける総合的な実験は、VLMのIP保護タスクへの応用の可能性を示している。

関連論文リスト

• In the Era of Prompt Learning with Vision-Language Models [1.060608983034705]
  ドメイン一般化のためのドメインに依存しない新しい学習戦略であるtextscStyLIP を紹介する。 StyLIPは、スタイルプロジェクタを使用してドメイン固有のプロンプトトークンを学習することで、CLIPsビジョンエンコーダの視覚スタイルとコンテンツを切り離す。 また,CLIPの凍結視覚バックボーンを利用した非教師なし領域適応(DA)のためのAD-CLIPを提案する。
  論文  参考訳（メタデータ） (2024-11-07T17:31:21Z)
• Say No to Freeloader: Protecting Intellectual Property of Your Deep Model [52.783709712318405]
  コンパクト・アントランスファーブル・ピラミッド分離ドメイン(CUPI-Domain)は、権限のないドメインから権限のないドメインへの違法な転送に対する障壁として機能する。 本稿では,CUPI-Domain と CUPI-Domain の両方の特徴をアンカーとして選択する CUPI-Domain ジェネレータを提案する。 非許可ドメインが知られているかどうかに基づいて、CUPI-Domainを利用するための2つのソリューションを提供する。
  論文  参考訳（メタデータ） (2024-08-23T15:34:33Z)
• ModelShield: Adaptive and Robust Watermark against Model Extraction Attack [58.46326901858431]
  大規模言語モデル(LLM)は、さまざまな機械学習タスクにまたがる汎用インテリジェンスを示す。 敵はモデル抽出攻撃を利用して モデル生成で符号化された モデルインテリジェンスを盗むことができる ウォーターマーキング技術は、モデル生成コンテンツにユニークな識別子を埋め込むことによって、このような攻撃を防御する有望なソリューションを提供する。
  論文  参考訳（メタデータ） (2024-05-03T06:41:48Z)
• EncryIP: A Practical Encryption-Based Framework for Model Intellectual Property Protection [17.655627250882805]
  本稿では,TextitEncryIPという,実用的な暗号化ベースのフレームワークを紹介する。 公開鍵暗号スキームをモデル学習プロセスにシームレスに統合する。 これは、トレーニングされた保護されたモデルと、許可されていないMLモデルの拡散を効率的に検出する双方において、優れた効果を示す。
  論文  参考訳（メタデータ） (2023-12-19T11:11:03Z)
• Adversarial Prompt Tuning for Vision-Language Models [86.5543597406173]
  AdvPT(Adversarial Prompt Tuning)は、視覚言語モデル(VLM)における画像エンコーダの対向ロバスト性を高める技術である。 我々は,AdvPTが白箱攻撃や黒箱攻撃に対する抵抗性を向上し,既存の画像処理による防御技術と組み合わせることで相乗効果を示すことを示した。
  論文  参考訳（メタデータ） (2023-11-19T07:47:43Z)
• Model Barrier: A Compact Un-Transferable Isolation Domain for Model Intellectual Property Protection [52.08301776698373]
  我々は、CUTIドメイン(Compact Un-TransferableIsolateion Domain)と呼ばれる新しいアプローチを提案する。 CUTIドメインは、権限のないドメインから権限のないドメインへの違法な転送を阻止する障壁として機能する。 CUTIドメインは,異なるバックボーンを持つプラグイン・アンド・プレイモジュールとして容易に実装可能であることを示す。
  論文  参考訳（メタデータ） (2023-03-20T13:07:11Z)
• Copyright Protection and Accountability of Generative AI:Attack, Watermarking and Attribution [7.0159295162418385]
  本稿では,GANの著作権保護対策の現状を概観する評価枠組みを提案する。 以上の結果から,入力画像,モデル透かし,帰属ネットワークなどの知的財産権保護手法は,広範囲のGANに好適であることが示唆された。
  論文  参考訳（メタデータ） (2023-03-15T06:40:57Z)
• Fingerprinting Image-to-Image Generative Adversarial Networks [53.02510603622128]
  Generative Adversarial Networks (GAN) は様々なアプリケーションシナリオで広く利用されている。 本稿では,信頼できる第三者に基づく画像間GANの知的保護のための新しい指紋認証方式を提案する。
  論文  参考訳（メタデータ） (2021-06-19T06:25:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。