論文の概要: PATFinger: Prompt-Adapted Transferable Fingerprinting against Unauthorized Multimodal Dataset Usage

• arxiv url: http://arxiv.org/abs/2504.11509v2
• Date: Thu, 17 Apr 2025 06:10:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-18 10:52:36.100021
• Title: PATFinger: Prompt-Adapted Transferable Fingerprinting against Unauthorized Multimodal Dataset Usage
• Title（参考訳）: PATFinger: 認可されていないマルチモーダルデータセット使用に対するプロンプト適応トランスファー可能なフィンガープリント
• Authors: Wenyi Zhang, Ju Jia, Xiaojun Jia, Yihao Huang, Xinfeng Li, Cong Wu, Lina Wang,
• Abstract要約: マルチモーダルデータセットは、クロスモーダルセマンティクスを提供することで、事前訓練されたビジョン適応モデルに活用することができる。 本稿では,PATFingerと呼ばれる新しいプロンプト言語変換可能なフィンガープリント手法を提案する。 提案手法では,モデルにトリガを学習させる代わりに,固有データセット属性を指紋として利用する。
• 参考スコア（独自算出の注目度）: 19.031839603738057
• License:
• Abstract: The multimodal datasets can be leveraged to pre-train large-scale vision-language models by providing cross-modal semantics. Current endeavors for determining the usage of datasets mainly focus on single-modal dataset ownership verification through intrusive methods and non-intrusive techniques, while cross-modal approaches remain under-explored. Intrusive methods can adapt to multimodal datasets but degrade model accuracy, while non-intrusive methods rely on label-driven decision boundaries that fail to guarantee stable behaviors for verification. To address these issues, we propose a novel prompt-adapted transferable fingerprinting scheme from a training-free perspective, called PATFinger, which incorporates the global optimal perturbation (GOP) and the adaptive prompts to capture dataset-specific distribution characteristics. Our scheme utilizes inherent dataset attributes as fingerprints instead of compelling the model to learn triggers. The GOP is derived from the sample distribution to maximize embedding drifts between different modalities. Subsequently, our PATFinger re-aligns the adaptive prompt with GOP samples to capture the cross-modal interactions on the carefully crafted surrogate model. This allows the dataset owner to check the usage of datasets by observing specific prediction behaviors linked to the PATFinger during retrieval queries. Extensive experiments demonstrate the effectiveness of our scheme against unauthorized multimodal dataset usage on various cross-modal retrieval architectures by 30% over state-of-the-art baselines.
• Abstract（参考訳）: マルチモーダルデータセットは、クロスモーダルセマンティクスを提供することで、大規模視覚言語モデルの事前訓練に利用することができる。 データセットの使用を決定するための現在の取り組みは、主に侵入的手法や非侵入的手法による単一モーダルデータセットのオーナシップの検証に重点を置いている。 侵入的手法はマルチモーダルデータセットに適応できるが、モデルの精度は低下するが、侵入的手法はラベル駆動決定境界に依存しており、検証の安定した動作を保証できない。 これらの課題に対処するために,グローバル最適摂動(GOP)と適応的プロンプトを組み込んだPATFingerと呼ばれる,トレーニング不要の観点から,新しいプロンプト適応型トランスファー可能なフィンガープリント方式を提案する。 提案手法では,モデルにトリガを学習させる代わりに,固有データセット属性を指紋として利用する。 GOPはサンプル分布から導出され、異なるモード間の埋め込みドリフトを最大化する。 その後、PATFingerはGOPサンプルを用いて適応的なプロンプトを再調整し、慎重に構築されたサロゲートモデル上のクロスモーダル相互作用をキャプチャする。 これにより、データセット所有者は、検索クエリ中にPATFingerに関連付けられた特定の予測動作を観察して、データセットの使用をチェックすることができる。 大規模実験では, 最先端のベースラインに対して, 各種モーダル検索アーキテクチャ上での不正なマルチモーダルデータセット使用に対する提案手法の有効性を30%向上させることができた。

関連論文リスト

• Transferable Unsupervised Outlier Detection Framework for Human Semantic Trajectories [9.816270572121724]
  本稿では,TOD4Traj(Transferable Outlier Detection for Human Semantic Trajectories)フレームワークを提案する。 ToD4Trajはまず、多様なデータ特徴表現を整合させるモダリティ機能統一モジュールを導入した。 コントラスト学習モジュールは、時間的および集団間の定期的な移動パターンを特定するために、さらにプロポーズされる。
  論文  参考訳（メタデータ） (2024-09-28T22:31:00Z)
• Downstream-Pretext Domain Knowledge Traceback for Active Learning [138.02530777915362]
  本稿では、下流知識と事前学習指導のデータ相互作用をトレースするダウンストリーム・プレテキスト・ドメイン知識トレース(DOKT)手法を提案する。 DOKTは、トレースバックの多様性指標とドメインベースの不確実性推定器から構成される。 10のデータセットで行った実験は、我々のモデルが他の最先端の手法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-20T01:34:13Z)
• SKADA-Bench: Benchmarking Unsupervised Domain Adaptation Methods with Realistic Validation On Diverse Modalities [55.87169702896249]
  Unsupervised Domain Adaptation (DA) は、ラベル付きソースドメインでトレーニングされたモデルを適用して、ラベルなしのターゲットドメインでデータ分散シフトをうまく実行する。 本稿では,再重み付け,マッピング,部分空間アライメントなど,既存の浅層アルゴリズムの完全かつ公平な評価を行う。 本ベンチマークでは,現実的な検証の重要性を強調し,現実的なアプリケーションに対する実践的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-07-16T12:52:29Z)
• Improving Transferability for Cross-domain Trajectory Prediction via Neural Stochastic Differential Equation [41.09061877498741]
  外部要因とデータ取得戦略によるデータセット間での相違がある。 大規模データセットでトレーニングされたモデルの熟練した性能は、他の小規模データセットでの転送可能性に制限がある。 本稿では,ニューラル微分方程式(NSDE)の連続的利用に基づく不一致の緩和手法を提案する。 提案手法の有効性は,一般的なベンチマークデータセットであるnuScenes,Argoverse,Lyft,InterinterAction,Open Motionデータセット上で,最先端の軌道予測モデルに対して検証される。
  論文  参考訳（メタデータ） (2023-12-26T06:50:29Z)
• Exploiting Modality-Specific Features For Multi-Modal Manipulation Detection And Grounding [54.49214267905562]
  マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。 本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。 本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
  論文  参考訳（メタデータ） (2023-09-22T06:55:41Z)
• SUMMIT: Source-Free Adaptation of Uni-Modal Models to Multi-Modal Targets [30.262094419776208]
  現在のアプローチでは、ソースデータが適応中に利用可能であり、ソースはペア化されたマルチモーダルデータで構成されていると仮定している。 本稿では,2つの相補的な擬似ラベル融合法を自動選択するスイッチングフレームワークを提案する。 提案手法は,mIoUが競合するベースラインよりも最大12%向上することを示す。
  論文  参考訳（メタデータ） (2023-08-23T02:57:58Z)
• The Wyner Variational Autoencoder for Unsupervised Multi-Layer Wireless Fingerprinting [6.632671046812309]
  識別性能を向上させるための多層署名を共同で検討する多層フィンガープリントフレームワークを提案する。 従来の手法とは対照的に,近年のマルチビュー機械学習のパラダイムを活用して,マルチレイヤ機能間で共有されるデバイス情報を,監督なしでクラスタ化することができる。 実験の結果,提案手法は教師なしと教師なしの両方の設定において,最先端のベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2023-03-28T10:05:06Z)
• Cluster-level pseudo-labelling for source-free cross-domain facial expression recognition [94.56304526014875]
  表情認識のためのSFUDA法を提案する。 本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。 提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-11T08:24:50Z)
• Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
  本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。 そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。 最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
  論文  参考訳（メタデータ） (2020-03-10T03:10:41Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。