論文の概要: TokenMark: A Modality-Agnostic Watermark for Pre-trained Transformers

• arxiv url: http://arxiv.org/abs/2403.05842v2
• Date: Wed, 02 Apr 2025 07:30:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 13:16:47.408921
• Title: TokenMark: A Modality-Agnostic Watermark for Pre-trained Transformers
• Title（参考訳）: TokenMark: トレーニング済みトランスフォーマーのモダリティに依存しない透かし
• Authors: Hengyuan Xu, Liyao Xiang, Borui Yang, Xingjun Ma, Siheng Chen, Baochun Li,
• Abstract要約: TokenMarkは、事前訓練されたモデルに対する頑健で、モダリティに依存しない、堅牢な透かしシステムである。 予めトレーニングされたモデルを、特別に置換されたデータサンプルのセットに微調整することで、透かしを埋め込む。 これはモデル透かしの堅牢性、効率、普遍性を著しく改善する。
• 参考スコア（独自算出の注目度）: 67.57928750537185
• License:
• Abstract: Watermarking is a critical tool for model ownership verification. However, existing watermarking techniques are often designed for specific data modalities and downstream tasks, without considering the inherent architectural properties of the model. This lack of generality and robustness underscores the need for a more versatile watermarking approach. In this work, we investigate the properties of Transformer models and propose TokenMark, a modality-agnostic, robust watermarking system for pre-trained models, leveraging the permutation equivariance property. TokenMark embeds the watermark by fine-tuning the pre-trained model on a set of specifically permuted data samples, resulting in a watermarked model that contains two distinct sets of weights -- one for normal functionality and the other for watermark extraction, the latter triggered only by permuted inputs. Extensive experiments on state-of-the-art pre-trained models demonstrate that TokenMark significantly improves the robustness, efficiency, and universality of model watermarking, highlighting its potential as a unified watermarking solution.
• Abstract（参考訳）: ウォーターマーキングはモデルのオーナシップ検証にとって重要なツールです。 しかし、既存の透かし技術は、モデル固有のアーキテクチャ特性を考慮せずに、特定のデータモダリティや下流タスクのために設計されることが多い。 この一般化と堅牢性の欠如は、より汎用的な透かしアプローチの必要性を浮き彫りにしている。 本研究では,トランスフォーマーモデルの性質について検討し,モータリティに依存しない,頑健な透かしシステムであるTokenMarkを提案する。 TokenMarkは、特別に置換されたデータサンプルのセットに事前トレーニングされたモデルを微調整することで、透かしを埋め込む。 最先端の事前訓練モデルに関する広範な実験により、TokenMarkはモデル透かしの堅牢性、効率、普遍性を著しく改善し、統一透かしソリューションとしての可能性を強調している。

関連論文リスト

• Task-Agnostic Language Model Watermarking via High Entropy Passthrough Layers [11.089926858383476]
  本稿では,既存の事前学習ネットワークに付加されたパススルー層を用いたモデル透かしを提案する。 本手法は完全にタスク非依存であり,分類タスクとシーケンス対シーケンスタスクの両方に適用できる。 提案手法は, 下流の微調整, 微切り, 層除去攻撃に対して堅牢であることを示す。
  論文  参考訳（メタデータ） (2024-12-17T05:46:50Z)
• SleeperMark: Towards Robust Watermark against Fine-Tuning Text-to-image Diffusion Models [77.80595722480074]
  SleeperMarkは、回復力のある透かしをT2I拡散モデルに埋め込むように設計された新しいフレームワークである。 モデルは、学習したセマンティック概念から透かし情報を切り離し、埋め込み透かしを保持することができる。 各種拡散モデルにおけるSleeperMarkの有効性について実験を行った。
  論文  参考訳（メタデータ） (2024-12-06T08:44:18Z)
• Towards Effective User Attribution for Latent Diffusion Models via Watermark-Informed Blending [54.26862913139299]
  我々は、ウォーターマークインフォームドブレンディング(TEAWIB)による潜伏拡散モデルに対する効果的なユーザ属性に向けた新しいフレームワークを提案する。 TEAWIBは、ユーザ固有の透かしを生成モデルにシームレスに統合する、ユニークな準備可能な構成アプローチを取り入れている。 TEAWIBの有効性を検証し、知覚的品質と帰属精度で最先端の性能を示す実験を行った。
  論文  参考訳（メタデータ） (2024-09-17T07:52:09Z)
• Open-Set Deepfake Detection: A Parameter-Efficient Adaptation Method with Forgery Style Mixture [58.60915132222421]
  本稿では,顔偽造検出に汎用的かつパラメータ効率の高い手法を提案する。 フォージェリー・ソース・ドメインの多様性を増大させるフォージェリー・ミックス・フォーミュレーションを設計する。 設計したモデルは、トレーニング可能なパラメータを著しく減らし、最先端の一般化性を実現する。
  論文  参考訳（メタデータ） (2024-08-23T01:53:36Z)
• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)
• Provable Adversarial Robustness for Group Equivariant Tasks: Graphs, Point Clouds, Molecules, and More [9.931513542441612]
  本稿では,タスク等価性を考慮した正反対ロバスト性の概念を提案する。 しかし、認証方法は、多くのモデルでは利用できない。 我々は、ノード分類のような同型同変タスクに対して、最初のアーキテクチャ固有のグラフ編集距離証明、すなわち、健全性保証を導出する。
  論文  参考訳（メタデータ） (2023-12-05T12:09:45Z)
• Functional Invariants to Watermark Large Transformers [30.598259061227594]
  トランスフォーマーベースのモデルの急速な成長は、その完全性と所有権保険に対する懸念を高める。 Watermarkingはモデルにユニークな識別子を埋め込むことでこの問題に対処し、その性能を保っている。 本稿では,非盲点ホワイトボックス設定に適用可能な計算コストのない透かしについて検討する。
  論文  参考訳（メタデータ） (2023-10-17T17:56:18Z)
• Certifying Model Accuracy under Distribution Shifts [151.67113334248464]
  本稿では,データ分布の有界ワッサースタインシフトの下でのモデルの精度について,証明可能なロバスト性保証を提案する。 変換空間におけるモデルの入力をランダム化する単純な手順は、変換の下での分布シフトに対して確実に堅牢であることを示す。
  論文  参考訳（メタデータ） (2022-01-28T22:03:50Z)
• Characterizing and Taming Model Instability Across Edge Devices [4.592454933053539]
  本稿では,実世界のモバイルデバイス間でのモデル予測のバリエーションの方法論的特徴について述べる。 この変動を捉えた新しい指標である不安定性を導入する。 実験では、画像の14-17%が1つまたは複数の電話モデルに異なる分類を作成した。
  論文  参考訳（メタデータ） (2020-10-18T16:52:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。