論文の概要: TokenMark: A Modality-Agnostic Watermark for Pre-trained Transformers

• arxiv url: http://arxiv.org/abs/2403.05842v3
• Date: Sat, 26 Apr 2025 08:10:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-29 18:43:10.864024
• Title: TokenMark: A Modality-Agnostic Watermark for Pre-trained Transformers
• Title（参考訳）: TokenMark: トレーニング済みトランスフォーマーのモダリティに依存しない透かし
• Authors: Hengyuan Xu, Liyao Xiang, Borui Yang, Xingjun Ma, Siheng Chen, Baochun Li,
• Abstract要約: TokenMarkは、事前訓練されたモデルに対する頑健で、モダリティに依存しない、堅牢な透かしシステムである。 予めトレーニングされたモデルを、特別に置換されたデータサンプルのセットに微調整することで、透かしを埋め込む。 これはモデル透かしの堅牢性、効率、普遍性を著しく改善する。
• 参考スコア（独自算出の注目度）: 67.57928750537185
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Watermarking is a critical tool for model ownership verification. However, existing watermarking techniques are often designed for specific data modalities and downstream tasks, without considering the inherent architectural properties of the model. This lack of generality and robustness underscores the need for a more versatile watermarking approach. In this work, we investigate the properties of Transformer models and propose TokenMark, a modality-agnostic, robust watermarking system for pre-trained models, leveraging the permutation equivariance property. TokenMark embeds the watermark by fine-tuning the pre-trained model on a set of specifically permuted data samples, resulting in a watermarked model that contains two distinct sets of weights -- one for normal functionality and the other for watermark extraction, the latter triggered only by permuted inputs. Extensive experiments on state-of-the-art pre-trained models demonstrate that TokenMark significantly improves the robustness, efficiency, and universality of model watermarking, highlighting its potential as a unified watermarking solution.
• Abstract（参考訳）: ウォーターマーキングはモデルのオーナシップ検証にとって重要なツールです。 しかし、既存の透かし技術は、モデル固有のアーキテクチャ特性を考慮せずに、特定のデータモダリティや下流タスクのために設計されることが多い。 この一般化と堅牢性の欠如は、より汎用的な透かしアプローチの必要性を浮き彫りにしている。 本研究では,トランスフォーマーモデルの性質について検討し,モータリティに依存しない,頑健な透かしシステムであるTokenMarkを提案する。 TokenMarkは、特別に置換されたデータサンプルのセットに事前トレーニングされたモデルを微調整することで、透かしを埋め込む。 最先端の事前訓練モデルに関する広範な実験により、TokenMarkはモデル透かしの堅牢性、効率、普遍性を著しく改善し、統一透かしソリューションとしての可能性を強調している。

関連論文リスト

• Task-Agnostic Language Model Watermarking via High Entropy Passthrough Layers [11.089926858383476]
  本稿では,既存の事前学習ネットワークに付加されたパススルー層を用いたモデル透かしを提案する。 本手法は完全にタスク非依存であり,分類タスクとシーケンス対シーケンスタスクの両方に適用できる。 提案手法は, 下流の微調整, 微切り, 層除去攻撃に対して堅牢であることを示す。
  論文  参考訳（メタデータ） (2024-12-17T05:46:50Z)
• SleeperMark: Towards Robust Watermark against Fine-Tuning Text-to-image Diffusion Models [77.80595722480074]
  SleeperMarkは、回復力のある透かしをT2I拡散モデルに埋め込むように設計されたフレームワークである。 学習したセマンティックな概念から透かし情報を切り離すようモデルに誘導する。 各種拡散モデルにおけるSleeperMarkの有効性について実験を行った。
  論文  参考訳（メタデータ） (2024-12-06T08:44:18Z)
• Trigger-Based Fragile Model Watermarking for Image Transformation Networks [2.38776871944507]
  脆弱な透かしでは、微妙な透かしが、改ざん時に透かしが壊れるように、物体に埋め込まれる。 画像変換・生成ネットワークのための新規なトリガ型フラクタモデル透かしシステムを提案する。 私たちのアプローチは、堅牢な透かしとは別として、さまざまなデータセットや攻撃に対して、モデルのソースと整合性を効果的に検証します。
  論文  参考訳（メタデータ） (2024-09-28T19:34:55Z)
• Towards Effective User Attribution for Latent Diffusion Models via Watermark-Informed Blending [54.26862913139299]
  我々は、ウォーターマークインフォームドブレンディング(TEAWIB)による潜伏拡散モデルに対する効果的なユーザ属性に向けた新しいフレームワークを提案する。 TEAWIBは、ユーザ固有の透かしを生成モデルにシームレスに統合する、ユニークな準備可能な構成アプローチを取り入れている。 TEAWIBの有効性を検証し、知覚的品質と帰属精度で最先端の性能を示す実験を行った。
  論文  参考訳（メタデータ） (2024-09-17T07:52:09Z)
• Open-Set Deepfake Detection: A Parameter-Efficient Adaptation Method with Forgery Style Mixture [58.60915132222421]
  本稿では,顔偽造検出に汎用的かつパラメータ効率の高い手法を提案する。 フォージェリー・ソース・ドメインの多様性を増大させるフォージェリー・ミックス・フォーミュレーションを設計する。 設計したモデルは、トレーニング可能なパラメータを著しく減らし、最先端の一般化性を実現する。
  論文  参考訳（メタデータ） (2024-08-23T01:53:36Z)
• Watermarking Recommender Systems [52.207721219147814]
  本稿では,レコメンダシステムに特化した新しい手法であるAutoregressive Out-of-Distribution Watermarking (AOW)を紹介する。 提案手法では,初期項目の選択とオラクルモデルによるクエリを行い,その後に予測スコアの小さい項目を選択する。 透かしの有効性を評価するため、このモデルでは、切り捨てられた透かしシーケンスが与えられた後続の項目を予測することを課題とする。
  論文  参考訳（メタデータ） (2024-07-17T06:51:24Z)
• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)
• Provable Adversarial Robustness for Group Equivariant Tasks: Graphs, Point Clouds, Molecules, and More [9.931513542441612]
  本稿では,タスク等価性を考慮した正反対ロバスト性の概念を提案する。 しかし、認証方法は、多くのモデルでは利用できない。 我々は、ノード分類のような同型同変タスクに対して、最初のアーキテクチャ固有のグラフ編集距離証明、すなわち、健全性保証を導出する。
  論文  参考訳（メタデータ） (2023-12-05T12:09:45Z)
• Wide Flat Minimum Watermarking for Robust Ownership Verification of GANs [23.639074918667625]
  ホワイトボックス攻撃に対するロバスト性を向上したGANのための新しいマルチビット・ボックスフリー透かし手法を提案する。 透かしは、GANトレーニング中に余分な透かし損失項を追加することで埋め込む。 その結果,透かしの存在が画像の品質に与える影響は無視できることがわかった。
  論文  参考訳（メタデータ） (2023-10-25T18:38:10Z)
• ClearMark: Intuitive and Robust Model Watermarking via Transposed Model Training [50.77001916246691]
  本稿では,人間の直感的な評価を目的とした最初のDNN透かし手法であるClearMarkを紹介する。 ClearMarkは目に見える透かしを埋め込んで、厳格な値閾値なしで人間の意思決定を可能にする。 8,544ビットの透かし容量は、現存する最強の作品に匹敵する。
  論文  参考訳（メタデータ） (2023-10-25T08:16:55Z)
• Functional Invariants to Watermark Large Transformers [30.598259061227594]
  トランスフォーマーベースのモデルの急速な成長は、その完全性と所有権保険に対する懸念を高める。 Watermarkingはモデルにユニークな識別子を埋め込むことでこの問題に対処し、その性能を保っている。 本稿では,非盲点ホワイトボックス設定に適用可能な計算コストのない透かしについて検討する。
  論文  参考訳（メタデータ） (2023-10-17T17:56:18Z)
• Unbiased Watermark for Large Language Models [67.43415395591221]
  本研究では, モデル生成出力の品質に及ぼす透かしの影響について検討した。 出力確率分布に影響を与えることなく、透かしを統合することができる。 ウォーターマークの存在は、下流タスクにおけるモデルの性能を損なうものではない。
  論文  参考訳（メタデータ） (2023-09-22T12:46:38Z)
• Watermarking for Out-of-distribution Detection [76.20630986010114]
  Out-of-Distribution (OOD) 検出は、よく訓練された深層モデルから抽出された表現に基づいてOODデータを識別することを目的としている。 本稿では,透かしという一般的な手法を提案する。 我々は,元データの特徴に重畳される統一パターンを学習し,ウォーターマーキング後にモデルの検出能力が大きく向上する。
  論文  参考訳（メタデータ） (2022-10-27T06:12:32Z)
• Certifying Model Accuracy under Distribution Shifts [151.67113334248464]
  本稿では,データ分布の有界ワッサースタインシフトの下でのモデルの精度について,証明可能なロバスト性保証を提案する。 変換空間におけるモデルの入力をランダム化する単純な手順は、変換の下での分布シフトに対して確実に堅牢であることを示す。
  論文  参考訳（メタデータ） (2022-01-28T22:03:50Z)
• Characterizing and Taming Model Instability Across Edge Devices [4.592454933053539]
  本稿では,実世界のモバイルデバイス間でのモデル予測のバリエーションの方法論的特徴について述べる。 この変動を捉えた新しい指標である不安定性を導入する。 実験では、画像の14-17%が1つまたは複数の電話モデルに異なる分類を作成した。
  論文  参考訳（メタデータ） (2020-10-18T16:52:06Z)
• AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
  機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。 最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。 第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。 3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
  論文  参考訳（メタデータ） (2020-01-15T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。