論文の概要: Hufu: A Modality-Agnositc Watermarking System for Pre-Trained Transformers via Permutation Equivariance

• arxiv url: http://arxiv.org/abs/2403.05842v1
• Date: Sat, 9 Mar 2024 08:54:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 12:16:34.843107
• Title: Hufu: A Modality-Agnositc Watermarking System for Pre-Trained Transformers via Permutation Equivariance
• Title（参考訳）: hufu : 置換等分散による予習変圧器用モダリティアグノシティック透かしシステム
• Authors: Hengyuan Xu, Liyao Xiang, Xingjun Ma, Borui Yang, Baochun Li
• Abstract要約: Hufuは、事前訓練されたTransformerベースのモデルのためのモダリティに依存しない透かしシステムである。 事前にトレーニングされたモデルを、特別に置換されたデータサンプルのセットに微調整することで、透かしを埋め込む。 自然にモダリティ非依存、タスク非依存、トリガー・サンプルフリーである。
• 参考スコア（独自算出の注目度）: 47.35106847363781
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the blossom of deep learning models and services, it has become an imperative concern to safeguard the valuable model parameters from being stolen. Watermarking is considered an important tool for ownership verification. However, current watermarking schemes are customized for different models and tasks, hard to be integrated as an integrated intellectual protection service. We propose Hufu, a modality-agnostic watermarking system for pre-trained Transformer-based models, relying on the permutation equivariance property of Transformers. Hufu embeds watermark by fine-tuning the pre-trained model on a set of data samples specifically permuted, and the embedded model essentially contains two sets of weights -- one for normal use and the other for watermark extraction which is triggered on permuted inputs. The permutation equivariance ensures minimal interference between these two sets of model weights and thus high fidelity on downstream tasks. Since our method only depends on the model itself, it is naturally modality-agnostic, task-independent, and trigger-sample-free. Extensive experiments on the state-of-the-art vision Transformers, BERT, and GPT2 have demonstrated Hufu's superiority in meeting watermarking requirements including effectiveness, efficiency, fidelity, and robustness, showing its great potential to be deployed as a uniform ownership verification service for various Transformers.
• Abstract（参考訳）: ディープラーニングモデルとサービスの花が咲き、貴重なモデルパラメータが盗まれることを防ぐことが必須の関心事になっている。 ウォーターマーキングは所有権検証の重要なツールと考えられている。 しかし、現在のウォーターマーク方式は異なるモデルやタスク用にカスタマイズされており、統合的な知的保護サービスとして統合することは困難である。 本稿では,変圧器の変分同値性に依存した事前学習型変圧器モデルに対するモダリティ非依存型透かしシステムであるヒューフを提案する。 Hufuは、特別に置換されたデータサンプルのセットに事前トレーニングされたモデルを微調整することで、透かしを埋め込む。 置換同分散は、これらの2つのモデル重みの組の間の最小限の干渉を保証し、従って下流タスクの忠実度を高くする。 本手法はモデル自体にのみ依存するので,自然にモダリティに依存し,タスクに依存しず,トリガーサンプルフリーである。 最先端のビジョントランスフォーマー、BERT、GPT2に関する広範な実験は、有効性、効率性、忠実性、堅牢性といったウォーターマーキング要件を満たす上で、ヒューフの優位性を証明し、様々なトランスフォーマーの統一所有権検証サービスとして展開する大きな可能性を示している。

関連論文リスト

• Trigger-Based Fragile Model Watermarking for Image Transformation Networks [2.38776871944507]
  脆弱な透かしでは、微妙な透かしが、改ざん時に透かしが壊れるように、物体に埋め込まれる。 画像変換・生成ネットワークのための新規なトリガ型フラクタモデル透かしシステムを提案する。 私たちのアプローチは、堅牢な透かしとは別として、さまざまなデータセットや攻撃に対して、モデルのソースと整合性を効果的に検証します。
  論文  参考訳（メタデータ） (2024-09-28T19:34:55Z)
• Towards Effective User Attribution for Latent Diffusion Models via Watermark-Informed Blending [54.26862913139299]
  我々は、ウォーターマークインフォームドブレンディング(TEAWIB)による潜伏拡散モデルに対する効果的なユーザ属性に向けた新しいフレームワークを提案する。 TEAWIBは、ユーザ固有の透かしを生成モデルにシームレスに統合する、ユニークな準備可能な構成アプローチを取り入れている。 TEAWIBの有効性を検証し、知覚的品質と帰属精度で最先端の性能を示す実験を行った。
  論文  参考訳（メタデータ） (2024-09-17T07:52:09Z)
• Open-Set Deepfake Detection: A Parameter-Efficient Adaptation Method with Forgery Style Mixture [58.60915132222421]
  本稿では,顔偽造検出に汎用的かつパラメータ効率の高い手法を提案する。 フォージェリー・ソース・ドメインの多様性を増大させるフォージェリー・ミックス・フォーミュレーションを設計する。 設計したモデルは、トレーニング可能なパラメータを著しく減らし、最先端の一般化性を実現する。
  論文  参考訳（メタデータ） (2024-08-23T01:53:36Z)
• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)
• Provable Adversarial Robustness for Group Equivariant Tasks: Graphs, Point Clouds, Molecules, and More [9.931513542441612]
  本稿では,タスク等価性を考慮した正反対ロバスト性の概念を提案する。 しかし、認証方法は、多くのモデルでは利用できない。 我々は、ノード分類のような同型同変タスクに対して、最初のアーキテクチャ固有のグラフ編集距離証明、すなわち、健全性保証を導出する。
  論文  参考訳（メタデータ） (2023-12-05T12:09:45Z)
• Functional Invariants to Watermark Large Transformers [30.598259061227594]
  トランスフォーマーベースのモデルの急速な成長は、その完全性と所有権保険に対する懸念を高める。 Watermarkingはモデルにユニークな識別子を埋め込むことでこの問題に対処し、その性能を保っている。 本稿では,非盲点ホワイトボックス設定に適用可能な計算コストのない透かしについて検討する。
  論文  参考訳（メタデータ） (2023-10-17T17:56:18Z)
• Certifying Model Accuracy under Distribution Shifts [151.67113334248464]
  本稿では,データ分布の有界ワッサースタインシフトの下でのモデルの精度について,証明可能なロバスト性保証を提案する。 変換空間におけるモデルの入力をランダム化する単純な手順は、変換の下での分布シフトに対して確実に堅牢であることを示す。
  論文  参考訳（メタデータ） (2022-01-28T22:03:50Z)
• Characterizing and Taming Model Instability Across Edge Devices [4.592454933053539]
  本稿では,実世界のモバイルデバイス間でのモデル予測のバリエーションの方法論的特徴について述べる。 この変動を捉えた新しい指標である不安定性を導入する。 実験では、画像の14-17%が1つまたは複数の電話モデルに異なる分類を作成した。
  論文  参考訳（メタデータ） (2020-10-18T16:52:06Z)
• AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
  機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。 最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。 第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。 3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
  論文  参考訳（メタデータ） (2020-01-15T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。