論文の概要: Hufu: A Modality-Agnositc Watermarking System for Pre-Trained
Transformers via Permutation Equivariance
- arxiv url: http://arxiv.org/abs/2403.05842v1
- Date: Sat, 9 Mar 2024 08:54:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 12:16:34.843107
- Title: Hufu: A Modality-Agnositc Watermarking System for Pre-Trained
Transformers via Permutation Equivariance
- Title(参考訳): hufu : 置換等分散による予習変圧器用モダリティアグノシティック透かしシステム
- Authors: Hengyuan Xu, Liyao Xiang, Xingjun Ma, Borui Yang, Baochun Li
- Abstract要約: Hufuは、事前訓練されたTransformerベースのモデルのためのモダリティに依存しない透かしシステムである。
事前にトレーニングされたモデルを、特別に置換されたデータサンプルのセットに微調整することで、透かしを埋め込む。
自然にモダリティ非依存、タスク非依存、トリガー・サンプルフリーである。
- 参考スコア(独自算出の注目度): 47.35106847363781
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the blossom of deep learning models and services, it has become an
imperative concern to safeguard the valuable model parameters from being
stolen. Watermarking is considered an important tool for ownership
verification. However, current watermarking schemes are customized for
different models and tasks, hard to be integrated as an integrated intellectual
protection service. We propose Hufu, a modality-agnostic watermarking system
for pre-trained Transformer-based models, relying on the permutation
equivariance property of Transformers. Hufu embeds watermark by fine-tuning the
pre-trained model on a set of data samples specifically permuted, and the
embedded model essentially contains two sets of weights -- one for normal use
and the other for watermark extraction which is triggered on permuted inputs.
The permutation equivariance ensures minimal interference between these two
sets of model weights and thus high fidelity on downstream tasks. Since our
method only depends on the model itself, it is naturally modality-agnostic,
task-independent, and trigger-sample-free. Extensive experiments on the
state-of-the-art vision Transformers, BERT, and GPT2 have demonstrated Hufu's
superiority in meeting watermarking requirements including effectiveness,
efficiency, fidelity, and robustness, showing its great potential to be
deployed as a uniform ownership verification service for various Transformers.
- Abstract(参考訳): ディープラーニングモデルとサービスの花が咲き、貴重なモデルパラメータが盗まれることを防ぐことが必須の関心事になっている。
ウォーターマーキングは所有権検証の重要なツールと考えられている。
しかし、現在のウォーターマーク方式は異なるモデルやタスク用にカスタマイズされており、統合的な知的保護サービスとして統合することは困難である。
本稿では,変圧器の変分同値性に依存した事前学習型変圧器モデルに対するモダリティ非依存型透かしシステムであるヒューフを提案する。
Hufuは、特別に置換されたデータサンプルのセットに事前トレーニングされたモデルを微調整することで、透かしを埋め込む。
置換同分散は、これらの2つのモデル重みの組の間の最小限の干渉を保証し、従って下流タスクの忠実度を高くする。
本手法はモデル自体にのみ依存するので,自然にモダリティに依存し,タスクに依存しず,トリガーサンプルフリーである。
最先端のビジョントランスフォーマー、BERT、GPT2に関する広範な実験は、有効性、効率性、忠実性、堅牢性といったウォーターマーキング要件を満たす上で、ヒューフの優位性を証明し、様々なトランスフォーマーの統一所有権検証サービスとして展開する大きな可能性を示している。
関連論文リスト
- 3D Face Modeling via Weakly-supervised Disentanglement Network joint Identity-consistency Prior [62.80458034704989]
切り離された制御因子を特徴とする3次元顔モデルの生成は、コンピュータビジョンやコンピュータグラフィックスの多様な応用において大きな可能性を秘めている。
従来の3D顔モデリング手法は、これらの要因を効果的に解消するために特定のラベルを要求するため、課題に直面している。
本稿では,WSDF(Wakly Supervised Disentanglement Framework)を導入し,過度に拘束的なラベル付けを必要とせず,制御可能な3次元顔モデルのトレーニングを容易にする。
論文 参考訳(メタデータ) (2024-04-25T11:50:47Z) - Provable Adversarial Robustness for Group Equivariant Tasks: Graphs,
Point Clouds, Molecules, and More [9.931513542441612]
本稿では,タスク等価性を考慮した正反対ロバスト性の概念を提案する。
しかし、認証方法は、多くのモデルでは利用できない。
我々は、ノード分類のような同型同変タスクに対して、最初のアーキテクチャ固有のグラフ編集距離証明、すなわち、健全性保証を導出する。
論文 参考訳(メタデータ) (2023-12-05T12:09:45Z) - Functional Invariants to Watermark Large Transformers [30.598259061227594]
トランスフォーマーベースのモデルの急速な成長は、その完全性と所有権保険に対する懸念を高める。
Watermarkingはモデルにユニークな識別子を埋め込むことでこの問題に対処し、その性能を保っている。
本稿では,非盲点ホワイトボックス設定に適用可能な計算コストのない透かしについて検討する。
論文 参考訳(メタデータ) (2023-10-17T17:56:18Z) - Generic-to-Specific Distillation of Masked Autoencoders [119.21281960831651]
マスク付きオートエンコーダによって事前訓練された大型モデルの監督下で, 小型ViTモデルのポテンシャルを活かすため, 汎用型蒸留法(G2SD)を提案する。
G2SDでは、バニラViT-Smallモデルは98.7%、98.1%、99.3%のパフォーマンスを画像分類、オブジェクト検出、セマンティックセグメンテーションのために達成している。
論文 参考訳(メタデータ) (2023-02-28T17:13:14Z) - Seeds Don't Lie: An Adaptive Watermarking Framework for Computer Vision
Models [44.80560808267494]
保護モデルに固有の振る舞いを活かして,保護モデルに透かしを施す適応フレームワークを提案する。
この透かしは、同じユニークな振る舞いを持つ抽出されたモデルを検出するために使用され、保護されたモデルのIPを無許可で使用することを示す。
この枠組みは,(1)未知のモデル抽出攻撃,(2)メソッドを実行する抽出モデル(例えば,重み付け)に対して頑健であることを示す。
論文 参考訳(メタデータ) (2022-11-24T14:48:40Z) - Leveraging Instance Features for Label Aggregation in Programmatic Weak
Supervision [75.1860418333995]
Programmatic Weak Supervision (PWS) は、トレーニングラベルを効率的に合成するための広く普及したパラダイムとして登場した。
PWSのコアコンポーネントはラベルモデルであり、複数のノイズ管理ソースの出力をラベル関数として集約することで、真のラベルを推論する。
既存の統計ラベルモデルは一般的にLFの出力のみに依存し、基礎となる生成過程をモデル化する際のインスタンスの特徴を無視している。
論文 参考訳(メタデータ) (2022-10-06T07:28:53Z) - Certifying Model Accuracy under Distribution Shifts [151.67113334248464]
本稿では,データ分布の有界ワッサースタインシフトの下でのモデルの精度について,証明可能なロバスト性保証を提案する。
変換空間におけるモデルの入力をランダム化する単純な手順は、変換の下での分布シフトに対して確実に堅牢であることを示す。
論文 参考訳(メタデータ) (2022-01-28T22:03:50Z) - Characterizing and Taming Model Instability Across Edge Devices [4.592454933053539]
本稿では,実世界のモバイルデバイス間でのモデル予測のバリエーションの方法論的特徴について述べる。
この変動を捉えた新しい指標である不安定性を導入する。
実験では、画像の14-17%が1つまたは複数の電話モデルに異なる分類を作成した。
論文 参考訳(メタデータ) (2020-10-18T16:52:06Z) - AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。
最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。
第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。
3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
論文 参考訳(メタデータ) (2020-01-15T18:32:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。