論文の概要: Hufu: A Modality-Agnositc Watermarking System for Pre-Trained Transformers via Permutation Equivariance

• arxiv url: http://arxiv.org/abs/2403.05842v1
• Date: Sat, 9 Mar 2024 08:54:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-03-13 12:16:34.843107
• Title: Hufu: A Modality-Agnositc Watermarking System for Pre-Trained Transformers via Permutation Equivariance
• Title（参考訳）: hufu : 置換等分散による予習変圧器用モダリティアグノシティック透かしシステム
• Authors: Hengyuan Xu, Liyao Xiang, Xingjun Ma, Borui Yang, Baochun Li
• Abstract要約: Hufuは、事前訓練されたTransformerベースのモデルのためのモダリティに依存しない透かしシステムである。 事前にトレーニングされたモデルを、特別に置換されたデータサンプルのセットに微調整することで、透かしを埋め込む。 自然にモダリティ非依存、タスク非依存、トリガー・サンプルフリーである。
• 参考スコア（独自算出の注目度）: 47.35106847363781
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the blossom of deep learning models and services, it has become an imperative concern to safeguard the valuable model parameters from being stolen. Watermarking is considered an important tool for ownership verification. However, current watermarking schemes are customized for different models and tasks, hard to be integrated as an integrated intellectual protection service. We propose Hufu, a modality-agnostic watermarking system for pre-trained Transformer-based models, relying on the permutation equivariance property of Transformers. Hufu embeds watermark by fine-tuning the pre-trained model on a set of data samples specifically permuted, and the embedded model essentially contains two sets of weights -- one for normal use and the other for watermark extraction which is triggered on permuted inputs. The permutation equivariance ensures minimal interference between these two sets of model weights and thus high fidelity on downstream tasks. Since our method only depends on the model itself, it is naturally modality-agnostic, task-independent, and trigger-sample-free. Extensive experiments on the state-of-the-art vision Transformers, BERT, and GPT2 have demonstrated Hufu's superiority in meeting watermarking requirements including effectiveness, efficiency, fidelity, and robustness, showing its great potential to be deployed as a uniform ownership verification service for various Transformers.
• Abstract（参考訳）: ディープラーニングモデルとサービスの花が咲き、貴重なモデルパラメータが盗まれることを防ぐことが必須の関心事になっている。 ウォーターマーキングは所有権検証の重要なツールと考えられている。 しかし、現在のウォーターマーク方式は異なるモデルやタスク用にカスタマイズされており、統合的な知的保護サービスとして統合することは困難である。 本稿では,変圧器の変分同値性に依存した事前学習型変圧器モデルに対するモダリティ非依存型透かしシステムであるヒューフを提案する。 Hufuは、特別に置換されたデータサンプルのセットに事前トレーニングされたモデルを微調整することで、透かしを埋め込む。 置換同分散は、これらの2つのモデル重みの組の間の最小限の干渉を保証し、従って下流タスクの忠実度を高くする。 本手法はモデル自体にのみ依存するので,自然にモダリティに依存し,タスクに依存しず,トリガーサンプルフリーである。 最先端のビジョントランスフォーマー、BERT、GPT2に関する広範な実験は、有効性、効率性、忠実性、堅牢性といったウォーターマーキング要件を満たす上で、ヒューフの優位性を証明し、様々なトランスフォーマーの統一所有権検証サービスとして展開する大きな可能性を示している。

関連論文リスト

• Task-Agnostic Language Model Watermarking via High Entropy Passthrough Layers [11.089926858383476]
  本稿では,既存の事前学習ネットワークに付加されたパススルー層を用いたモデル透かしを提案する。 本手法は完全にタスク非依存であり,分類タスクとシーケンス対シーケンスタスクの両方に適用できる。 提案手法は, 下流の微調整, 微切り, 層除去攻撃に対して堅牢であることを示す。
  論文  参考訳（メタデータ） (2024-12-17T05:46:50Z)
• SleeperMark: Towards Robust Watermark against Fine-Tuning Text-to-image Diffusion Models [77.80595722480074]
  SleeperMarkは、回復力のある透かしをT2I拡散モデルに埋め込むように設計されたフレームワークである。 学習したセマンティックな概念から透かし情報を切り離すようモデルに誘導する。 各種拡散モデルにおけるSleeperMarkの有効性について実験を行った。
  論文  参考訳（メタデータ） (2024-12-06T08:44:18Z)
• Trigger-Based Fragile Model Watermarking for Image Transformation Networks [2.38776871944507]
  脆弱な透かしでは、微妙な透かしが、改ざん時に透かしが壊れるように、物体に埋め込まれる。 画像変換・生成ネットワークのための新規なトリガ型フラクタモデル透かしシステムを提案する。 私たちのアプローチは、堅牢な透かしとは別として、さまざまなデータセットや攻撃に対して、モデルのソースと整合性を効果的に検証します。
  論文  参考訳（メタデータ） (2024-09-28T19:34:55Z)
• Towards Effective User Attribution for Latent Diffusion Models via Watermark-Informed Blending [54.26862913139299]
  我々は、ウォーターマークインフォームドブレンディング(TEAWIB)による潜伏拡散モデルに対する効果的なユーザ属性に向けた新しいフレームワークを提案する。 TEAWIBは、ユーザ固有の透かしを生成モデルにシームレスに統合する、ユニークな準備可能な構成アプローチを取り入れている。 TEAWIBの有効性を検証し、知覚的品質と帰属精度で最先端の性能を示す実験を行った。
  論文  参考訳（メタデータ） (2024-09-17T07:52:09Z)
• Open-Set Deepfake Detection: A Parameter-Efficient Adaptation Method with Forgery Style Mixture [58.60915132222421]
  本稿では,顔偽造検出に汎用的かつパラメータ効率の高い手法を提案する。 フォージェリー・ソース・ドメインの多様性を増大させるフォージェリー・ミックス・フォーミュレーションを設計する。 設計したモデルは、トレーニング可能なパラメータを著しく減らし、最先端の一般化性を実現する。
  論文  参考訳（メタデータ） (2024-08-23T01:53:36Z)
• Watermarking Recommender Systems [52.207721219147814]
  本稿では,レコメンダシステムに特化した新しい手法であるAutoregressive Out-of-Distribution Watermarking (AOW)を紹介する。 提案手法では,初期項目の選択とオラクルモデルによるクエリを行い,その後に予測スコアの小さい項目を選択する。 透かしの有効性を評価するため、このモデルでは、切り捨てられた透かしシーケンスが与えられた後続の項目を予測することを課題とする。
  論文  参考訳（メタデータ） (2024-07-17T06:51:24Z)
• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)
• Provable Adversarial Robustness for Group Equivariant Tasks: Graphs, Point Clouds, Molecules, and More [9.931513542441612]
  本稿では,タスク等価性を考慮した正反対ロバスト性の概念を提案する。 しかし、認証方法は、多くのモデルでは利用できない。 我々は、ノード分類のような同型同変タスクに対して、最初のアーキテクチャ固有のグラフ編集距離証明、すなわち、健全性保証を導出する。
  論文  参考訳（メタデータ） (2023-12-05T12:09:45Z)
• Wide Flat Minimum Watermarking for Robust Ownership Verification of GANs [23.639074918667625]
  ホワイトボックス攻撃に対するロバスト性を向上したGANのための新しいマルチビット・ボックスフリー透かし手法を提案する。 透かしは、GANトレーニング中に余分な透かし損失項を追加することで埋め込む。 その結果,透かしの存在が画像の品質に与える影響は無視できることがわかった。
  論文  参考訳（メタデータ） (2023-10-25T18:38:10Z)
• ClearMark: Intuitive and Robust Model Watermarking via Transposed Model Training [50.77001916246691]
  本稿では,人間の直感的な評価を目的とした最初のDNN透かし手法であるClearMarkを紹介する。 ClearMarkは目に見える透かしを埋め込んで、厳格な値閾値なしで人間の意思決定を可能にする。 8,544ビットの透かし容量は、現存する最強の作品に匹敵する。
  論文  参考訳（メタデータ） (2023-10-25T08:16:55Z)
• Functional Invariants to Watermark Large Transformers [30.598259061227594]
  トランスフォーマーベースのモデルの急速な成長は、その完全性と所有権保険に対する懸念を高める。 Watermarkingはモデルにユニークな識別子を埋め込むことでこの問題に対処し、その性能を保っている。 本稿では,非盲点ホワイトボックス設定に適用可能な計算コストのない透かしについて検討する。
  論文  参考訳（メタデータ） (2023-10-17T17:56:18Z)
• Unbiased Watermark for Large Language Models [67.43415395591221]
  本研究では, モデル生成出力の品質に及ぼす透かしの影響について検討した。 出力確率分布に影響を与えることなく、透かしを統合することができる。 ウォーターマークの存在は、下流タスクにおけるモデルの性能を損なうものではない。
  論文  参考訳（メタデータ） (2023-09-22T12:46:38Z)
• Watermarking for Out-of-distribution Detection [76.20630986010114]
  Out-of-Distribution (OOD) 検出は、よく訓練された深層モデルから抽出された表現に基づいてOODデータを識別することを目的としている。 本稿では,透かしという一般的な手法を提案する。 我々は,元データの特徴に重畳される統一パターンを学習し,ウォーターマーキング後にモデルの検出能力が大きく向上する。
  論文  参考訳（メタデータ） (2022-10-27T06:12:32Z)
• Certifying Model Accuracy under Distribution Shifts [151.67113334248464]
  本稿では,データ分布の有界ワッサースタインシフトの下でのモデルの精度について,証明可能なロバスト性保証を提案する。 変換空間におけるモデルの入力をランダム化する単純な手順は、変換の下での分布シフトに対して確実に堅牢であることを示す。
  論文  参考訳（メタデータ） (2022-01-28T22:03:50Z)
• Characterizing and Taming Model Instability Across Edge Devices [4.592454933053539]
  本稿では,実世界のモバイルデバイス間でのモデル予測のバリエーションの方法論的特徴について述べる。 この変動を捉えた新しい指標である不安定性を導入する。 実験では、画像の14-17%が1つまたは複数の電話モデルに異なる分類を作成した。
  論文  参考訳（メタデータ） (2020-10-18T16:52:06Z)
• AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
  機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。 最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。 第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。 3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
  論文  参考訳（メタデータ） (2020-01-15T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。