論文の概要: Multi-Designated Detector Watermarking for Language Models
- arxiv url: http://arxiv.org/abs/2409.17518v1
- Date: Thu, 26 Sep 2024 04:01:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-28 23:17:44.767352
- Title: Multi-Designated Detector Watermarking for Language Models
- Title(参考訳): 言語モデルのためのマルチDesignated Detector Watermarking
- Authors: Zhengan Huang, Gongxian Zeng, Xin Mu, Yu Wang, Yue Yu,
- Abstract要約: 大型言語モデル(LLM)のためのEmphmulti-Designated Detector Watermarking (MDDW)を導入する。
この技術により、モデルプロバイダは、2つの重要な特性を持つLCMから透かし出力を生成することができる: (i) 特定の、おそらく複数の指定された検出器だけが透かしを識別でき、 (ii) 一般ユーザにとって出力品質の劣化は認識できない。
- 参考スコア(独自算出の注目度): 13.891476498266716
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we initiate the study of \emph{multi-designated detector watermarking (MDDW)} for large language models (LLMs). This technique allows model providers to generate watermarked outputs from LLMs with two key properties: (i) only specific, possibly multiple, designated detectors can identify the watermarks, and (ii) there is no perceptible degradation in the output quality for ordinary users. We formalize the security definitions for MDDW and present a framework for constructing MDDW for any LLM using multi-designated verifier signatures (MDVS). Recognizing the significant economic value of LLM outputs, we introduce claimability as an optional security feature for MDDW, enabling model providers to assert ownership of LLM outputs within designated-detector settings. To support claimable MDDW, we propose a generic transformation converting any MDVS to a claimable MDVS. Our implementation of the MDDW scheme highlights its advanced functionalities and flexibility over existing methods, with satisfactory performance metrics.
- Abstract(参考訳): 本稿では,大規模言語モデル (LLM) のための 'emph{multi-designated detector watermarking (MDDW) の研究を開始する。
この技術により、モデルプロバイダは2つの重要な特性を持つLLMから透かし出力を生成することができる。
一 特定し、又は複数の指定された検出器だけが、透かしを識別することができること。
(II)一般利用者の出力品質の低下は認められない。
MDDWのセキュリティ定義を形式化し、MDVS (Multi-designated verifier signatures) を用いて任意のLCMに対してMDDWを構築するためのフレームワークを提案する。
LLM出力の経済的価値を認識し、MDDWのオプションセキュリティ機能としてクレームビリティを導入し、モデルプロバイダが指定された検出器設定内でLLM出力の所有権を主張できるようにする。
クレーム可能なMDDWをサポートするために,任意のMDVSをクレーム可能なMDVSに変換する汎用変換を提案する。
MDDW スキームの実装は,既存の手法よりも高度な機能と柔軟性を示し,性能指標も良好である。
関連論文リスト
- DMM: Disparity-guided Multispectral Mamba for Oriented Object Detection in Remote Sensing [8.530409994516619]
マルチスペクトル指向物体検出は、モーダル間およびモーダル内両方の相違により、課題に直面している。
本稿では,DMM(Disparity-guided Multispectral Mamba),DCFM(Disparity-guided Cross-modal Fusion Mamba)モジュール,MTA(Multiscale Target-aware Attention)モジュール,TPA(Target-Prior Aware)補助タスクからなるフレームワークを提案する。
論文 参考訳(メタデータ) (2024-07-11T02:09:59Z) - Improving Logits-based Detector without Logits from Black-box LLMs [56.234109491884126]
大規模言語モデル(LLM)はテキスト生成に革命をもたらし、人間の文章を忠実に模倣する出力を生成する。
我々は、ブラックボックステキスト検出における最先端性能を再定義する革新的なフレームワークであるDLD(Dis Distribution-Aligned LLMs Detection)を提案する。
DALDは、サロゲートモデルの分布を未知の目標LLMの分布と整合させ、高速モデルの反復に対する検出能力とレジリエンスを向上するように設計されている。
論文 参考訳(メタデータ) (2024-06-07T19:38:05Z) - Diver: Large Language Model Decoding with Span-Level Mutual Information Verification [13.378881059577635]
Diverは、スパンレベルのPMI検証を通じてLLMデコーディングを強化する新しいアプローチである。
提案手法を様々な下流タスクで評価し,Diverが既存のデコード手法を性能と汎用性の両方で著しく上回っていることを示す実験結果を得た。
論文 参考訳(メタデータ) (2024-06-04T09:02:22Z) - Are you still on track!? Catching LLM Task Drift with Activations [55.75645403965326]
大規模言語モデル(LLM)は、ユーザや他のソースからの入力を処理したり、タスクを編成したりするための検索拡張されたアプリケーションで日常的に使用される。
これにより、LDMがデータのみのソースからの命令を受け取り、作用するインジェクション攻撃を誘導する扉が開き、ユーザーの元の命令から逸脱する。
我々はこれをタスクドリフトと定義し、LCMのアクティベーションをスキャンして解析することでこれをキャッチすることを提案する。
このアプローチは、これらの攻撃に対してトレーニングを受けることなく、インジェクションやジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化することを示す。
論文 参考訳(メタデータ) (2024-06-02T16:53:21Z) - LLaMA-Excitor: General Instruction Tuning via Indirect Feature Interaction [24.675876324457747]
Adapter、Prefix-tuning、LoRAのような既存のLPMを微調整する方法は、LSMの生来の能力を損なう可能性がある。
本稿では,LLaMA-Excitorを提案する。LLaMA-Excitorは軽量な手法で,LLMの潜在能力を刺激し,徐々に価値ある情報に注意を払って指示に従う。
LLaMA-Excitorは、重要な改善を達成しつつ基本的な機能を維持する唯一の方法である。
論文 参考訳(メタデータ) (2024-04-01T04:39:21Z) - FOFO: A Benchmark to Evaluate LLMs' Format-Following Capability [70.84333325049123]
FoFoは、大規模言語モデル(LLM)の複雑なドメイン固有のフォーマットに従う能力を評価するための先駆的なベンチマークである。
本稿では,大規模言語モデル(LLM)の複雑なドメイン固有フォーマットに従う能力を評価するための先駆的ベンチマークであるFoFoを提案する。
論文 参考訳(メタデータ) (2024-02-28T19:23:27Z) - Double-I Watermark: Protecting Model Copyright for LLM Fine-tuning [45.09125828947013]
提案手法は、微調整中に特定の透かし情報をカスタマイズされたモデルに効果的に注入する。
提案手法を各種微調整法で評価し, その無害性, 頑健性, 独特性, 不受容性, 妥当性を定量的および定性的な分析により検証した。
論文 参考訳(メタデータ) (2024-02-22T04:55:14Z) - SEED-Bench-2: Benchmarking Multimodal Large Language Models [67.28089415198338]
MLLM(Multimodal large language model)は、最近、テキストだけでなく、インターリーブされたマルチモーダル入力の画像を生成できることを実証した。
SEED-Bench-2は、正確な人間のアノテーションを持つ24Kの多重選択質問で構成されており、27次元にまたがっている。
我々は,23個の著名なオープンソースMLLMの性能を評価し,貴重な観察結果を要約した。
論文 参考訳(メタデータ) (2023-11-28T05:53:55Z) - LLMDet: A Third Party Large Language Models Generated Text Detection
Tool [119.0952092533317]
大規模言語モデル(LLM)は、高品質な人間によるテキストに非常に近い。
既存の検出ツールは、機械が生成したテキストと人間によるテキストしか区別できない。
本稿では,モデル固有,セキュア,効率的,拡張可能な検出ツールであるLLMDetを提案する。
論文 参考訳(メタデータ) (2023-05-24T10:45:16Z) - Inference with Reference: Lossless Acceleration of Large Language Models [97.04200102556551]
LLMAは、参照によるLarge Language Model (LLM)推論を高速化するアクセラレータである。
LLMによる復号結果と実世界の多くのシナリオで利用できる参照との間には、多くの同一のテキストが存在していることが観察の動機となっている。
論文 参考訳(メタデータ) (2023-04-10T09:55:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。