論文の概要: PersonaMark: Personalized LLM watermarking for model protection and user attribution

• arxiv url: http://arxiv.org/abs/2409.09739v2
• Date: Tue, 17 Dec 2024 16:52:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 13:55:46.209410
• Title: PersonaMark: Personalized LLM watermarking for model protection and user attribution
• Title（参考訳）: PersonaMark: モデル保護とユーザ属性のためのパーソナライズされたLLM透かし
• Authors: Yuehan Zhang, Peizhuo Lv, Yinpeng Liu, Yongqiang Ma, Wei Lu, Xiaofeng Wang, Xiaozhong Liu, Jiawei Liu,
• Abstract要約: PersonaMarkは、大規模言語モデルの著作権と説明責任を保護するために設計された、パーソナライズされたテキスト透かし方式である。 パーソナライズされたハッシュ機能を利用することで、各ユーザにユニークな透かしを埋め込んで、モデルの性能を損なうことなく高品質なテキスト生成を可能にする。 我々は4つのLCMに対して広範囲な評価を行い、パープレキシティ、感情、アライメント、可読性といった様々な指標を分析した。
• 参考スコア（独自算出の注目度）: 20.2735173280022
• License:
• Abstract: The rapid advancement of customized Large Language Models (LLMs) offers considerable convenience. However, it also intensifies concerns regarding the protection of copyright/confidential information. With the extensive adoption of private LLMs, safeguarding model copyright and ensuring data privacy have become critical. Text watermarking has emerged as a viable solution for detecting AI-generated content and protecting models. However, existing methods fall short in providing individualized watermarks for each user, a critical feature for enhancing accountability and traceability. In this paper, we introduce PersonaMark, a novel personalized text watermarking scheme designed to protect LLMs' copyrights and bolster accountability. PersonaMark leverages sentence structure as a subtle carrier of watermark information and optimizes the generation process to maintain the natural output of the model. By employing a personalized hashing function, unique watermarks are embedded for each user, enabling high-quality text generation without compromising the model's performance. This approach is both time-efficient and scalable, capable of handling large numbers of users through a multi-user hashing mechanism. To the best of our knowledge, this is a pioneer study to explore personalized watermarking in LLMs. We conduct extensive evaluations across four LLMs, analyzing various metrics such as perplexity, sentiment, alignment, and readability. The results validate that PersonaMark preserves text quality, ensures unbiased watermark insertion, and offers robust watermark detection capabilities, all while maintaining the model's behavior with minimal disruption.
• Abstract（参考訳）: カスタマイズされたLarge Language Models (LLM) の急速な進歩は、非常に便利である。 しかし、著作権・機密情報の保護に関する懸念も強まる。 プライベートLLMの広範な採用に伴い、モデル著作権の保護とデータのプライバシの確保が重要になっている。 テキスト透かしは、AIが生成したコンテンツを検出し、モデルを保護するための実行可能なソリューションとして登場した。 しかし、既存の手法では、個々のユーザに対して個別の透かしを提供することが不足しており、説明責任とトレーサビリティを高める重要な特徴である。 本稿では,LLMの著作権保護と説明責任向上を目的とした,パーソナライズされたテキスト透かし方式であるPersonaMarkを紹介する。 PersonaMarkは、文構造を透かし情報の微妙なキャリアとして利用し、生成プロセスを最適化してモデルの自然な出力を維持する。 パーソナライズされたハッシュ機能を利用することで、各ユーザにユニークな透かしを埋め込んで、モデルの性能を損なうことなく高品質なテキスト生成を可能にする。 このアプローチは時間効率とスケーラビリティの両面から,マルチユーザハッシュ機構を通じて多数のユーザを処理することができる。 我々の知る限りでは、LLMにおけるパーソナライズされた透かしを探索するための先駆的な研究である。 我々は4つのLCMに対して広範囲な評価を行い、パープレキシティ、感情、アライメント、可読性といった様々な指標を分析した。 その結果、PersonaMarkはテキストの品質を保ち、バイアスのない透かし挿入を確実にし、堅牢な透かし検出機能を提供するとともに、モデルの振舞いを最小限の破壊で維持することを確認した。

関連論文リスト

• Can Watermarked LLMs be Identified by Users via Crafted Prompts? [55.460327393792156]
  この研究は、透かし付き大言語モデル(LLM)の非受容性を初めて研究したものである。 我々は、よく設計されたプロンプトを通して透かしを検出する、Water-Probeと呼ばれる識別アルゴリズムを設計する。 実験の結果、ほとんどの主流の透かしアルゴリズムは、よく設計されたプロンプトと容易に識別できることがわかった。
  論文  参考訳（メタデータ） (2024-10-04T06:01:27Z)
• Less is More: Sparse Watermarking in LLMs with Enhanced Text Quality [27.592486717044455]
  テキストに分散した生成されたトークンの小さなサブセットに透かしを適用することで、このトレードオフを緩和することを目的とした新しいタイプの透かしであるスパース透かしを提案する。 提案手法は,従来の透かし手法よりも高い品質のテキストを生成しつつ,高い検出性を実現することを示す。
  論文  参考訳（メタデータ） (2024-07-17T18:52:12Z)
• Topic-Based Watermarks for LLM-Generated Text [46.71493672772134]
  本稿では,大規模言語モデル(LLM)のためのトピックベースの新しい透かしアルゴリズムを提案する。 トピック固有のトークンバイアスを使用することで、生成されたテキストにトピック依存の透かしを埋め込む。 提案手法は,テキストトピックを99.99%の信頼度で分類する。
  論文  参考訳（メタデータ） (2024-04-02T17:49:40Z)
• Adaptive Text Watermark for Large Language Models [8.100123266517299]
  プロンプトやモデルの知識を必要とせずに、強力なセキュリティ、堅牢性、および透かしを検出する能力を維持しつつ、高品質な透かしテキストを生成することは困難である。 本稿では,この問題に対処するための適応型透かし手法を提案する。
  論文  参考訳（メタデータ） (2024-01-25T03:57:12Z)
• On the Learnability of Watermarks for Language Models [80.97358663708592]
  言語モデルが透かし付きテキストを生成するために直接学習できるかどうかを問う。 本稿では,教師モデルとして振舞う学生モデルを訓練する透かし蒸留法を提案する。 モデルは、高い検出性で透かし付きテキストを生成することができる。
  論文  参考訳（メタデータ） (2023-12-07T17:41:44Z)
• Improving the Generation Quality of Watermarked Large Language Models via Word Importance Scoring [81.62249424226084]
  トークンレベルの透かしは、トークン確率分布を変更して生成されたテキストに透かしを挿入する。 この透かしアルゴリズムは、生成中のロジットを変化させ、劣化したテキストの品質につながる可能性がある。 We propose to improve the quality of texts generated by a watermarked language model by Watermarking with Importance Scoring (WIS)。
  論文  参考訳（メタデータ） (2023-11-16T08:36:00Z)
• Turning Your Strength into Watermark: Watermarking Large Language Model via Knowledge Injection [66.26348985345776]
  本稿では,知識注入に基づく大規模言語モデル(LLM)のための新しい透かし手法を提案する。 透かし埋め込みの段階では、まず選択した知識に透かしを埋め込んで、透かし付き知識を得る。 透かし抽出段階では、疑わしいLLMを問うために、透かし付き知識に関する質問を設計する。 実験により, 透かし抽出の成功率は100%近くであり, 提案手法の有効性, 忠実性, ステルス性, 堅牢性を示した。
  論文  参考訳（メタデータ） (2023-11-16T03:22:53Z)
• On the Reliability of Watermarks for Large Language Models [95.87476978352659]
  本研究では,人間による書き直し後の透かしテキストの堅牢性,非透かしLDMによる言い換え,あるいはより長い手書き文書への混在性について検討する。 人や機械の言い回しをしても、透かしは検出可能である。 また、大きな文書に埋め込まれた透かし付きテキストの短いスパンに敏感な新しい検出手法についても検討する。
  論文  参考訳（メタデータ） (2023-06-07T17:58:48Z)
• A Watermark for Large Language Models [84.95327142027183]
  本稿では,プロプライエタリな言語モデルのための透かしフレームワークを提案する。 透かしはテキストの品質に無視できない影響で埋め込むことができる。 言語モデルAPIやパラメータにアクセスすることなく、効率的なオープンソースアルゴリズムを使って検出することができる。
  論文  参考訳（メタデータ） (2023-01-24T18:52:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。