論文の概要: Toward Breaking Watermarks in Distortion-free Large Language Models

• arxiv url: http://arxiv.org/abs/2502.18608v1
• Date: Tue, 25 Feb 2025 19:52:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-27 14:58:08.341066
• Title: Toward Breaking Watermarks in Distortion-free Large Language Models
• Title（参考訳）: 歪みのない大言語モデルにおける透かしの破壊に向けて
• Authors: Shayleen Reynolds, Saheed Obitayo, Niccolò Dalmasso, Dung Daniel T. Ngo, Vamsi K. Potluru, Manuela Veloso,
• Abstract要約: 我々は,LSMを「妥協」し,スプーフィング攻撃を行うことが可能であることを示す。 具体的には,ウォーターマーキングに用いる秘密鍵を正確に推定する混合整数線形プログラミングフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 11.922206306917435
• License:
• Abstract: In recent years, LLM watermarking has emerged as an attractive safeguard against AI-generated content, with promising applications in many real-world domains. However, there are growing concerns that the current LLM watermarking schemes are vulnerable to expert adversaries wishing to reverse-engineer the watermarking mechanisms. Prior work in "breaking" or "stealing" LLM watermarks mainly focuses on the distribution-modifying algorithm of Kirchenbauer et al. (2023), which perturbs the logit vector before sampling. In this work, we focus on reverse-engineering the other prominent LLM watermarking scheme, distortion-free watermarking (Kuditipudi et al. 2024), which preserves the underlying token distribution by using a hidden watermarking key sequence. We demonstrate that, even under a more sophisticated watermarking scheme, it is possible to "compromise" the LLM and carry out a "spoofing" attack. Specifically, we propose a mixed integer linear programming framework that accurately estimates the secret key used for watermarking using only a few samples of the watermarked dataset. Our initial findings challenge the current theoretical claims on the robustness and usability of existing LLM watermarking techniques.
• Abstract（参考訳）: 近年、LLM透かしはAI生成コンテンツに対する魅力的な保護具として登場し、多くの現実世界の領域で有望な応用が期待されている。 しかし、現在のLLM透かし方式は、透かし機構のリバースエンジニアリングを望む専門家の敵に弱いという懸念が高まっている。 LLMの透かしは、サンプリング前にロジットベクトルを乱すKirchenbauer et al (2023)の分布修正アルゴリズムに主に焦点が当てられている。 本研究では,他の著名なLLM透かし方式,歪みのない透かし (Kuditipudi et al 2024) のリバースエンジニアリングに焦点を当て,隠れ透かしキー配列を用いてトークン分布を保存している。 我々は,より洗練された透かし方式の下でも,LCMを「妥協」し,スプーフィング攻撃を行うことが可能であることを実証した。 具体的には,ウォーターマークされたデータセットの少数のサンプルを用いて,ウォーターマーキングに用いる秘密鍵を正確に推定する混合整数線形プログラミングフレームワークを提案する。 最初の発見は,既存のLCM透かし技術の堅牢性とユーザビリティに関する現在の理論的主張に挑戦した。

関連論文リスト

• ESpeW: Robust Copyright Protection for LLM-based EaaS via Embedding-Specific Watermark [50.08021440235581]
  組み込み・アズ・ア・サービス(Eding)はAIアプリケーションにおいて重要な役割を担っている。 編集はモデル抽出攻撃に対して脆弱であり、著作権保護の緊急の必要性を強調している。 そこで我々は,Edingの著作権保護を堅牢にするための新しい埋め込み専用透かし (ESpeW) 機構を提案する。
  論文  参考訳（メタデータ） (2024-10-23T04:34:49Z)
• Can Watermarked LLMs be Identified by Users via Crafted Prompts? [55.460327393792156]
  この研究は、透かし付き大言語モデル(LLM)の非受容性を初めて研究したものである。 我々は、よく設計されたプロンプトを通して透かしを検出する、Water-Probeと呼ばれる識別アルゴリズムを設計する。 実験の結果、ほとんどの主流の透かしアルゴリズムは、よく設計されたプロンプトと容易に識別できることがわかった。
  論文  参考訳（メタデータ） (2024-10-04T06:01:27Z)
• Large Language Model Watermark Stealing With Mixed Integer Programming [51.336009662771396]
  大きな言語モデル(LLM)の透かしは、著作権に対処し、AI生成したテキストを監視し、その誤用を防ぐことを約束している。 近年の研究では、多数のキーを用いた透かし手法は、攻撃の除去に影響を受けやすいことが示されている。 我々は,最先端のLLM透かしスキームに対する新たなグリーンリスト盗難攻撃を提案する。
  論文  参考訳（メタデータ） (2024-05-30T04:11:17Z)
• Black-Box Detection of Language Model Watermarks [1.9374282535132377]
  我々は,3つの人気のある透かしスキームファミリーのパラメータを検出し,推定するための厳密な統計試験を開発した。 提案手法の有効性を,多種多様なオープンソースモデルを用いて実験的に検証した。 以上の結果から,現在の透かし方式は従来考えられていたよりも検出可能であることが示唆された。
  論文  参考訳（メタデータ） (2024-05-28T08:41:30Z)
• Watermark Stealing in Large Language Models [2.1165011830664673]
  本研究では,透かし付きLLMのAPIをほぼリバースエンジニアリングにクエリすることで,実用的なスプーフィング攻撃を可能にすることを示す。 私たちは、自動化されたWSアルゴリズムを初めて提案し、それを、現実的な環境でのスプーフィングとスクラブの最初の包括的な研究で使用します。
  論文  参考訳（メタデータ） (2024-02-29T17:12:39Z)
• No Free Lunch in LLM Watermarking: Trade-offs in Watermarking Design Choices [20.20770405297239]
  LLM透かし方式における一般的な設計選択は、結果のシステムが驚くほど攻撃を受けやすいことを示す。 本稿では, LLM透かしのガイドラインと防御について述べる。
  論文  参考訳（メタデータ） (2024-02-25T20:24:07Z)
• Turning Your Strength into Watermark: Watermarking Large Language Model via Knowledge Injection [66.26348985345776]
  本稿では,知識注入に基づく大規模言語モデル(LLM)のための新しい透かし手法を提案する。 透かし埋め込みの段階では、まず選択した知識に透かしを埋め込んで、透かし付き知識を得る。 透かし抽出段階では、疑わしいLLMを問うために、透かし付き知識に関する質問を設計する。 実験により, 透かし抽出の成功率は100%近くであり, 提案手法の有効性, 忠実性, ステルス性, 堅牢性を示した。
  論文  参考訳（メタデータ） (2023-11-16T03:22:53Z)
• Unbiased Watermark for Large Language Models [67.43415395591221]
  本研究では, モデル生成出力の品質に及ぼす透かしの影響について検討した。 出力確率分布に影響を与えることなく、透かしを統合することができる。 ウォーターマークの存在は、下流タスクにおけるモデルの性能を損なうものではない。
  論文  参考訳（メタデータ） (2023-09-22T12:46:38Z)
• Fine-tuning Is Not Enough: A Simple yet Effective Watermark Removal Attack for DNN Models [72.9364216776529]
  我々は異なる視点から新しい透かし除去攻撃を提案する。 我々は、知覚不可能なパターン埋め込みと空間レベルの変換を組み合わせることで、単純だが強力な変換アルゴリズムを設計する。 我々の攻撃は、非常に高い成功率で最先端の透かしソリューションを回避できる。
  論文  参考訳（メタデータ） (2020-09-18T09:14:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。