論文の概要: Black-Box Detection of Language Model Watermarks

• arxiv url: http://arxiv.org/abs/2405.20777v3
• Date: Mon, 24 Feb 2025 14:06:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:48:36.608152
• Title: Black-Box Detection of Language Model Watermarks
• Title（参考訳）: 言語モデル透かしのブラックボックス検出
• Authors: Thibaud Gloaguen, Nikola Jovanović, Robin Staab, Martin Vechev,
• Abstract要約: 我々は,3つの人気のある透かしスキームファミリーのパラメータを検出し,推定するための厳密な統計試験を開発した。 提案手法の有効性を,多種多様なオープンソースモデルを用いて実験的に検証した。 以上の結果から,現在の透かし方式は従来考えられていたよりも検出可能であることが示唆された。
• 参考スコア（独自算出の注目度）: 1.9374282535132377
• License:
• Abstract: Watermarking has emerged as a promising way to detect LLM-generated text, by augmenting LLM generations with later detectable signals. Recent work has proposed multiple families of watermarking schemes, several of which focus on preserving the LLM distribution. This distribution-preservation property is motivated by the fact that it is a tractable proxy for retaining LLM capabilities, as well as the inherently implied undetectability of the watermark by downstream users. Yet, despite much discourse around undetectability, no prior work has investigated the practical detectability of any of the current watermarking schemes in a realistic black-box setting. In this work we tackle this for the first time, developing rigorous statistical tests to detect the presence, and estimate parameters, of all three popular watermarking scheme families, using only a limited number of black-box queries. We experimentally confirm the effectiveness of our methods on a range of schemes and a diverse set of open-source models. Further, we validate the feasibility of our tests on real-world APIs. Our findings indicate that current watermarking schemes are more detectable than previously believed.
• Abstract（参考訳）: ウォーターマーキングは、後に検出可能な信号でLLM世代を増強することで、LLM生成テキストを検出するための有望な方法として登場した。 近年の研究では複数の透かし方式が提案されており、その一部はLLM分布の保存に重点を置いている。 この分布保存特性は,LLM機能を維持するためのトラクタブルプロキシであると同時に,下流ユーザによる透かしの本質的に意図しない検出性によってもたらされる。 しかし、検出不可能性に関する多くの議論にもかかわらず、現実的なブラックボックス設定における現在の透かしスキームのいずれかの実用的検出可能性について、事前の研究は行われていない。 本研究は,ブラックボックスクエリの限られた数のみを用いて,一般的な3つのウォーターマーキングスキーム群の存在を検知し,パラメータを推定する厳密な統計的試験を初めて実施する。 提案手法の有効性を,多種多様なオープンソースモデルを用いて実験的に検証した。 さらに、実世界のAPIにおけるテストの実現可能性についても検証する。 以上の結果から,現在の透かし方式は従来考えられていたよりも検出可能であることが示唆された。

関連論文リスト

• NSmark: Null Space Based Black-box Watermarking Defense Framework for Language Models [24.544014337601286]
  言語モデル(LM)は、保護を必要とする重要な知的財産権(IP)資産として登場した。 本稿では,Linear Functionality Equivalence Attack (LFEA) の攻撃シナリオを分析し,LMのブラックボックス設定に拡張する。 タスクに依存しない,LL-LFEA攻撃に抵抗可能なブラックボックス型透かし方式NSmarkを提案する。
  論文  参考訳（メタデータ） (2024-10-16T14:45:27Z)
• Can Watermarked LLMs be Identified by Users via Crafted Prompts? [55.460327393792156]
  この研究は、透かし付き大言語モデル(LLM)の非受容性を初めて研究したものである。 我々は、よく設計されたプロンプトを通して透かしを検出する、Water-Probeと呼ばれる識別アルゴリズムを設計する。 実験の結果、ほとんどの主流の透かしアルゴリズムは、よく設計されたプロンプトと容易に識別できることがわかった。
  論文  参考訳（メタデータ） (2024-10-04T06:01:27Z)
• PostMark: A Robust Blackbox Watermark for Large Language Models [56.63560134428716]
  モジュール式ポストホックウォーターマーキング手法であるPostMarkを開発した。 PostMarkはロジットアクセスを必要としないため、サードパーティによって実装することができる。 PostMarkは既存のウォーターマーキング手法よりも,攻撃を言い換える方が堅牢であることを示す。
  論文  参考訳（メタデータ） (2024-06-20T17:27:14Z)
• Large Language Model Watermark Stealing With Mixed Integer Programming [51.336009662771396]
  大きな言語モデル(LLM)の透かしは、著作権に対処し、AI生成したテキストを監視し、その誤用を防ぐことを約束している。 近年の研究では、多数のキーを用いた透かし手法は、攻撃の除去に影響を受けやすいことが示されている。 我々は,最先端のLLM透かしスキームに対する新たなグリーンリスト盗難攻撃を提案する。
  論文  参考訳（メタデータ） (2024-05-30T04:11:17Z)
• Watermark Stealing in Large Language Models [2.1165011830664673]
  本研究では,透かし付きLLMのAPIをほぼリバースエンジニアリングにクエリすることで,実用的なスプーフィング攻撃を可能にすることを示す。 私たちは、自動化されたWSアルゴリズムを初めて提案し、それを、現実的な環境でのスプーフィングとスクラブの最初の包括的な研究で使用します。
  論文  参考訳（メタデータ） (2024-02-29T17:12:39Z)
• Proving membership in LLM pretraining data via data watermarks [20.57538940552033]
  この研究は、ブラックボックスモデルアクセスのみで原則付き検出を可能にするために、データ透かしを使うことを提案する。 ランダムなシーケンスを挿入する2つの透かしと、Unicodeに似た文字をランダムに置換する2つの透かしについて検討する。 BLOOM-176Bのトレーニングデータから,少なくとも90回はハッシュを確実に検出できることを示す。
  論文  参考訳（メタデータ） (2024-02-16T18:49:27Z)
• Turning Your Strength into Watermark: Watermarking Large Language Model via Knowledge Injection [66.26348985345776]
  本稿では,知識注入に基づく大規模言語モデル(LLM)のための新しい透かし手法を提案する。 透かし埋め込みの段階では、まず選択した知識に透かしを埋め込んで、透かし付き知識を得る。 透かし抽出段階では、疑わしいLLMを問うために、透かし付き知識に関する質問を設計する。 実験により, 透かし抽出の成功率は100%近くであり, 提案手法の有効性, 忠実性, ステルス性, 堅牢性を示した。
  論文  参考訳（メタデータ） (2023-11-16T03:22:53Z)
• An Unforgeable Publicly Verifiable Watermark for Large Language Models [84.2805275589553]
  現在の透かし検出アルゴリズムは、透かし生成プロセスで使用される秘密鍵を必要としており、公開検出中にセキュリティ違反や偽造の影響を受ける。 両段階で同じキーを使用するのではなく、2つの異なるニューラルネットワークを用いて透かしの生成と検出を行う。
  論文  参考訳（メタデータ） (2023-07-30T13:43:27Z)
• On the Reliability of Watermarks for Large Language Models [95.87476978352659]
  本研究では,人間による書き直し後の透かしテキストの堅牢性,非透かしLDMによる言い換え,あるいはより長い手書き文書への混在性について検討する。 人や機械の言い回しをしても、透かしは検出可能である。 また、大きな文書に埋め込まれた透かし付きテキストの短いスパンに敏感な新しい検出手法についても検討する。
  論文  参考訳（メタデータ） (2023-06-07T17:58:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。