論文の概要: Watermarking Low-entropy Generation for Large Language Models: An Unbiased and Low-risk Method

• arxiv url: http://arxiv.org/abs/2405.14604v3
• Date: Fri, 07 Feb 2025 21:04:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 16:44:23.824695
• Title: Watermarking Low-entropy Generation for Large Language Models: An Unbiased and Low-risk Method
• Title（参考訳）: 大規模言語モデルのための透かし低エントロピー生成法
• Authors: Minjia Mao, Dongjun Wei, Zeyu Chen, Xiao Fang, Michael Chau,
• Abstract要約: STA-1は、予想された元のトークン分布を保存する不偏の透かしである。 低エントロピーおよび高エントロピーデータセットの実験結果は、STA-1が上記の特性を同時に達成できることを証明している。
• 参考スコア（独自算出の注目度）: 6.505831742654826
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advancements in large language models (LLMs) have highlighted the risk of misusing them, raising the need for accurate detection of LLM-generated content. In response, a viable solution is to inject imperceptible identifiers into LLMs, known as watermarks. Our research extends the existing watermarking methods by proposing the novel Sampling One Then Accepting (STA-1) method. STA-1 is an unbiased watermark that preserves the original token distribution in expectation and has a lower risk of producing unsatisfactory outputs in low-entropy scenarios compared to existing unbiased watermarks. In watermark detection, STA-1 does not require prompts or a white-box LLM, provides statistical guarantees, demonstrates high efficiency in detection time, and remains robust against various watermarking attacks. Experimental results on low-entropy and high-entropy datasets demonstrate that STA-1 achieves the above properties simultaneously, making it a desirable solution for watermarking LLMs. Implementation codes for this study are available online.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、それらを誤用する危険性を強調し、LLM生成コンテンツの正確な検出の必要性を高めている。 これに対し、有効な解決策は、認識不能な識別子をLLM(ウォーターマーク)に注入することである。 本研究は,新規なサンプリングワン・アクセプティング(STA-1)手法を提案することによって,既存の透かし手法を拡張した。 STA-1は、予想される元のトークン分布を保存し、既存の非バイアスの透かしと比較して、低エントロピーのシナリオで不満足な出力を発生させるリスクが低い非バイアスの透かしである。 透かし検出では、STA-1はプロンプトやホワイトボックスのLSMを必要とせず、統計的保証を提供し、検出時間の高い効率を示し、様々な透かし攻撃に対して頑健である。 低エントロピーおよび高エントロピーデータセットの実験結果は、STA-1が上記の特性を同時に達成し、LLMを透かし出すのに望ましい解であることを示している。 本研究の実施コードはオンラインで公開されている。

関連論文リスト

• Entropy-Guided Watermarking for LLMs: A Test-Time Framework for Robust and Traceable Text Generation [58.85645136534301]
  サンプルテキストの既存の透かし方式は、テキスト品質の維持と各種攻撃に対する堅牢な検出とのトレードオフに直面していることが多い。 累積透かしエントロピー閾値を導入することにより,検出性とテキスト品質を両立させる新しい透かし方式を提案する。
  論文  参考訳（メタデータ） (2025-04-16T14:16:38Z)
• Toward Breaking Watermarks in Distortion-free Large Language Models [11.922206306917435]
  我々は,LSMを「妥協」し,スプーフィング攻撃を行うことが可能であることを示す。 具体的には,ウォーターマーキングに用いる秘密鍵を正確に推定する混合整数線形プログラミングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-25T19:52:55Z)
• GaussMark: A Practical Approach for Structural Watermarking of Language Models [61.84270985214254]
  GaussMarkは、大規模な言語モデルを透かし出すためのシンプルで効率的で比較的堅牢なスキームである。 GaussMarkは信頼性が高く、効率的で、挿入、削除、置換、ラウンドトリップ翻訳などの汚職に対して比較的堅牢であることを示す。
  論文  参考訳（メタデータ） (2025-01-17T22:30:08Z)
• A Watermark for Order-Agnostic Language Models [55.89285889529492]
  Pattern-markは、順序に依存しないLM用に特別に設計されたパターンベースの透かしフレームワークである。 我々は,高周波鍵パターンを持つ透かしキー列を生成するマルコフチェーン型透かし生成器を開発した。 タンパク質MPNN や CMLM などの順序に依存しない LM の評価では,パターンマークによる検出効率の向上,生成品質,ロバスト性などが示されている。
  論文  参考訳（メタデータ） (2024-10-17T17:41:28Z)
• Signal Watermark on Large Language Models [28.711745671275477]
  本稿では,Large Language Models (LLMs) によるテキストに特定の透かしを埋め込む透かし手法を提案する。 この技術は、透かしが人間に見えないことを保証するだけでなく、モデル生成テキストの品質と文法的整合性も維持する。 提案手法は複数のLDMに対して実験的に検証され,高い検出精度を維持している。
  論文  参考訳（メタデータ） (2024-10-09T04:49:03Z)
• Can Watermarked LLMs be Identified by Users via Crafted Prompts? [55.460327393792156]
  この研究は、透かし付き大言語モデル(LLM)の非受容性を初めて研究したものである。 我々は、よく設計されたプロンプトを通して透かしを検出する、Water-Probeと呼ばれる識別アルゴリズムを設計する。 実験の結果、ほとんどの主流の透かしアルゴリズムは、よく設計されたプロンプトと容易に識別できることがわかった。
  論文  参考訳（メタデータ） (2024-10-04T06:01:27Z)
• Distortion-free Watermarks are not Truly Distortion-free under Watermark Key Collisions [58.777395817878514]
  言語モデル(LM)ウォーターマーキング技術は、統計信号をLM生成コンテンツに注入する。 歪みのない新しい透かし-β透かしを導入します。 実験結果から,β-透かしが鍵衝突時の分布バイアスを効果的に低減できることが確認された。
  論文  参考訳（メタデータ） (2024-06-02T04:07:32Z)
• Black-Box Detection of Language Model Watermarks [1.9374282535132377]
  我々は,ブラックボックスクエリの限られた数だけを用いて,最も人気のある3つのウォーターマーキングスキーム群の存在を検出するための厳密な統計的テストを開発した。 以上の結果から,現在の透かし方式は従来考えられていたよりも検出可能であり,また,透かしが配備されたという事実を無視することは,プロバイダが敵から守るための有効な方法ではない可能性が示唆された。
  論文  参考訳（メタデータ） (2024-05-28T08:41:30Z)
• A Statistical Framework of Watermarks for Large Language Models: Pivot, Detection Efficiency and Optimal Rules [27.678152860666163]
  我々は,透かしの統計的効率と強力な検出規則を推論するための枠組みを導入する。 枠組みに基づく透かしの最適検出規則を導出する。
  論文  参考訳（メタデータ） (2024-04-01T17:03:41Z)
• Latent Watermark: Inject and Detect Watermarks in Latent Diffusion Space [7.082806239644562]
  既存の手法は、画質と透かしの堅牢性のジレンマに直面している。 画像品質の優れた透かしは通常、ぼやけやJPEG圧縮のような攻撃に対して弱い堅牢性を持つ。 本稿では,潜伏拡散空間内の透かしを注入し,検出する潜伏透かしを提案する。
  論文  参考訳（メタデータ） (2024-03-30T03:19:50Z)
• Duwak: Dual Watermarks in Large Language Models [49.00264962860555]
  トークン確率分布とサンプリングスキームの両方に二重秘密パターンを埋め込むことにより、透かしの効率と品質を向上させるために、Duwakを提案する。 Llama2でDuwakを4つの最先端透かし技術と組み合わせて評価した。
  論文  参考訳（メタデータ） (2024-03-12T16:25:38Z)
• Towards Optimal Statistical Watermarking [95.46650092476372]
  仮説テスト問題として定式化して統計的透かしを研究する。 我々の定式化の鍵は、出力トークンと拒絶領域の結合である。 一般仮説テスト設定において,UMP(Uniformly Most Powerful)の透かしを特徴付ける。
  論文  参考訳（メタデータ） (2023-12-13T06:57:00Z)
• WaterBench: Towards Holistic Evaluation of Watermarks for Large Language Models [48.19623266082828]
  WaterBenchは、大規模言語モデル(LLM)における透かしの最初の包括的なベンチマークである。 LLM透かしの最初の総合的なベンチマークであるWaterBenchを紹介し、3つの重要な要素を設計する。 オープンソースの透かしを2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/3ドル/3ドル/3ドル/3ドル/3ドル/3ドル/3ドル/3ドル/3ドル/3ドル/3ドル/
  論文  参考訳（メタデータ） (2023-11-13T08:09:01Z)
• Unbiased Watermark for Large Language Models [67.43415395591221]
  本研究では, モデル生成出力の品質に及ぼす透かしの影響について検討した。 出力確率分布に影響を与えることなく、透かしを統合することができる。 ウォーターマークの存在は、下流タスクにおけるモデルの性能を損なうものではない。
  論文  参考訳（メタデータ） (2023-09-22T12:46:38Z)
• Provable Robust Watermarking for AI-Generated Text [41.5510809722375]
  We propose a robust and high-quality watermark method, Unigram-Watermark。 提案手法は,テキストの編集やパラフレージングに頑健で,生成品質,透かし検出の精度が保証されていることを実証する。
  論文  参考訳（メタデータ） (2023-06-30T07:24:32Z)
• On the Reliability of Watermarks for Large Language Models [95.87476978352659]
  本研究では,人間による書き直し後の透かしテキストの堅牢性,非透かしLDMによる言い換え,あるいはより長い手書き文書への混在性について検討する。 人や機械の言い回しをしても、透かしは検出可能である。 また、大きな文書に埋め込まれた透かし付きテキストの短いスパンに敏感な新しい検出手法についても検討する。
  論文  参考訳（メタデータ） (2023-06-07T17:58:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。