論文の概要: Can we Watermark Low-Entropy LLM Outputs?
- arxiv url: http://arxiv.org/abs/2604.12051v1
- Date: Mon, 13 Apr 2026 20:47:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-15 19:11:32.12209
- Title: Can we Watermark Low-Entropy LLM Outputs?
- Title（参考訳）: 透かしの低エントロピーLCM出力は可能か?
- Abstract要約: そこで本稿では,言語モデルの出力分布を変化させない手法として,検出不能な透かしに着目した。
我々は, トーケンエントロピーが一定値である場合に, LLMの出力を透かし出すことができるかどうかを考察する。
- 参考スコア（独自算出の注目度）: 4.67724003380452
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A recent and exciting thread of work focuses on developing methods for watermarking the output of large language models (LLMs). We focus on provably undetectable watermarking-that is, schemes that do not alter the output distribution of the LLM, yet enable embedding a watermark in the output that identifies the output as having been generated by the particular LLM. Furthermore, the watermark should be hard to remove by an adversary that may potentially edit, insert, or delete tokens from the watermarked output. Indeed, recent work (Christ et al. [COLT'24], Christ et al. [CRYPTO'24], Golowich et al. [NeuroIPS'24]) shows how to develop such schemes that are robust against a constant fraction of substitutions, or even against a constant fraction of arbitrary edits. These works, however, make strong assumptions on the entropy present in the output of the LLM. Most notably, they all require constant entropy rate-that is, a constant fraction of the tokens in a sufficiently long substring of the output need to have empirical entropy at least O(log |T|), where T is the alphabet of tokens, and Golowich et al. additionally require T to be larger than the security parameter. In this work, we consider whether we can also watermark the outputs of LLMs when the per-token entropy is just a constant, discarding the dependence on the alphabet size or security parameter. In this regime, we construct: - A watermarking scheme robust against random substitutions (assuming subexponential LPN, as in Christ et al. [CRYPTO'24]) - A watermarking scheme robust against random substitutions and random deletions, given either the additional heuristic assumption that the output of the LLM only introduces random errors (analogous to the assumption made by Christ et al. [CRYPTO'24]) or a construction of a pseudorandom error-correcting code robust to adversarial substitutions and random deletions.
- Abstract（参考訳）: 最近のエキサイティングな研究のスレッドは、大規模言語モデル(LLM)の出力を透かし出す方法の開発に焦点を当てている。
本研究では,LLMの出力分布を変更しないが,出力に透かしを埋め込むことにより,特定のLLMが生成した出力を識別する方式を実証不可能な透かしに着目する。
さらに、透かしは、透かし出力からトークンを編集、挿入、削除する可能性のある敵によって取り除かれることが困難である。
実際、最近の研究(Christ et al [COLT'24]、Christ et al [CRYPTO'24]、Golowich et al [NeuroIPS'24])は、置換の一定数、あるいは任意の編集の一定数に対して堅牢なスキームを開発する方法を示している。
しかしながら、これらの研究は LLM の出力に存在するエントロピーを強く仮定する。
すなわち、出力の十分長い部分弦のトークンの定数分は少なくとも O(log |T|) を持つ必要があり、T はトークンのアルファベットであり、Golowich et al は T はセキュリティパラメータよりも大きいことを要求する。
本研究は,LLMの出力が一定である場合にも,アルファベットサイズやセキュリティパラメータへの依存を排除できるかどうかを考察する。
ランダムな置換に対して頑健な透かしスキーム(Christ et al [CRYPTO'24]) - LLMの出力がランダムなエラー(Christ et al [CRYPTO'24]の仮定に類似している)しか導入しないという追加のヒューリスティックな仮定と、逆の置換やランダムな削除に頑健な擬似ランダムな誤り訂正符号の構築のいずれかを考えると、ランダムな置換に対して頑健な透かしスキームを構築する。
関連論文リスト
- From Early Encoding to Late Suppression: Interpreting LLMs on Character Counting Tasks [49.57538588967748]
LLM(Large Language Model)は、複雑なベンチマークでは優れているにもかかわらず、単語中の文字数などの基本的な記号的タスクにおいて失敗を示す。
我々は、LLaMA、Qwen、Gemmaなど、現代のアーキテクチャにまたがる一貫した現象を発見した。
LLMにおけるシンボリック推論失敗は,表現不足やスケール不足によるものではなく,モデル計算グラフ内の構造的干渉によるものであることを示す。
論文 参考訳（メタデータ） (2026-04-01T11:40:12Z) - Improved Pseudorandom Codes from Permuted Puzzles [28.363531214070196]
疑似ランダム性セキュリティを実現するための疑似ランダムコードを構築し、二進アルファベットによる最悪の場合の編集に対する堅牢性、そして計算不能な敵に対する堅牢性を実現する。
この予想は、以前に2倍効率のプライベート情報検索を構築するために使われた変分パズル予想によって導かれることを示す。
論文 参考訳（メタデータ） (2025-12-09T18:53:42Z) - Character-Level Perturbations Disrupt LLM Watermarks [64.60090923837701]
我々は,Large Language Model (LLM)ウォーターマーキングのためのシステムモデルを定式化する。
我々は、透かし検出器への限られたアクセスに制約された2つの現実的な脅威モデルの特徴付けを行う。
我々は,最も制限的な脅威モデルの下で,キャラクタレベルの摂動が透かし除去に著しく有効であることを実証した。
現実的な制約下での透かし除去における文字レベルの摂動の優位性と遺伝的アルゴリズム(GA)の有効性を実験的に検証した。
論文 参考訳（メタデータ） (2025-09-11T02:50:07Z) - Invisible Entropy: Towards Safe and Efficient Low-Entropy LLM Watermarking [48.26359966929394]
Invisible Entropy (IE)は、安全性と効率性の両方を高めるために設計された透かしパラダイムである。
IEはパラメータサイズを99%削減し、最先端のメソッドと同等のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2025-05-20T09:19:06Z) - Optimized Couplings for Watermarking Large Language Models [8.585779208433465]
大規模言語モデル(LLM)は、多くの場合、人間が生成したコンテンツと区別できないようなテキストを生成することができる。
本稿では,テキスト透かしをワンショットで解析する。
論文 参考訳（メタデータ） (2025-05-13T18:08:12Z) - GaussMark: A Practical Approach for Structural Watermarking of Language Models [61.84270985214254]
GaussMarkは、大規模な言語モデルを透かし出すためのシンプルで効率的で比較的堅牢なスキームである。
GaussMarkは信頼性が高く、効率的で、挿入、削除、置換、ラウンドトリップ翻訳などの汚職に対して比較的堅牢であることを示す。
論文 参考訳（メタデータ） (2025-01-17T22:30:08Z) - Edit Distance Robust Watermarks via Indexing Pseudorandom Codes [29.69428894587431]
AI生成テキストの検出の問題に触発されて、証明可能な保証付き言語モデルの出力を透かしする問題を考える。
a)非検出性、(a)Christ, Gunn & Zamir (2024) が導入した暗号概念、(b) 敵の挿入、置換、削除を一定の割合で導入するチャネルに対する堅牢性。
論文 参考訳（メタデータ） (2024-06-04T04:03:17Z) - Large Language Model Watermark Stealing With Mixed Integer Programming [51.336009662771396]
大きな言語モデル(LLM)の透かしは、著作権に対処し、AI生成したテキストを監視し、その誤用を防ぐことを約束している。
近年の研究では、多数のキーを用いた透かし手法は、攻撃の除去に影響を受けやすいことが示されている。
我々は,最先端のLLM透かしスキームに対する新たなグリーンリスト盗難攻撃を提案する。
論文 参考訳（メタデータ） (2024-05-30T04:11:17Z) - Topic-Based Watermarks for Large Language Models [46.71493672772134]
本稿では,Large Language Model (LLM) 出力のための軽量なトピック誘導型透かし方式を提案する。
本手法は,Google の SynthID-Text など,業界をリードするシステムに匹敵する難易度を実現する。
論文 参考訳（メタデータ） (2024-04-02T17:49:40Z) - Pseudorandom Error-Correcting Codes [0.716879432974126]
暗号置換や削除エラーに対して堅牢な擬似乱数符号を構築します。
ランダムな置換と削除の出力に対する検出不能な透かし方式を提案する。
第2の応用はステガノグラフィーで、秘密のメッセージが無実のコンテンツに隠されている。
論文 参考訳（メタデータ） (2024-02-14T18:17:45Z) - A Robust Semantics-based Watermark for Large Language Model against Paraphrasing [50.84892876636013]
大規模言語モデル(LLM)は、様々な自然言語処理において優れた能力を示している。
LLMは不適切にも違法にも使用できるという懸念がある。
本稿ではセマンティクスに基づく透かしフレームワークSemaMarkを提案する。
論文 参考訳（メタデータ） (2023-11-15T06:19:02Z) - Who Wrote this Code? Watermarking for Code Generation [53.24895162874416]
本稿では,機械生成テキストを検出するために,Entropy Thresholding (SWEET) を用いたSelective WatErmarkingを提案する。
実験の結果,SWEETはコード品質を著しく向上し,すべてのベースラインを上回ります。
論文 参考訳（メタデータ） (2023-05-24T11:49:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。