論文の概要: Can we Watermark Low-Entropy LLM Outputs?

• arxiv url: http://arxiv.org/abs/2604.12051v1
• Date: Mon, 13 Apr 2026 20:47:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-15 19:11:32.12209
• Title: Can we Watermark Low-Entropy LLM Outputs?
• Title（参考訳）: 透かしの低エントロピーLCM出力は可能か?
• Authors: Noam Mazor, Andrew Morgan, Rafael Pass,
• Abstract要約: そこで本稿では,言語モデルの出力分布を変化させない手法として,検出不能な透かしに着目した。 我々は, トーケンエントロピーが一定値である場合に, LLMの出力を透かし出すことができるかどうかを考察する。
• 参考スコア（独自算出の注目度）: 4.67724003380452
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A recent and exciting thread of work focuses on developing methods for watermarking the output of large language models (LLMs). We focus on provably undetectable watermarking-that is, schemes that do not alter the output distribution of the LLM, yet enable embedding a watermark in the output that identifies the output as having been generated by the particular LLM. Furthermore, the watermark should be hard to remove by an adversary that may potentially edit, insert, or delete tokens from the watermarked output. Indeed, recent work (Christ et al. [COLT'24], Christ et al. [CRYPTO'24], Golowich et al. [NeuroIPS'24]) shows how to develop such schemes that are robust against a constant fraction of substitutions, or even against a constant fraction of arbitrary edits. These works, however, make strong assumptions on the entropy present in the output of the LLM. Most notably, they all require constant entropy rate-that is, a constant fraction of the tokens in a sufficiently long substring of the output need to have empirical entropy at least O(log |T|), where T is the alphabet of tokens, and Golowich et al. additionally require T to be larger than the security parameter. In this work, we consider whether we can also watermark the outputs of LLMs when the per-token entropy is just a constant, discarding the dependence on the alphabet size or security parameter. In this regime, we construct: - A watermarking scheme robust against random substitutions (assuming subexponential LPN, as in Christ et al. [CRYPTO'24]) - A watermarking scheme robust against random substitutions and random deletions, given either the additional heuristic assumption that the output of the LLM only introduces random errors (analogous to the assumption made by Christ et al. [CRYPTO'24]) or a construction of a pseudorandom error-correcting code robust to adversarial substitutions and random deletions.
• Abstract（参考訳）: 最近のエキサイティングな研究のスレッドは、大規模言語モデル(LLM)の出力を透かし出す方法の開発に焦点を当てている。 本研究では,LLMの出力分布を変更しないが,出力に透かしを埋め込むことにより,特定のLLMが生成した出力を識別する方式を実証不可能な透かしに着目する。 さらに、透かしは、透かし出力からトークンを編集、挿入、削除する可能性のある敵によって取り除かれることが困難である。 実際、最近の研究(Christ et al [COLT'24]、Christ et al [CRYPTO'24]、Golowich et al [NeuroIPS'24])は、置換の一定数、あるいは任意の編集の一定数に対して堅牢なスキームを開発する方法を示している。 しかしながら、これらの研究は LLM の出力に存在するエントロピーを強く仮定する。 すなわち、出力の十分長い部分弦のトークンの定数分は少なくとも O(log |T|) を持つ必要があり、T はトークンのアルファベットであり、Golowich et al は T はセキュリティパラメータよりも大きいことを要求する。 本研究は,LLMの出力が一定である場合にも,アルファベットサイズやセキュリティパラメータへの依存を排除できるかどうかを考察する。 ランダムな置換に対して頑健な透かしスキーム(Christ et al [CRYPTO'24]) - LLMの出力がランダムなエラー(Christ et al [CRYPTO'24]の仮定に類似している)しか導入しないという追加のヒューリスティックな仮定と、逆の置換やランダムな削除に頑健な擬似ランダムな誤り訂正符号の構築のいずれかを考えると、ランダムな置換に対して頑健な透かしスキームを構築する。

関連論文リスト

• Invisible Entropy: Towards Safe and Efficient Low-Entropy LLM Watermarking [48.26359966929394]
  Invisible Entropy (IE)は、安全性と効率性の両方を高めるために設計された透かしパラダイムである。 IEはパラメータサイズを99%削減し、最先端のメソッドと同等のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-05-20T09:19:06Z)
• Optimized Couplings for Watermarking Large Language Models [8.585779208433465]
  大規模言語モデル(LLM)は、多くの場合、人間が生成したコンテンツと区別できないようなテキストを生成することができる。 本稿では,テキスト透かしをワンショットで解析する。
  論文  参考訳（メタデータ） (2025-05-13T18:08:12Z)
• Edit Distance Robust Watermarks via Indexing Pseudorandom Codes [29.69428894587431]
  AI生成テキストの検出の問題に触発されて、証明可能な保証付き言語モデルの出力を透かしする問題を考える。 a)非検出性、(a)Christ, Gunn & Zamir (2024) が導入した暗号概念、(b) 敵の挿入、置換、削除を一定の割合で導入するチャネルに対する堅牢性。
  論文  参考訳（メタデータ） (2024-06-04T04:03:17Z)
• Large Language Model Watermark Stealing With Mixed Integer Programming [51.336009662771396]
  大きな言語モデル(LLM)の透かしは、著作権に対処し、AI生成したテキストを監視し、その誤用を防ぐことを約束している。 近年の研究では、多数のキーを用いた透かし手法は、攻撃の除去に影響を受けやすいことが示されている。 我々は,最先端のLLM透かしスキームに対する新たなグリーンリスト盗難攻撃を提案する。
  論文  参考訳（メタデータ） (2024-05-30T04:11:17Z)
• Topic-Based Watermarks for Large Language Models [46.71493672772134]
  本稿では,Large Language Model (LLM) 出力のための軽量なトピック誘導型透かし方式を提案する。 本手法は,Google の SynthID-Text など,業界をリードするシステムに匹敵する難易度を実現する。
  論文  参考訳（メタデータ） (2024-04-02T17:49:40Z)
• Who Wrote this Code? Watermarking for Code Generation [53.24895162874416]
  本稿では,機械生成テキストを検出するために,Entropy Thresholding (SWEET) を用いたSelective WatErmarkingを提案する。 実験の結果,SWEETはコード品質を著しく向上し,すべてのベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-05-24T11:49:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。