論文の概要: Watermarking Language Models for Many Adaptive Users

• arxiv url: http://arxiv.org/abs/2405.11109v2
• Date: Fri, 28 Jun 2024 22:15:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-02 14:00:18.566340
• Title: Watermarking Language Models for Many Adaptive Users
• Title（参考訳）: 適応型ユーザのための透かし言語モデル
• Authors: Aloni Cohen, Alexander Hoover, Gabe Schoenbach,
• Abstract要約: 証明可能な保証付き言語モデルの透かし方式について検討する。 モデル生成テキストを個々のユーザに対してトレース可能なマルチユーザ透かしを導入する。 検出不能なChrist, Gunn, Zamir (2024) のゼロビットスキームが適応的に堅牢であることを証明する。
• 参考スコア（独自算出の注目度）: 47.90822587139056
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study watermarking schemes for language models with provable guarantees. As we show, prior works offer no robustness guarantees against adaptive prompting: when a user queries a language model more than once, as even benign users do. And with just a single exception (Christ and Gunn, 2024), prior works are restricted to zero-bit watermarking: machine-generated text can be detected as such, but no additional information can be extracted from the watermark. Unfortunately, merely detecting AI-generated text may not prevent future abuses. We introduce multi-user watermarks, which allow tracing model-generated text to individual users or to groups of colluding users, even in the face of adaptive prompting. We construct multi-user watermarking schemes from undetectable, adaptively robust, zero-bit watermarking schemes (and prove that the undetectable zero-bit scheme of Christ, Gunn, and Zamir (2024) is adaptively robust). Importantly, our scheme provides both zero-bit and multi-user assurances at the same time. It detects shorter snippets just as well as the original scheme, and traces longer excerpts to individuals. The main technical component is a construction of message-embedding watermarks from zero-bit watermarks. Ours is the first generic reduction between watermarking schemes for language models. A challenge for such reductions is the lack of a unified abstraction for robustness -- that marked text is detectable even after edits. We introduce a new unifying abstraction called AEB-robustness. AEB-robustness provides that the watermark is detectable whenever the edited text "approximates enough blocks" of model-generated output.
• Abstract（参考訳）: 証明可能な保証付き言語モデルの透かし方式について検討する。 私たちが示すように、事前の作業は、適応的なプロンプトに対する堅牢性を保証するものではありません。 そして、わずか1つの例外(Christ and Gunn, 2024)で、先行の作業はゼロビットの透かしに制限される:機械生成テキストを検出できるが、透かしから追加情報を取り出すことはできない。 残念ながら、AI生成したテキストを検出するだけでは、将来の乱用を防げないかもしれない。 我々は,適応的なプロンプトに直面した場合でも,モデル生成したテキストを個々のユーザや協調するユーザのグループにトレースできるマルチユーザ透かしを導入した。 検出不能で適応的に堅牢なゼロビット透かしスキームからマルチユーザ透かしスキームを構築する(また、Christ, Gunn, Zamir (2024) の未検出ゼロビットスキームが適応的に堅牢であることを証明する)。 重要なことは、このスキームは、ゼロビットとマルチユーザー保証の両方を同時に提供する。 オリジナルのスキームと同様に短いスニペットを検知し、個人への長い抜粋をトレースする。 主な技術的コンポーネントは、ゼロビットの透かしからメッセージ埋め込みの透かしを構築することである。 言語モデルのための透かしスキームを一般化した最初の例である。 このような削減の課題は、堅牢性のための統一された抽象化が欠如していることだ。 AEB-robustnessと呼ばれる新しい統一抽象化を導入する。 AEB-robustnessは、編集されたテキストがモデル生成出力の「十分なブロック」を承認するたびに、透かしを検出できる。

関連論文リスト

• Multi-Bit Distortion-Free Watermarking for Large Language Models [4.7381853007029475]
  透かしの一部としてメタ情報の複数ビットを埋め込むことにより,既存のゼロビット歪みのない透かし法を拡張した。 また,少ないビット誤り率で透かしから埋め込み情報を抽出する計算効率の良い復号器を開発した。
  論文  参考訳（メタデータ） (2024-02-26T14:01:34Z)
• On the Learnability of Watermarks for Language Models [80.97358663708592]
  言語モデルが透かし付きテキストを生成するために直接学習できるかどうかを問う。 本稿では,教師モデルとして振舞う学生モデルを訓練する透かし蒸留法を提案する。 モデルは、高い検出性で透かし付きテキストを生成することができる。
  論文  参考訳（メタデータ） (2023-12-07T17:41:44Z)
• Mark My Words: Analyzing and Evaluating Language Model Watermarks [8.025719866615333]
  この研究は、画像やモデル透かしとは対照的に、出力透かし技術に焦点を当てている。 品質、サイズ(透かしを検出するのに必要となるトークンの数)、抵抗の改ざんという3つの主要な指標に注目します。
  論文  参考訳（メタデータ） (2023-12-01T01:22:46Z)
• Advancing Beyond Identification: Multi-bit Watermark for Large Language Models [31.066140913513035]
  機械生成テキストの識別を超えて,大規模言語モデルの誤用に対処する可能性を示す。 言語モデル生成中にトレーサブルなマルチビット情報を埋め込んだ位置アロケーションによるマルチビット透かしを提案する。
  論文  参考訳（メタデータ） (2023-08-01T01:27:40Z)
• An Unforgeable Publicly Verifiable Watermark for Large Language Models [84.2805275589553]
  現在の透かし検出アルゴリズムは、透かし生成プロセスで使用される秘密鍵を必要としており、公開検出中にセキュリティ違反や偽造の影響を受ける。 両段階で同じキーを使用するのではなく、2つの異なるニューラルネットワークを用いて透かしの生成と検出を行う。
  論文  参考訳（メタデータ） (2023-07-30T13:43:27Z)
• On the Reliability of Watermarks for Large Language Models [95.87476978352659]
  本研究では,人間による書き直し後の透かしテキストの堅牢性,非透かしLDMによる言い換え,あるいはより長い手書き文書への混在性について検討する。 人や機械の言い回しをしても、透かしは検出可能である。 また、大きな文書に埋め込まれた透かし付きテキストの短いスパンに敏感な新しい検出手法についても検討する。
  論文  参考訳（メタデータ） (2023-06-07T17:58:48Z)
• Undetectable Watermarks for Language Models [1.347733333991357]
  本稿では,言語モデルに対する検出不能な透かしの概念を紹介する。 透かしは秘密鍵の知識でのみ検出できます 一方向関数の存在に基づいて検出不能な透かしを構築する。
  論文  参考訳（メタデータ） (2023-05-25T02:57:16Z)
• Watermarking Text Generated by Black-Box Language Models [103.52541557216766]
  テキスト生成中に透かしを埋め込むことのできるホワイトボックスLCMに対して,透かしに基づく手法が提案されている。 リストを認識した検出アルゴリズムは、透かし付きテキストを識別することができる。 我々はブラックボックス言語モデル利用シナリオのための透かしフレームワークを開発する。
  論文  参考訳（メタデータ） (2023-05-14T07:37:33Z)
• A Watermark for Large Language Models [84.95327142027183]
  本稿では,プロプライエタリな言語モデルのための透かしフレームワークを提案する。 透かしはテキストの品質に無視できない影響で埋め込むことができる。 言語モデルAPIやパラメータにアクセスすることなく、効率的なオープンソースアルゴリズムを使って検出することができる。
  論文  参考訳（メタデータ） (2023-01-24T18:52:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。