論文の概要: Publicly-Detectable Watermarking for Language Models
- arxiv url: http://arxiv.org/abs/2310.18491v3
- Date: Tue, 28 May 2024 06:10:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-29 11:38:36.634809
- Title: Publicly-Detectable Watermarking for Language Models
- Title（参考訳）: 言語モデルのためのパブリック検出可能な透かし
- Authors: Jaiden Fairoze, Sanjam Garg, Somesh Jha, Saeed Mahloujifar, Mohammad Mahmoody, Mingyuan Wang,
- Abstract要約: LLMの高精度かつ信頼性の高い透かし方式を提案する。
このアルゴリズムは秘密情報を含んでおらず、誰でも実行可能である。
提案手法は, 暗号的に正しい, 音響的, 歪みのないものであることを実証する。
- 参考スコア（独自算出の注目度）: 45.32236917886154
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a highly detectable, trustless watermarking scheme for LLMs: the detection algorithm contains no secret information, and it is executable by anyone. We embed a publicly-verifiable cryptographic signature into LLM output using rejection sampling. We prove that our scheme is cryptographically correct, sound, and distortion-free. We make novel uses of error-correction techniques to overcome periods of low entropy, a barrier for all prior watermarking schemes. We implement our scheme and make empirical measurements over open models in the 2.7B to 70B parameter range. Our experiments suggest that our formal claims are met in practice.
- Abstract（参考訳）: 検出アルゴリズムには秘密情報が含まれておらず,誰でも実行可能である。
リジェクションサンプリングを用いて、LLM出力に公開検証可能な暗号署名を埋め込む。
提案手法は, 暗号的に正しい, 音響的, 歪みのないものであることを実証する。
従来の透かし方式における障壁である低エントロピーの周期を克服するために, 誤り訂正手法を新規に活用する。
提案手法を実装し,2.7Bから70Bのパラメータ範囲におけるオープンモデル上での経験的測定を行う。
我々の実験は、我々の正式な主張が実際に満たされていることを示唆している。
関連論文リスト
- Large Language Model Watermark Stealing With Mixed Integer Programming [51.336009662771396]
大きな言語モデル(LLM)の透かしは、著作権に対処し、AI生成したテキストを監視し、その誤用を防ぐことを約束している。
近年の研究では、多数のキーを用いた透かし手法は、攻撃の除去に影響を受けやすいことが示されている。
我々は,最先端のLLM透かしスキームに対する新たなグリーンリスト盗難攻撃を提案する。
論文 参考訳（メタデータ） (2024-05-30T04:11:17Z) - Watermarking Language Models for Many Adaptive Users [47.90822587139056]
証明可能な保証付き言語モデルの透かし方式について検討する。
モデル生成テキストを個々のユーザに対してトレース可能なマルチユーザ透かしを導入する。
検出不能なChrist, Gunn, Zamir (2024) のゼロビットスキームが適応的に堅牢であることを証明する。
論文 参考訳（メタデータ） (2024-05-17T22:15:30Z) - Multi-Bit Distortion-Free Watermarking for Large Language Models [4.7381853007029475]
透かしの一部としてメタ情報の複数ビットを埋め込むことにより,既存のゼロビット歪みのない透かし法を拡張した。
また,少ないビット誤り率で透かしから埋め込み情報を抽出する計算効率の良い復号器を開発した。
論文 参考訳（メタデータ） (2024-02-26T14:01:34Z) - An Unforgeable Publicly Verifiable Watermark for Large Language Models [84.2805275589553]
現在の透かし検出アルゴリズムは、透かし生成プロセスで使用される秘密鍵を必要としており、公開検出中にセキュリティ違反や偽造の影響を受ける。
両段階で同じキーを使用するのではなく、2つの異なるニューラルネットワークを用いて透かしの生成と検出を行う。
論文 参考訳（メタデータ） (2023-07-30T13:43:27Z) - Undetectable Watermarks for Language Models [1.347733333991357]
本稿では,言語モデルに対する検出不能な透かしの概念を紹介する。
透かしは秘密鍵の知識でのみ検出できます
一方向関数の存在に基づいて検出不能な透かしを構築する。
論文 参考訳（メタデータ） (2023-05-25T02:57:16Z) - Who Wrote this Code? Watermarking for Code Generation [53.24895162874416]
本稿では,機械生成テキストを検出するために,Entropy Thresholding (SWEET) を用いたSelective WatErmarkingを提案する。
実験の結果,SWEETはコード品質を著しく向上し,すべてのベースラインを上回ります。
論文 参考訳（メタデータ） (2023-05-24T11:49:52Z) - Did You Train on My Dataset? Towards Public Dataset Protection with
Clean-Label Backdoor Watermarking [54.40184736491652]
本稿では,公開データの保護のための一般的な枠組みとして機能するバックドアベースの透かし手法を提案する。
データセットに少数の透かしサンプルを挿入することにより、我々のアプローチは、ディフェンダーが設定した秘密関数を暗黙的に学習することを可能にする。
この隠れた機能は、データセットを違法に使用するサードパーティモデルを追跡するための透かしとして使用できる。
論文 参考訳（メタデータ） (2023-03-20T21:54:30Z) - A Watermark for Large Language Models [84.95327142027183]
本稿では,プロプライエタリな言語モデルのための透かしフレームワークを提案する。
透かしはテキストの品質に無視できない影響で埋め込むことができる。
言語モデルAPIやパラメータにアクセスすることなく、効率的なオープンソースアルゴリズムを使って検出することができる。
論文 参考訳（メタデータ） (2023-01-24T18:52:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。