論文の概要: Watermarking Language Models with Error Correcting Codes

• arxiv url: http://arxiv.org/abs/2406.10281v1
• Date: Wed, 12 Jun 2024 05:13:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 01:21:32.611040
• Title: Watermarking Language Models with Error Correcting Codes
• Title（参考訳）: 誤り訂正符号を用いた透かし言語モデル
• Authors: Patrick Chao, Edgar Dobriban, Hamed Hassani,
• Abstract要約: 本稿では,誤り訂正符号を用いて統計的信号を符号化する透かしフレームワークを提案する。 提案手法は,ロバスト二元符号 (RBC) 透かしと呼ばれ,元の確率分布に比較して歪みは生じない。 私たちの経験的発見は、私たちの透かしは速く、強力で、堅牢であり、最先端のものと好意的に比較していることを示唆しています。
• 参考スコア（独自算出の注目度）: 41.21656847672627
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent progress in large language models enables the creation of realistic machine-generated content. Watermarking is a promising approach to distinguish machine-generated text from human text, embedding statistical signals in the output that are ideally undetectable to humans. We propose a watermarking framework that encodes such signals through an error correcting code. Our method, termed robust binary code (RBC) watermark, introduces no distortion compared to the original probability distribution, and no noticeable degradation in quality. We evaluate our watermark on base and instruction fine-tuned models and find our watermark is robust to edits, deletions, and translations. We provide an information-theoretic perspective on watermarking, a powerful statistical test for detection and for generating p-values, and theoretical guarantees. Our empirical findings suggest our watermark is fast, powerful, and robust, comparing favorably to the state-of-the-art.
• Abstract（参考訳）: 大規模言語モデルの最近の進歩は、現実的な機械生成コンテンツの作成を可能にする。 ウォーターマーキング(Watermarking)は、人間のテキストと機械が生成したテキストを区別する、有望なアプローチである。 本稿では,エラー訂正コードを通じてこのような信号を符号化する透かしフレームワークを提案する。 提案手法は,ロバストなバイナリコード (RBC) 透かしと呼ばれ,元の確率分布に比較して歪みがなく,品質の劣化も生じない。 ベースモデルとインストラクションモデルに基づいて電子透かしを評価し、電子透かしが編集、削除、翻訳に堅牢であることを確認する。 我々は、透かしに関する情報理論的な視点、p値の検出と生成のための強力な統計テスト、理論的保証を提供する。 私たちの経験的発見は、私たちの透かしは速く、強力で、堅牢であり、最先端のものと好意的に比較していることを示唆しています。

関連論文リスト

• Debiasing Watermarks for Large Language Models via Maximal Coupling [24.937491193018623]
  本稿では,グリーントークンの生成確率を微妙に増大させる新しいグリーン/レッドリスト透かし手法を提案する。 実験結果から,高い検出性を維持しつつテキスト品質を保ちつつ,従来技術よりも優れていたことが示唆された。 本研究は,テキスト品質への影響を最小限に抑えつつ,効果的な検出のバランスを保ちながら,言語モデルに有望な透かしソリューションを提供する。
  論文  参考訳（メタデータ） (2024-11-17T23:36:37Z)
• Watermark Smoothing Attacks against Language Models [40.02225709485305]
  我々はスムースな攻撃を導入し、既存の透かし手法がテキストの小さな修正に対して堅牢でないことを示す。 我々の攻撃は幅広い透かし技術の基本的限界を明らかにしている。
  論文  参考訳（メタデータ） (2024-07-19T11:04:54Z)
• Duwak: Dual Watermarks in Large Language Models [49.00264962860555]
  トークン確率分布とサンプリングスキームの両方に二重秘密パターンを埋め込むことにより、透かしの効率と品質を向上させるために、Duwakを提案する。 Llama2でDuwakを4つの最先端透かし技術と組み合わせて評価した。
  論文  参考訳（メタデータ） (2024-03-12T16:25:38Z)
• Multi-Bit Distortion-Free Watermarking for Large Language Models [4.7381853007029475]
  透かしの一部としてメタ情報の複数ビットを埋め込むことにより,既存のゼロビット歪みのない透かし法を拡張した。 また,少ないビット誤り率で透かしから埋め込み情報を抽出する計算効率の良い復号器を開発した。
  論文  参考訳（メタデータ） (2024-02-26T14:01:34Z)
• On the Learnability of Watermarks for Language Models [80.97358663708592]
  言語モデルが透かし付きテキストを生成するために直接学習できるかどうかを問う。 本稿では,教師モデルとして振舞う学生モデルを訓練する透かし蒸留法を提案する。 モデルは、高い検出性で透かし付きテキストを生成することができる。
  論文  参考訳（メタデータ） (2023-12-07T17:41:44Z)
• I Know You Did Not Write That! A Sampling Based Watermarking Method for Identifying Machine Generated Text [0.0]
  機械生成テキストを検出するための新しい透かし手法を提案する。 我々の方法は生成されたテキストにユニークなパターンを埋め込む。 本稿では,透かしがテキスト品質にどのように影響するかを示し,提案手法を最先端の透かし法と比較する。
  論文  参考訳（メタデータ） (2023-11-29T20:04:57Z)
• Improving the Generation Quality of Watermarked Large Language Models via Word Importance Scoring [81.62249424226084]
  トークンレベルの透かしは、トークン確率分布を変更して生成されたテキストに透かしを挿入する。 この透かしアルゴリズムは、生成中のロジットを変化させ、劣化したテキストの品質につながる可能性がある。 We propose to improve the quality of texts generated by a watermarked language model by Watermarking with Importance Scoring (WIS)。
  論文  参考訳（メタデータ） (2023-11-16T08:36:00Z)
• Who Wrote this Code? Watermarking for Code Generation [53.24895162874416]
  本稿では,機械生成テキストを検出するために,Entropy Thresholding (SWEET) を用いたSelective WatErmarkingを提案する。 実験の結果,SWEETはコード品質を著しく向上し,すべてのベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-05-24T11:49:52Z)
• A Watermark for Large Language Models [84.95327142027183]
  本稿では,プロプライエタリな言語モデルのための透かしフレームワークを提案する。 透かしはテキストの品質に無視できない影響で埋め込むことができる。 言語モデルAPIやパラメータにアクセスすることなく、効率的なオープンソースアルゴリズムを使って検出することができる。
  論文  参考訳（メタデータ） (2023-01-24T18:52:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。