論文の概要: Advancing Beyond Identification: Multi-bit Watermark for Large Language Models

• arxiv url: http://arxiv.org/abs/2308.00221v3
• Date: Wed, 20 Mar 2024 01:04:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-21 22:47:21.342767
• Title: Advancing Beyond Identification: Multi-bit Watermark for Large Language Models
• Title（参考訳）: 識別を超えた拡張:大規模言語モデルのためのマルチビット透かし
• Authors: KiYoon Yoo, Wonhyuk Ahn, Nojun Kwak,
• Abstract要約: 機械生成テキストの識別を超えて,大規模言語モデルの誤用に対処する可能性を示す。 言語モデル生成中にトレーサブルなマルチビット情報を埋め込んだ位置アロケーションによるマルチビット透かしを提案する。
• 参考スコア（独自算出の注目度）: 31.066140913513035
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We show the viability of tackling misuses of large language models beyond the identification of machine-generated text. While existing zero-bit watermark methods focus on detection only, some malicious misuses demand tracing the adversary user for counteracting them. To address this, we propose Multi-bit Watermark via Position Allocation, embedding traceable multi-bit information during language model generation. Through allocating tokens onto different parts of the messages, we embed longer messages in high corruption settings without added latency. By independently embedding sub-units of messages, the proposed method outperforms the existing works in terms of robustness and latency. Leveraging the benefits of zero-bit watermarking, our method enables robust extraction of the watermark without any model access, embedding and extraction of long messages ($\geq$ 32-bit) without finetuning, and maintaining text quality, while allowing zero-bit detection all at the same time. Code is released here: https://github.com/bangawayoo/mb-lm-watermarking
• Abstract（参考訳）: 機械生成テキストの識別を超えて,大規模言語モデルの誤用に対処する可能性を示す。 既存のゼロビット透かし方式は検出のみに焦点が当てられているが、悪意のある誤用によっては、敵のユーザを追跡して対策を行う必要がある。 そこで本研究では,言語モデル生成中にトレーサブルなマルチビット情報を埋め込み,位置割当によるマルチビット透かしを提案する。 メッセージの異なる部分にトークンを割り当てることで、レイテンシを追加せずに、高い汚職設定に長いメッセージを埋め込むことができます。 メッセージのサブユニットを独立に埋め込むことで、提案手法は、ロバスト性とレイテンシの観点から既存の作業より優れている。 提案手法は,ゼロビット透かしの利点を生かして,モデルアクセスを必要とせず,長いメッセージ($32-bit)の埋め込みと抽出を微調整なしで行うことができ,テキストの品質を維持しつつ,ゼロビット検出を同時に行うことができる。 https://github.com/bangawayoo/mb-lm-watermarking

関連論文リスト

• Watermarking Language Models for Many Adaptive Users [47.90822587139056]
  証明可能な保証付き言語モデルの透かし方式について検討する。 モデル生成テキストを個々のユーザに対してトレース可能なマルチユーザ透かしを導入する。 検出不能なChrist, Gunn, Zamir (2024) のゼロビットスキームが適応的に堅牢であることを証明する。
  論文  参考訳（メタデータ） (2024-05-17T22:15:30Z)
• Multi-Bit Distortion-Free Watermarking for Large Language Models [4.7381853007029475]
  透かしの一部としてメタ情報の複数ビットを埋め込むことにより,既存のゼロビット歪みのない透かし法を拡張した。 また,少ないビット誤り率で透かしから埋め込み情報を抽出する計算効率の良い復号器を開発した。
  論文  参考訳（メタデータ） (2024-02-26T14:01:34Z)
• Provably Robust Multi-bit Watermarking for AI-generated Text [37.21416140194606]
  大規模言語モデル(LLM)は、人間の言語に似たテキストを生成する顕著な能力を示した。 犯罪者が偽ニュースやフィッシングメールなどの偽装コンテンツを作成するために悪用することもある。 ウォーターマーキングはこれらの懸念に対処するための重要なテクニックであり、メッセージをテキストに埋め込む。
  論文  参考訳（メタデータ） (2024-01-30T08:46:48Z)
• Mark My Words: Analyzing and Evaluating Language Model Watermarks [8.025719866615333]
  この研究は、画像やモデル透かしとは対照的に、出力透かし技術に焦点を当てている。 品質、サイズ(透かしを検出するのに必要となるトークンの数)、抵抗の改ざんという3つの主要な指標に注目します。
  論文  参考訳（メタデータ） (2023-12-01T01:22:46Z)
• An Unforgeable Publicly Verifiable Watermark for Large Language Models [84.2805275589553]
  現在の透かし検出アルゴリズムは、透かし生成プロセスで使用される秘密鍵を必要としており、公開検出中にセキュリティ違反や偽造の影響を受ける。 両段階で同じキーを使用するのではなく、2つの異なるニューラルネットワークを用いて透かしの生成と検出を行う。
  論文  参考訳（メタデータ） (2023-07-30T13:43:27Z)
• On the Reliability of Watermarks for Large Language Models [95.87476978352659]
  本研究では,人間による書き直し後の透かしテキストの堅牢性,非透かしLDMによる言い換え,あるいはより長い手書き文書への混在性について検討する。 人や機械の言い回しをしても、透かしは検出可能である。 また、大きな文書に埋め込まれた透かし付きテキストの短いスパンに敏感な新しい検出手法についても検討する。
  論文  参考訳（メタデータ） (2023-06-07T17:58:48Z)
• Who Wrote this Code? Watermarking for Code Generation [53.24895162874416]
  本稿では,機械生成テキストを検出するために,Entropy Thresholding (SWEET) を用いたSelective WatErmarkingを提案する。 実験の結果,SWEETはコード品質を著しく向上し,すべてのベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-05-24T11:49:52Z)
• Watermarking Text Generated by Black-Box Language Models [103.52541557216766]
  テキスト生成中に透かしを埋め込むことのできるホワイトボックスLCMに対して,透かしに基づく手法が提案されている。 リストを認識した検出アルゴリズムは、透かし付きテキストを識別することができる。 我々はブラックボックス言語モデル利用シナリオのための透かしフレームワークを開発する。
  論文  参考訳（メタデータ） (2023-05-14T07:37:33Z)
• A Watermark for Large Language Models [84.95327142027183]
  本稿では,プロプライエタリな言語モデルのための透かしフレームワークを提案する。 透かしはテキストの品質に無視できない影響で埋め込むことができる。 言語モデルAPIやパラメータにアクセスすることなく、効率的なオープンソースアルゴリズムを使って検出することができる。
  論文  参考訳（メタデータ） (2023-01-24T18:52:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。