論文の概要: Necessary and Sufficient Watermark for Large Language Models

• arxiv url: http://arxiv.org/abs/2310.00833v1
• Date: Mon, 2 Oct 2023 00:48:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 01:39:47.012529
• Title: Necessary and Sufficient Watermark for Large Language Models
• Title（参考訳）: 大規模言語モデルに必要な十分な透かし
• Authors: Yuki Takezawa, Ryoma Sato, Han Bao, Kenta Niwa, Makoto Yamada
• Abstract要約: 本稿では,テキストの品質を劣化させることなく,生成されたテキストに透かしを挿入するための,必要かつ十分な透かし(NS-Watermark)を提案する。 NS-Watermarkは既存の透かしよりも自然なテキストを生成することができることを示す。 特に機械翻訳タスクでは、NS-Watermarkは既存の透かし法を最大30BLEUスコアで上回ることができる。
• 参考スコア（独自算出の注目度）: 31.933103173481964
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, large language models (LLMs) have achieved remarkable performances in various NLP tasks. They can generate texts that are indistinguishable from those written by humans. Such remarkable performance of LLMs increases their risk of being used for malicious purposes, such as generating fake news articles. Therefore, it is necessary to develop methods for distinguishing texts written by LLMs from those written by humans. Watermarking is one of the most powerful methods for achieving this. Although existing watermarking methods have successfully detected texts generated by LLMs, they significantly degrade the quality of the generated texts. In this study, we propose the Necessary and Sufficient Watermark (NS-Watermark) for inserting watermarks into generated texts without degrading the text quality. More specifically, we derive minimum constraints required to be imposed on the generated texts to distinguish whether LLMs or humans write the texts. Then, we formulate the NS-Watermark as a constrained optimization problem and propose an efficient algorithm to solve it. Through the experiments, we demonstrate that the NS-Watermark can generate more natural texts than existing watermarking methods and distinguish more accurately between texts written by LLMs and those written by humans. Especially in machine translation tasks, the NS-Watermark can outperform the existing watermarking method by up to 30 BLEU scores.
• Abstract（参考訳）: 近年,大規模言語モデル (LLM) は様々なNLPタスクにおいて顕著な性能を発揮している。 人間が書いたテキストと区別できないテキストを生成することができる。 LLMのこのような顕著な性能は、偽ニュース記事の生成などの悪意ある目的のために使用されるリスクを高める。 そのため,LLMによるテキストと人間によるテキストを区別する手法を開発する必要がある。 透かしは、これを達成するための最も強力な方法の1つです。 既存の透かし法はLLMによって生成されたテキストを検出できたが、生成したテキストの品質は著しく低下した。 本研究では,テキスト品質を低下させることなく,生成テキストに透かしを挿入するために必要な十分な透かし(ns-watermark)を提案する。 より具体的には、LLMか人間かを区別するために、生成されたテキストに課される最小限の制約を導出する。 そこで, NS-Watermarkを制約付き最適化問題として定式化し, 効率的なアルゴリズムを提案する。 実験により, NS-Watermarkは既存の透かし法よりも自然なテキストを生成し, LLM によるテキストと人間によるテキストとをより正確に区別できることを示した。 特に機械翻訳タスクでは、ns-watermarkは最大30 bleuスコアで既存のウォーターマーク法を上回ることができる。

関連論文リスト

• Less is More: Sparse Watermarking in LLMs with Enhanced Text Quality [27.592486717044455]
  テキストに分散した生成されたトークンの小さなサブセットに透かしを適用することで、このトレードオフを緩和することを目的とした新しいタイプの透かしであるスパース透かしを提案する。 提案手法は,従来の透かし手法よりも高い品質のテキストを生成しつつ,高い検出性を実現することを示す。
  論文  参考訳（メタデータ） (2024-07-17T18:52:12Z)
• Topic-Based Watermarks for LLM-Generated Text [46.71493672772134]
  本稿では,大規模言語モデル(LLM)のためのトピックベースの新しい透かしアルゴリズムを提案する。 トピック固有のトークンバイアスを使用することで、生成されたテキストにトピック依存の透かしを埋め込む。 提案手法は,テキストトピックを99.99%の信頼度で分類する。
  論文  参考訳（メタデータ） (2024-04-02T17:49:40Z)
• Provably Robust Multi-bit Watermarking for AI-generated Text [37.21416140194606]
  大規模言語モデル(LLM)は、人間の言語に似たテキストを生成する顕著な能力を示した。 犯罪者が偽ニュースやフィッシングメールなどの偽装コンテンツを作成するために悪用することもある。 ウォーターマーキングはこれらの懸念に対処するための重要なテクニックであり、メッセージをテキストに埋め込む。
  論文  参考訳（メタデータ） (2024-01-30T08:46:48Z)
• A Survey of Text Watermarking in the Era of Large Language Models [91.36874607025909]
  テキスト透かしアルゴリズムは、テキストコンテンツの著作権を保護するために不可欠である。 大規模言語モデル(LLM)の最近の進歩は、これらの技術に革命をもたらした。 本稿では,テキスト透かし技術の現状を包括的に調査する。
  論文  参考訳（メタデータ） (2023-12-13T06:11:42Z)
• Improving the Generation Quality of Watermarked Large Language Models via Word Importance Scoring [81.62249424226084]
  トークンレベルの透かしは、トークン確率分布を変更して生成されたテキストに透かしを挿入する。 この透かしアルゴリズムは、生成中のロジットを変化させ、劣化したテキストの品質につながる可能性がある。 We propose to improve the quality of texts generated by a watermarked language model by Watermarking with Importance Scoring (WIS)。
  論文  参考訳（メタデータ） (2023-11-16T08:36:00Z)
• Turning Your Strength into Watermark: Watermarking Large Language Model via Knowledge Injection [66.26348985345776]
  本稿では,知識注入に基づく大規模言語モデル(LLM)のための新しい透かし手法を提案する。 透かし埋め込みの段階では、まず選択した知識に透かしを埋め込んで、透かし付き知識を得る。 透かし抽出段階では、疑わしいLLMを問うために、透かし付き知識に関する質問を設計する。 実験により, 透かし抽出の成功率は100%近くであり, 提案手法の有効性, 忠実性, ステルス性, 堅牢性を示した。
  論文  参考訳（メタデータ） (2023-11-16T03:22:53Z)
• Towards Codable Watermarking for Injecting Multi-bits Information to LLMs [86.86436777626959]
  大規模言語モデル(LLM)は、流布とリアリズムを増大させるテキストを生成する。 既存の透かし方式はエンコーディング非効率であり、多様な情報エンコーディングニーズに柔軟に対応できない。 テキスト透かしを複数ビットでカスタマイズ可能な情報を運ぶことができるCTWL (Codable Text Watermarking for LLMs) を提案する。
  論文  参考訳（メタデータ） (2023-07-29T14:11:15Z)
• Provable Robust Watermarking for AI-Generated Text [41.5510809722375]
  We propose a robust and high-quality watermark method, Unigram-Watermark。 提案手法は,テキストの編集やパラフレージングに頑健で,生成品質,透かし検出の精度が保証されていることを実証する。
  論文  参考訳（メタデータ） (2023-06-30T07:24:32Z)
• On the Reliability of Watermarks for Large Language Models [95.87476978352659]
  本研究では,人間による書き直し後の透かしテキストの堅牢性,非透かしLDMによる言い換え,あるいはより長い手書き文書への混在性について検討する。 人や機械の言い回しをしても、透かしは検出可能である。 また、大きな文書に埋め込まれた透かし付きテキストの短いスパンに敏感な新しい検出手法についても検討する。
  論文  参考訳（メタデータ） (2023-06-07T17:58:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。