論文の概要: Topic-based Watermarks for LLM-Generated Text

• arxiv url: http://arxiv.org/abs/2404.02138v1
• Date: Tue, 2 Apr 2024 17:49:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-03 15:20:18.277381
• Title: Topic-based Watermarks for LLM-Generated Text
• Title（参考訳）: LLMテキストのためのトピックベースの透かし
• Authors: Alexander Nemecek, Yuzhou Jiang, Erman Ayday,
• Abstract要約: 大規模言語モデル(LLM)のための「トピックベース透かしアルゴリズム」を提案する。 提案アルゴリズムは,入力プロンプトの抽出されたトピックや非透かしLLMの出力に基づいて,透かしLLM出力のトークンを生成する方法を決定する。
• 参考スコア（独自算出の注目度）: 46.71493672772134
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements of large language models (LLMs) have resulted in indistinguishable text outputs comparable to human-generated text. Watermarking algorithms are potential tools that offer a way to differentiate between LLM- and human-generated text by embedding detectable signatures within LLM-generated output. However, current watermarking schemes lack robustness against known attacks against watermarking algorithms. In addition, they are impractical considering an LLM generates tens of thousands of text outputs per day and the watermarking algorithm needs to memorize each output it generates for the detection to work. In this work, focusing on the limitations of current watermarking schemes, we propose the concept of a "topic-based watermarking algorithm" for LLMs. The proposed algorithm determines how to generate tokens for the watermarked LLM output based on extracted topics of an input prompt or the output of a non-watermarked LLM. Inspired from previous work, we propose using a pair of lists (that are generated based on the specified extracted topic(s)) that specify certain tokens to be included or excluded while generating the watermarked output of the LLM. Using the proposed watermarking algorithm, we show the practicality of a watermark detection algorithm. Furthermore, we discuss a wide range of attacks that can emerge against watermarking algorithms for LLMs and the benefit of the proposed watermarking scheme for the feasibility of modeling a potential attacker considering its benefit vs. loss.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、人間の生成したテキストに匹敵する識別不能なテキスト出力をもたらしている。 ウォーターマーキングアルゴリズムは、LLM生成出力に検出可能なシグネチャを埋め込むことで、LLMと人為的なテキストを区別する方法を提供する潜在的なツールである。 しかし、現在の透かし方式は、透かしアルゴリズムに対する既知の攻撃に対して堅牢性を欠いている。 加えて、LLMは1日に数万のテキスト出力を生成し、ウォーターマーキングアルゴリズムは、その検出のために生成された各出力を記憶する必要がある。 本研究では,現在の透かし方式の限界に着目し,LLMに対する"トピックベース透かしアルゴリズム"の概念を提案する。 提案アルゴリズムは,入力プロンプトの抽出されたトピックや非透かしLLMの出力に基づいて,透かしLLM出力のトークンを生成する方法を決定する。 従来の研究から着想を得て, LLMの透かし出力を生成しながら, 含めるべきトークンや排除すべきトークンを指定したリスト(特定抽出されたトピック(s)に基づいて生成するリスト)のペアを提案する。 提案手法を用いて,透かし検出アルゴリズムの実用性を示す。 さらに,LLMの透かしアルゴリズムに対して出現する広範囲な攻撃と,その利点と損失を考慮に入れた潜在的な攻撃者をモデル化可能な透かし方式の利点について論じる。

関連論文リスト

• Signal Watermark on Large Language Models [28.711745671275477]
  本稿では,Large Language Models (LLMs) によるテキストに特定の透かしを埋め込む透かし手法を提案する。 この技術は、透かしが人間に見えないことを保証するだけでなく、モデル生成テキストの品質と文法的整合性も維持する。 提案手法は複数のLDMに対して実験的に検証され,高い検出精度を維持している。
  論文  参考訳（メタデータ） (2024-10-09T04:49:03Z)
• Less is More: Sparse Watermarking in LLMs with Enhanced Text Quality [27.592486717044455]
  テキストに分散した生成されたトークンの小さなサブセットに透かしを適用することで、このトレードオフを緩和することを目的とした新しいタイプの透かしであるスパース透かしを提案する。 提案手法は,従来の透かし手法よりも高い品質のテキストを生成しつつ,高い検出性を実現することを示す。
  論文  参考訳（メタデータ） (2024-07-17T18:52:12Z)
• On Evaluating The Performance of Watermarked Machine-Generated Texts Under Adversarial Attacks [20.972194348901958]
  まず、メインストリームのウォーターマーキングスキームと、機械生成テキストに対する削除攻撃を組み合わせます。 8つの透かし(5つのプレテキスト、3つのポストテキスト)と12のアタック(2つのプレテキスト、10のポストテキスト)を87のシナリオで評価した。 その結果、KGWとExponentialの透かしは高いテキスト品質と透かしの保持を提供するが、ほとんどの攻撃に対して脆弱であることが示唆された。
  論文  参考訳（メタデータ） (2024-07-05T18:09:06Z)
• Large Language Model Watermark Stealing With Mixed Integer Programming [51.336009662771396]
  大きな言語モデル(LLM)の透かしは、著作権に対処し、AI生成したテキストを監視し、その誤用を防ぐことを約束している。 近年の研究では、多数のキーを用いた透かし手法は、攻撃の除去に影響を受けやすいことが示されている。 我々は,最先端のLLM透かしスキームに対する新たなグリーンリスト盗難攻撃を提案する。
  論文  参考訳（メタデータ） (2024-05-30T04:11:17Z)
• Token-Specific Watermarking with Enhanced Detectability and Semantic Coherence for Large Language Models [31.062753031312006]
  大規模言語モデルは、潜在的な誤報を伴う高品質な応答を生成する。 ウォーターマーキングは、テキストに隠れたマーカーを埋め込むことによって、この文脈において重要な意味を持つ。 ウォーターマーキングのための新しい多目的最適化(MOO)手法を提案する。 本手法は,検出性と意味的整合性を同時に達成する。
  論文  参考訳（メタデータ） (2024-02-28T05:43:22Z)
• Adaptive Text Watermark for Large Language Models [8.100123266517299]
  プロンプトやモデルの知識を必要とせずに、強力なセキュリティ、堅牢性、および透かしを検出する能力を維持しつつ、高品質な透かしテキストを生成することは困難である。 本稿では,この問題に対処するための適応型透かし手法を提案する。
  論文  参考訳（メタデータ） (2024-01-25T03:57:12Z)
• WatME: Towards Lossless Watermarking Through Lexical Redundancy [58.61972059246715]
  本研究では,認知科学レンズを用いた大規模言語モデル(LLM)の異なる機能に対する透かしの効果を評価する。 透かしをシームレスに統合するための相互排他型透かし(WatME)を導入する。
  論文  参考訳（メタデータ） (2023-11-16T11:58:31Z)
• Improving the Generation Quality of Watermarked Large Language Models via Word Importance Scoring [81.62249424226084]
  トークンレベルの透かしは、トークン確率分布を変更して生成されたテキストに透かしを挿入する。 この透かしアルゴリズムは、生成中のロジットを変化させ、劣化したテキストの品質につながる可能性がある。 We propose to improve the quality of texts generated by a watermarked language model by Watermarking with Importance Scoring (WIS)。
  論文  参考訳（メタデータ） (2023-11-16T08:36:00Z)
• Towards Codable Watermarking for Injecting Multi-bits Information to LLMs [86.86436777626959]
  大規模言語モデル(LLM)は、流布とリアリズムを増大させるテキストを生成する。 既存の透かし方式はエンコーディング非効率であり、多様な情報エンコーディングニーズに柔軟に対応できない。 テキスト透かしを複数ビットでカスタマイズ可能な情報を運ぶことができるCTWL (Codable Text Watermarking for LLMs) を提案する。
  論文  参考訳（メタデータ） (2023-07-29T14:11:15Z)
• On the Reliability of Watermarks for Large Language Models [95.87476978352659]
  本研究では,人間による書き直し後の透かしテキストの堅牢性,非透かしLDMによる言い換え,あるいはより長い手書き文書への混在性について検討する。 人や機械の言い回しをしても、透かしは検出可能である。 また、大きな文書に埋め込まれた透かし付きテキストの短いスパンに敏感な新しい検出手法についても検討する。
  論文  参考訳（メタデータ） (2023-06-07T17:58:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。