論文の概要: Topic-based Watermarks for LLM-Generated Text

• arxiv url: http://arxiv.org/abs/2404.02138v1
• Date: Tue, 2 Apr 2024 17:49:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-03 15:20:18.277381
• Title: Topic-based Watermarks for LLM-Generated Text
• Title（参考訳）: LLMテキストのためのトピックベースの透かし
• Authors: Alexander Nemecek, Yuzhou Jiang, Erman Ayday,
• Abstract要約: 大規模言語モデル(LLM)のための「トピックベース透かしアルゴリズム」を提案する。 提案アルゴリズムは,入力プロンプトの抽出されたトピックや非透かしLLMの出力に基づいて,透かしLLM出力のトークンを生成する方法を決定する。
• 参考スコア（独自算出の注目度）: 46.71493672772134
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements of large language models (LLMs) have resulted in indistinguishable text outputs comparable to human-generated text. Watermarking algorithms are potential tools that offer a way to differentiate between LLM- and human-generated text by embedding detectable signatures within LLM-generated output. However, current watermarking schemes lack robustness against known attacks against watermarking algorithms. In addition, they are impractical considering an LLM generates tens of thousands of text outputs per day and the watermarking algorithm needs to memorize each output it generates for the detection to work. In this work, focusing on the limitations of current watermarking schemes, we propose the concept of a "topic-based watermarking algorithm" for LLMs. The proposed algorithm determines how to generate tokens for the watermarked LLM output based on extracted topics of an input prompt or the output of a non-watermarked LLM. Inspired from previous work, we propose using a pair of lists (that are generated based on the specified extracted topic(s)) that specify certain tokens to be included or excluded while generating the watermarked output of the LLM. Using the proposed watermarking algorithm, we show the practicality of a watermark detection algorithm. Furthermore, we discuss a wide range of attacks that can emerge against watermarking algorithms for LLMs and the benefit of the proposed watermarking scheme for the feasibility of modeling a potential attacker considering its benefit vs. loss.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、人間の生成したテキストに匹敵する識別不能なテキスト出力をもたらしている。 ウォーターマーキングアルゴリズムは、LLM生成出力に検出可能なシグネチャを埋め込むことで、LLMと人為的なテキストを区別する方法を提供する潜在的なツールである。 しかし、現在の透かし方式は、透かしアルゴリズムに対する既知の攻撃に対して堅牢性を欠いている。 加えて、LLMは1日に数万のテキスト出力を生成し、ウォーターマーキングアルゴリズムは、その検出のために生成された各出力を記憶する必要がある。 本研究では,現在の透かし方式の限界に着目し,LLMに対する"トピックベース透かしアルゴリズム"の概念を提案する。 提案アルゴリズムは,入力プロンプトの抽出されたトピックや非透かしLLMの出力に基づいて,透かしLLM出力のトークンを生成する方法を決定する。 従来の研究から着想を得て, LLMの透かし出力を生成しながら, 含めるべきトークンや排除すべきトークンを指定したリスト(特定抽出されたトピック(s)に基づいて生成するリスト)のペアを提案する。 提案手法を用いて,透かし検出アルゴリズムの実用性を示す。 さらに,LLMの透かしアルゴリズムに対して出現する広範囲な攻撃と,その利点と損失を考慮に入れた潜在的な攻撃者をモデル化可能な透かし方式の利点について論じる。

関連論文リスト

• SimMark: A Robust Sentence-Level Similarity-Based Watermarking Algorithm for Large Language Models [1.7188280334580197]
  SimMarkは、大規模な言語モデルの出力を、モデルの内部ログへのアクセスを必要とせずにトレース可能にする、ポストホックな透かしアルゴリズムである。 実験結果から,SimMark は LLM 生成コンテンツのロバストな透かしのための新しいベンチマークを作成した。
  論文  参考訳（メタデータ） (2025-02-05T00:21:01Z)
• BiMarker: Enhancing Text Watermark Detection for Large Language Models with Bipolar Watermarks [19.689433249830465]
  既存の透かし技術は、低い透かし強度と厳しい偽陽性要件に苦しむ。 ツールは生成されたテキストを正極と負極に分割し、追加の計算リソースを必要とせずに検出を強化する。
  論文  参考訳（メタデータ） (2025-01-21T14:32:50Z)
• Large Language Model Watermark Stealing With Mixed Integer Programming [51.336009662771396]
  大きな言語モデル(LLM)の透かしは、著作権に対処し、AI生成したテキストを監視し、その誤用を防ぐことを約束している。 近年の研究では、多数のキーを用いた透かし手法は、攻撃の除去に影響を受けやすいことが示されている。 我々は,最先端のLLM透かしスキームに対する新たなグリーンリスト盗難攻撃を提案する。
  論文  参考訳（メタデータ） (2024-05-30T04:11:17Z)
• Token-Specific Watermarking with Enhanced Detectability and Semantic Coherence for Large Language Models [31.062753031312006]
  大規模言語モデルは、潜在的な誤報を伴う高品質な応答を生成する。 ウォーターマーキングは、テキストに隠れたマーカーを埋め込むことによって、この文脈において重要な意味を持つ。 ウォーターマーキングのための新しい多目的最適化(MOO)手法を提案する。 本手法は,検出性と意味的整合性を同時に達成する。
  論文  参考訳（メタデータ） (2024-02-28T05:43:22Z)
• Adaptive Text Watermark for Large Language Models [8.100123266517299]
  プロンプトやモデルの知識を必要とせずに、強力なセキュリティ、堅牢性、および透かしを検出する能力を維持しつつ、高品質な透かしテキストを生成することは困難である。 本稿では,この問題に対処するための適応型透かし手法を提案する。
  論文  参考訳（メタデータ） (2024-01-25T03:57:12Z)
• WatME: Towards Lossless Watermarking Through Lexical Redundancy [58.61972059246715]
  本研究では,認知科学レンズを用いた大規模言語モデル(LLM)の異なる機能に対する透かしの効果を評価する。 透かしをシームレスに統合するための相互排他型透かし(WatME)を導入する。
  論文  参考訳（メタデータ） (2023-11-16T11:58:31Z)
• Improving the Generation Quality of Watermarked Large Language Models via Word Importance Scoring [81.62249424226084]
  トークンレベルの透かしは、トークン確率分布を変更して生成されたテキストに透かしを挿入する。 この透かしアルゴリズムは、生成中のロジットを変化させ、劣化したテキストの品質につながる可能性がある。 We propose to improve the quality of texts generated by a watermarked language model by Watermarking with Importance Scoring (WIS)。
  論文  参考訳（メタデータ） (2023-11-16T08:36:00Z)
• A Robust Semantics-based Watermark for Large Language Model against Paraphrasing [50.84892876636013]
  大規模言語モデル(LLM)は、様々な自然言語処理において優れた能力を示している。 LLMは不適切にも違法にも使用できるという懸念がある。 本稿ではセマンティクスに基づく透かしフレームワークSemaMarkを提案する。
  論文  参考訳（メタデータ） (2023-11-15T06:19:02Z)
• Watermarking Conditional Text Generation for AI Detection: Unveiling Challenges and a Semantic-Aware Watermark Remedy [52.765898203824975]
  本研究では,条件付きテキスト生成と入力コンテキストの特性を考慮した意味認識型透かしアルゴリズムを提案する。 実験結果から,提案手法は様々なテキスト生成モデルに対して大幅な改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2023-07-25T20:24:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。