論文の概要: Topic-Based Watermarks for Large Language Models

• arxiv url: http://arxiv.org/abs/2404.02138v4
• Date: Fri, 07 Feb 2025 22:45:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:27:37.275733
• Title: Topic-Based Watermarks for Large Language Models
• Title（参考訳）: 大規模言語モデルのためのトピックベースの透かし
• Authors: Alexander Nemecek, Yuzhou Jiang, Erman Ayday,
• Abstract要約: 本稿では,Large Language Model (LLM) 出力のための軽量なトピック誘導型透かし方式を提案する。 本手法は,Google の SynthID-Text など,業界をリードするシステムに匹敵する難易度を実現する。
• 参考スコア（独自算出の注目度）: 46.71493672772134
• License:
• Abstract: The indistinguishability of Large Language Model (LLM) output from human-authored content poses significant challenges, raising concerns about potential misuse of AI-generated text and its influence on future AI model training. Watermarking algorithms offer a viable solution by embedding detectable signatures into generated text. However, existing watermarking methods often entail trade-offs among attack robustness, generation quality, and additional overhead such as specialized frameworks or complex integrations. We propose a lightweight, topic-guided watermarking scheme for LLMs that partitions the vocabulary into topic-aligned token subsets. Given an input prompt, the scheme selects a relevant topic-specific token list, effectively "green-listing" semantically aligned tokens to embed robust marks while preserving the text's fluency and coherence. Experimental results across multiple LLMs and state-of-the-art benchmarks demonstrate that our method achieves comparable perplexity to industry-leading systems, including Google's SynthID-Text, yet enhances watermark robustness against paraphrasing and lexical perturbation attacks while introducing minimal performance overhead. Our approach avoids reliance on additional mechanisms beyond standard text generation pipelines, facilitating straightforward adoption, suggesting a practical path toward globally consistent watermarking of AI-generated content.
• Abstract（参考訳）: 人間によるコンテンツから出力されるLarge Language Model(LLM)の不明瞭さは、AI生成テキストの潜在的な誤用と、その将来のAIモデルトレーニングへの影響に対する懸念を提起する、重大な課題を提起する。 ウォーターマーキングアルゴリズムは、検出可能なシグネチャを生成されたテキストに埋め込むことで、実行可能なソリューションを提供する。 しかし、既存の透かし方式では、攻撃の堅牢性、生成品質、特別なフレームワークや複雑な統合のような追加のオーバーヘッドの間のトレードオフが伴うことが多い。 語彙をトピック対応トークンサブセットに分割するLLMのための軽量なトピック誘導型透かし方式を提案する。 入力プロンプトが与えられたら、このスキームは関連するトピック固有のトークンリストを選択し、意味的に整合したトークンを効果的に「グリーンリスト」し、テキストの空白とコヒーレンスを保ちながらロバストなマークを埋め込む。 GoogleのSynthID-Textなど,業界をリードするシステムに匹敵するパープレキシティを実現するとともに,パラフレージングや語彙摂動攻撃に対する透かしの堅牢性を向上し,性能のオーバーヘッドを最小限に抑えた。 われわれのアプローチは、標準テキスト生成パイプライン以外の追加メカニズムへの依存を回避し、簡単に採用できるようにし、AI生成コンテンツのグローバルな一貫した透かしへの実践的な道のりを示唆している。

関連論文リスト

• Signal Watermark on Large Language Models [28.711745671275477]
  本稿では,Large Language Models (LLMs) によるテキストに特定の透かしを埋め込む透かし手法を提案する。 この技術は、透かしが人間に見えないことを保証するだけでなく、モデル生成テキストの品質と文法的整合性も維持する。 提案手法は複数のLDMに対して実験的に検証され,高い検出精度を維持している。
  論文  参考訳（メタデータ） (2024-10-09T04:49:03Z)
• Less is More: Sparse Watermarking in LLMs with Enhanced Text Quality [27.592486717044455]
  テキストに分散した生成されたトークンの小さなサブセットに透かしを適用することで、このトレードオフを緩和することを目的とした新しいタイプの透かしであるスパース透かしを提案する。 提案手法は,従来の透かし手法よりも高い品質のテキストを生成しつつ,高い検出性を実現することを示す。
  論文  参考訳（メタデータ） (2024-07-17T18:52:12Z)
• On Evaluating The Performance of Watermarked Machine-Generated Texts Under Adversarial Attacks [20.972194348901958]
  まず、メインストリームのウォーターマーキングスキームと、機械生成テキストに対する削除攻撃を組み合わせます。 8つの透かし(5つのプレテキスト、3つのポストテキスト)と12のアタック(2つのプレテキスト、10のポストテキスト)を87のシナリオで評価した。 その結果、KGWとExponentialの透かしは高いテキスト品質と透かしの保持を提供するが、ほとんどの攻撃に対して脆弱であることが示唆された。
  論文  参考訳（メタデータ） (2024-07-05T18:09:06Z)
• Large Language Model Watermark Stealing With Mixed Integer Programming [51.336009662771396]
  大きな言語モデル(LLM)の透かしは、著作権に対処し、AI生成したテキストを監視し、その誤用を防ぐことを約束している。 近年の研究では、多数のキーを用いた透かし手法は、攻撃の除去に影響を受けやすいことが示されている。 我々は,最先端のLLM透かしスキームに対する新たなグリーンリスト盗難攻撃を提案する。
  論文  参考訳（メタデータ） (2024-05-30T04:11:17Z)
• Token-Specific Watermarking with Enhanced Detectability and Semantic Coherence for Large Language Models [31.062753031312006]
  大規模言語モデルは、潜在的な誤報を伴う高品質な応答を生成する。 ウォーターマーキングは、テキストに隠れたマーカーを埋め込むことによって、この文脈において重要な意味を持つ。 ウォーターマーキングのための新しい多目的最適化(MOO)手法を提案する。 本手法は,検出性と意味的整合性を同時に達成する。
  論文  参考訳（メタデータ） (2024-02-28T05:43:22Z)
• Adaptive Text Watermark for Large Language Models [8.100123266517299]
  プロンプトやモデルの知識を必要とせずに、強力なセキュリティ、堅牢性、および透かしを検出する能力を維持しつつ、高品質な透かしテキストを生成することは困難である。 本稿では,この問題に対処するための適応型透かし手法を提案する。
  論文  参考訳（メタデータ） (2024-01-25T03:57:12Z)
• WatME: Towards Lossless Watermarking Through Lexical Redundancy [58.61972059246715]
  本研究では,認知科学レンズを用いた大規模言語モデル(LLM)の異なる機能に対する透かしの効果を評価する。 透かしをシームレスに統合するための相互排他型透かし(WatME)を導入する。
  論文  参考訳（メタデータ） (2023-11-16T11:58:31Z)
• Improving the Generation Quality of Watermarked Large Language Models via Word Importance Scoring [81.62249424226084]
  トークンレベルの透かしは、トークン確率分布を変更して生成されたテキストに透かしを挿入する。 この透かしアルゴリズムは、生成中のロジットを変化させ、劣化したテキストの品質につながる可能性がある。 We propose to improve the quality of texts generated by a watermarked language model by Watermarking with Importance Scoring (WIS)。
  論文  参考訳（メタデータ） (2023-11-16T08:36:00Z)
• Towards Codable Watermarking for Injecting Multi-bits Information to LLMs [86.86436777626959]
  大規模言語モデル(LLM)は、流布とリアリズムを増大させるテキストを生成する。 既存の透かし方式はエンコーディング非効率であり、多様な情報エンコーディングニーズに柔軟に対応できない。 テキスト透かしを複数ビットでカスタマイズ可能な情報を運ぶことができるCTWL (Codable Text Watermarking for LLMs) を提案する。
  論文  参考訳（メタデータ） (2023-07-29T14:11:15Z)
• On the Reliability of Watermarks for Large Language Models [95.87476978352659]
  本研究では,人間による書き直し後の透かしテキストの堅牢性,非透かしLDMによる言い換え,あるいはより長い手書き文書への混在性について検討する。 人や機械の言い回しをしても、透かしは検出可能である。 また、大きな文書に埋め込まれた透かし付きテキストの短いスパンに敏感な新しい検出手法についても検討する。
  論文  参考訳（メタデータ） (2023-06-07T17:58:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。