論文の概要: Enhancing Watermarking Quality for LLMs via Contextual Generation States Awareness

• arxiv url: http://arxiv.org/abs/2506.07403v1
• Date: Mon, 09 Jun 2025 03:53:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 21:10:47.108085
• Title: Enhancing Watermarking Quality for LLMs via Contextual Generation States Awareness
• Title（参考訳）: 文脈生成状態認識によるLCMの透かし品質向上
• Authors: Peiru Yang, Xintian Li, Wanchun Ni, Jinhua Yin, Huili Wang, Guoshun Nan, Shangguang Wang, Yongfeng Huang, Tao Qi,
• Abstract要約: プラグ・アンド・プレイ型コンテキスト生成状態認識型透かしフレームワーク(CAW)について紹介する。 まず、CAWは透かしキャパシティ評価器を内蔵し、異なるトークン位置におけるメッセージの埋め込みの影響を評価する。 提案手法によって生じる遅延を回避するために,マルチブランチプレジェネレーション機構を導入する。
• 参考スコア（独自算出の注目度）: 35.06121005075721
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advancements in watermarking techniques have enabled the embedding of secret messages into AI-generated text (AIGT), serving as an important mechanism for AIGT detection. Existing methods typically interfere with the generation processes of large language models (LLMs) to embed signals within the generated text. However, these methods often rely on heuristic rules, which can result in suboptimal token selection and a subsequent decline in the quality of the generated content. In this paper, we introduce a plug-and-play contextual generation states-aware watermarking framework (CAW) that dynamically adjusts the embedding process. It can be seamlessly integrated with various existing watermarking methods to enhance generation quality. First, CAW incorporates a watermarking capacity evaluator, which can assess the impact of embedding messages at different token positions by analyzing the contextual generation states. Furthermore, we introduce a multi-branch pre-generation mechanism to avoid the latency caused by the proposed watermarking strategy. Building on this, CAW can dynamically adjust the watermarking process based on the evaluated watermark capacity of each token, thereby minimizing potential degradation in content quality. Extensive experiments conducted on datasets across multiple domains have verified the effectiveness of our method, demonstrating superior performance compared to various baselines in terms of both detection rate and generation quality.
• Abstract（参考訳）: 近年の透かし技術の発展により、AIGT(AI生成テキスト)への秘密メッセージの埋め込みが可能となり、AIGT検出の重要なメカニズムとなった。 既存の手法は、大言語モデル(LLM)の生成プロセスに干渉し、生成されたテキストに信号を埋め込むのが一般的である。 しかし、これらの手法は、しばしばヒューリスティックな規則に依存しており、それによって、最適以下のトークンの選択と、生成されたコンテンツの質の低下をもたらす可能性がある。 本稿では,組込み過程を動的に調整する,プラグアンドプレイ型状況認識型透かしフレームワーク(CAW)を提案する。 様々な既存の透かし手法とシームレスに統合して生成品質を向上させることができる。 第一に、CAWは、コンテキスト生成状態を分析することにより、異なるトークン位置におけるメッセージの埋め込みの影響を評価することができる透かしキャパシティ評価器を組み込んでいる。 さらに,提案手法によって生じる遅延を回避するために,マルチブランチプレジェネレーション機構を導入する。 これに基づいてCAWは、各トークンの評価された透かし容量に基づいて透かし処理を動的に調整でき、それによって、コンテンツ品質の潜在的な劣化を最小限に抑えることができる。 提案手法の有効性を検証し, 検出率と生成品質の両面で, 各種ベースラインと比較して優れた性能を示した。

関連論文リスト

• Entropy-Guided Watermarking for LLMs: A Test-Time Framework for Robust and Traceable Text Generation [58.85645136534301]
  サンプルテキストの既存の透かし方式は、テキスト品質の維持と各種攻撃に対する堅牢な検出とのトレードオフに直面していることが多い。 累積透かしエントロピー閾値を導入することにより,検出性とテキスト品質を両立させる新しい透かし方式を提案する。
  論文  参考訳（メタデータ） (2025-04-16T14:16:38Z)
• GaussMark: A Practical Approach for Structural Watermarking of Language Models [61.84270985214254]
  GaussMarkは、大規模な言語モデルを透かし出すためのシンプルで効率的で比較的堅牢なスキームである。 GaussMarkは信頼性が高く、効率的で、挿入、削除、置換、ラウンドトリップ翻訳などの汚職に対して比較的堅牢であることを示す。
  論文  参考訳（メタデータ） (2025-01-17T22:30:08Z)
• Topic-Based Watermarks for Large Language Models [46.71493672772134]
  本稿では,Large Language Model (LLM) 出力のための軽量なトピック誘導型透かし方式を提案する。 本手法は,Google の SynthID-Text など,業界をリードするシステムに匹敵する難易度を実現する。
  論文  参考訳（メタデータ） (2024-04-02T17:49:40Z)
• Token-Specific Watermarking with Enhanced Detectability and Semantic Coherence for Large Language Models [31.062753031312006]
  大規模言語モデルは、潜在的な誤報を伴う高品質な応答を生成する。 ウォーターマーキングは、テキストに隠れたマーカーを埋め込むことによって、この文脈において重要な意味を持つ。 ウォーターマーキングのための新しい多目的最適化(MOO)手法を提案する。 本手法は,検出性と意味的整合性を同時に達成する。
  論文  参考訳（メタデータ） (2024-02-28T05:43:22Z)
• Improving the Generation Quality of Watermarked Large Language Models via Word Importance Scoring [81.62249424226084]
  トークンレベルの透かしは、トークン確率分布を変更して生成されたテキストに透かしを挿入する。 この透かしアルゴリズムは、生成中のロジットを変化させ、劣化したテキストの品質につながる可能性がある。 We propose to improve the quality of texts generated by a watermarked language model by Watermarking with Importance Scoring (WIS)。
  論文  参考訳（メタデータ） (2023-11-16T08:36:00Z)
• Watermarking Conditional Text Generation for AI Detection: Unveiling Challenges and a Semantic-Aware Watermark Remedy [52.765898203824975]
  本研究では,条件付きテキスト生成と入力コンテキストの特性を考慮した意味認識型透かしアルゴリズムを提案する。 実験結果から,提案手法は様々なテキスト生成モデルに対して大幅な改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2023-07-25T20:24:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。