論文の概要: From Trade-off to Synergy: A Versatile Symbiotic Watermarking Framework for Large Language Models
- arxiv url: http://arxiv.org/abs/2505.09924v2
- Date: Fri, 16 May 2025 09:33:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-19 12:32:17.914434
- Title: From Trade-off to Synergy: A Versatile Symbiotic Watermarking Framework for Large Language Models
- Title(参考訳): トレードオフからシナジーへ:大規模言語モデルのための多能性共生型透かしフレームワーク
- Authors: Yidan Wang, Yubing Ren, Yanan Cao, Binxing Fang,
- Abstract要約: 本稿では, シリアル, パラレル, ハイブリッドの3つの戦略を持つ多種多様な共生型透かしフレームワークを提案する。
このハイブリッドフレームワークはトークンエントロピーとセマンティックエントロピーを使用して透かしを適応的に埋め込み、検出可能性、堅牢性、テキスト品質、セキュリティのバランスを最適化する。
- 参考スコア(独自算出の注目度): 16.89823786392689
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The rise of Large Language Models (LLMs) has heightened concerns about the misuse of AI-generated text, making watermarking a promising solution. Mainstream watermarking schemes for LLMs fall into two categories: logits-based and sampling-based. However, current schemes entail trade-offs among robustness, text quality, and security. To mitigate this, we integrate logits-based and sampling-based schemes, harnessing their respective strengths to achieve synergy. In this paper, we propose a versatile symbiotic watermarking framework with three strategies: serial, parallel, and hybrid. The hybrid framework adaptively embeds watermarks using token entropy and semantic entropy, optimizing the balance between detectability, robustness, text quality, and security. Furthermore, we validate our approach through comprehensive experiments on various datasets and models. Experimental results indicate that our method outperforms existing baselines and achieves state-of-the-art (SOTA) performance. We believe this framework provides novel insights into diverse watermarking paradigms. Our code is available at https://github.com/redwyd/SymMark.
- Abstract(参考訳): 大規模言語モデル(LLM)の台頭は、AI生成テキストの誤用に対する懸念を高め、透かしが有望な解決策となった。
LLMのメインストリーム透かし方式は、ログベースとサンプリングベースという2つのカテゴリに分類される。
しかしながら、現在のスキームでは、堅牢性、テキスト品質、セキュリティのトレードオフが伴っている。
これを軽減するため、ロジットベースとサンプリングベースのスキームを統合し、それぞれの強みを活用して相乗効果を実現する。
本稿では, シリアル, パラレル, ハイブリッドの3つの戦略を持つ多種多様な共生型透かしフレームワークを提案する。
このハイブリッドフレームワークはトークンエントロピーとセマンティックエントロピーを使用して透かしを適応的に埋め込み、検出可能性、堅牢性、テキスト品質、セキュリティのバランスを最適化する。
さらに、様々なデータセットやモデルに関する包括的な実験を通じて、我々のアプローチを検証する。
実験結果から,本手法は既存のベースラインよりも優れ,SOTA(State-of-the-art)性能を実現していることがわかった。
このフレームワークは、多様な透かしパラダイムに関する新しい洞察を提供すると信じています。
私たちのコードはhttps://github.com/redwyd/SymMark.comで利用可能です。
関連論文リスト
- Entropy-Guided Watermarking for LLMs: A Test-Time Framework for Robust and Traceable Text Generation [58.85645136534301]
サンプルテキストの既存の透かし方式は、テキスト品質の維持と各種攻撃に対する堅牢な検出とのトレードオフに直面していることが多い。
累積透かしエントロピー閾値を導入することにより,検出性とテキスト品質を両立させる新しい透かし方式を提案する。
論文 参考訳(メタデータ) (2025-04-16T14:16:38Z) - Improved Unbiased Watermark for Large Language Models [59.00698153097887]
本稿では,非バイアスのマルチチャネル型透かしであるMCmarkを紹介する。
MCmarkは言語モデルの本来の分布を保存する。
既存の非バイアスの透かしよりも検出性と堅牢性を大幅に改善する。
論文 参考訳(メタデータ) (2025-02-16T21:02:36Z) - SimMark: A Robust Sentence-Level Similarity-Based Watermarking Algorithm for Large Language Models [1.7188280334580197]
SimMarkは、大規模な言語モデルの出力を、モデルの内部ログへのアクセスを必要とせずにトレース可能にする、ポストホックな透かしアルゴリズムである。
実験結果から,SimMark は LLM 生成コンテンツのロバストな透かしのための新しいベンチマークを作成した。
論文 参考訳(メタデータ) (2025-02-05T00:21:01Z) - Topic-Based Watermarks for Large Language Models [46.71493672772134]
本稿では,Large Language Model (LLM) 出力のための軽量なトピック誘導型透かし方式を提案する。
本手法は,Google の SynthID-Text など,業界をリードするシステムに匹敵する難易度を実現する。
論文 参考訳(メタデータ) (2024-04-02T17:49:40Z) - Token-Specific Watermarking with Enhanced Detectability and Semantic Coherence for Large Language Models [31.062753031312006]
大規模言語モデルは、潜在的な誤報を伴う高品質な応答を生成する。
ウォーターマーキングは、テキストに隠れたマーカーを埋め込むことによって、この文脈において重要な意味を持つ。
ウォーターマーキングのための新しい多目的最適化(MOO)手法を提案する。
本手法は,検出性と意味的整合性を同時に達成する。
論文 参考訳(メタデータ) (2024-02-28T05:43:22Z) - A Resilient and Accessible Distribution-Preserving Watermark for Large Language Models [65.40460716619772]
本研究は,textbfDistribution-textbf Preserving (DiP)ウォーターマークの重要性に焦点をあてる。
現在の戦略とは対照的に,提案したDiPmarkは透かし中に元のトークン分布を同時に保存する。
言語モデルAPIにアクセスせずに検出可能で(アクセス可能)、トークンの適度な変更に対して確実に堅牢である。
論文 参考訳(メタデータ) (2023-10-11T17:57:35Z) - Who Wrote this Code? Watermarking for Code Generation [53.24895162874416]
本稿では,機械生成テキストを検出するために,Entropy Thresholding (SWEET) を用いたSelective WatErmarkingを提案する。
実験の結果,SWEETはコード品質を著しく向上し,すべてのベースラインを上回ります。
論文 参考訳(メタデータ) (2023-05-24T11:49:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。