論文の概要: Improve the Trade-off Between Watermark Strength and Speculative Sampling Efficiency for Language Models

• arxiv url: http://arxiv.org/abs/2602.01428v1
• Date: Sun, 01 Feb 2026 20:30:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:33.778687
• Title: Improve the Trade-off Between Watermark Strength and Speculative Sampling Efficiency for Language Models
• Title（参考訳）: 言語モデルにおける透かし強度と投機サンプリング効率のトレードオフの改善
• Authors: Weiqing He, Xiang Li, Li Shen, Weijie Su, Qi Long,
• Abstract要約: 投機的サンプリングは推論を加速し、受容率が増加するにつれて効率が向上する。 高い透かし強度は受け入れを減らし、同時に達成するのを防ぐ。 本稿では,トークンが擬似乱数の決定論的関数である場合に最大化される統計的検出可能性を管理する透かし強度の測定手法を提案する。
• 参考スコア（独自算出の注目度）: 18.988823703120865
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Watermarking is a principled approach for tracing the provenance of large language model (LLM) outputs, but its deployment in practice is hindered by inference inefficiency. Speculative sampling accelerates inference, with efficiency improving as the acceptance rate between draft and target models increases. Yet recent work reveals a fundamental trade-off: higher watermark strength reduces acceptance, preventing their simultaneous achievement. We revisit this trade-off and show it is not absolute. We introduce a quantitative measure of watermark strength that governs statistical detectability and is maximized when tokens are deterministic functions of pseudorandom numbers. Using this measure, we fully characterize the trade-off as a constrained optimization problem and derive explicit Pareto curves for two existing watermarking schemes. Finally, we introduce a principled mechanism that injects pseudorandomness into draft-token acceptance, ensuring maximal watermark strength while maintaining speculative sampling efficiency. Experiments further show that this approach improves detectability without sacrificing efficiency. Our findings uncover a principle that unites speculative sampling and watermarking, paving the way for their efficient and practical deployment.
• Abstract（参考訳）: ウォーターマーキングは、大規模言語モデル(LLM)出力の証明をトレースするための原則化されたアプローチであるが、実際には推論の非効率さによってその展開が妨げられている。 投機的サンプリングは推論を加速し、ドラフトモデルとターゲットモデルの間の受け入れ率が増加するにつれて効率が向上する。 高い透かし強度は受け入れを減らし、同時に達成するのを防ぐ。 我々はこのトレードオフを再考し、絶対ではないことを示す。 本稿では,トークンが擬似ランダム数の決定論的関数である場合に最大化される,統計的検出性を管理する透かし強度の定量的尺度を提案する。 この尺度を用いて、トレードオフを制約付き最適化問題として完全に特徴づけ、既存の2つの透かしスキームに対して明示的なパレート曲線を導出する。 最後に,投機的サンプリング効率を維持しつつ,擬似ランダム性を投機的受け入れに注入し,最大透かし強度を確保する原理を導入する。 さらに実験により、このアプローチは効率を犠牲にすることなく検出性を向上させることが示されている。 この結果から, 投機的サンプリングと透かしを一体化し, 効率的かつ実用的な配置の道を開くという原則が明らかになった。

関連論文リスト

• Distilling the Thought, Watermarking the Answer: A Principle Semantic Guided Watermark for Large Reasoning Models [46.12198035083885]
  本稿では推論集約型LLM用に設計された新しい透かしフレームワークであるReasonMarkを紹介する。 提案手法は, 生成を非破壊思考相と透かし解答相に分解する。 実験の結果、ReasonMark はテキストのパープレクシティを 0.35 に減らし、BLEU のスコアを0.164 に増やし、数学的精度を 0.67 ポイント向上させることで最先端の手法を上回った。
  論文  参考訳（メタデータ） (2026-01-08T17:32:22Z)
• Optimal Detection for Language Watermarks with Pseudorandom Collision [28.84134119819056]
  階層的な2層分割によって構造を捉える統計的枠組みを導入する。 その中核は最小単位の概念であり、単位間の独立として扱うことができる最小の群は、単位内部への依存を許容する。 Gumbel-maxおよび逆変換透かしの適用により、我々のフレームワークはクローズドフォーム最適規則を生成する。
  論文  参考訳（メタデータ） (2025-10-24T20:21:52Z)
• Analyzing and Evaluating Unbiased Language Model Watermark [62.982950935139534]
  UWbenchは、偏りのない透かし手法の原理的評価を専門とする、最初のオープンソースベンチマークである。 我々の枠組みは理論的な貢献と経験的な貢献を組み合わせている。 我々は,非バイアス性,検出性,堅牢性という3軸評価プロトコルを確立し,トークン改質攻撃がパラフレーズベースの手法よりも安定したロバストネス評価を提供することを示す。
  論文  参考訳（メタデータ） (2025-09-28T19:46:01Z)
• An Ensemble Framework for Unbiased Language Model Watermarking [60.99969104552168]
  本研究では,アンサンブル・フレームワークであるENSを提案する。 ENSは複数の独立した透かしインスタンスを順次構成し、それぞれ異なるキーによって管理され、透かし信号を増幅する。 実験的な評価では、ENSは信頼できる検出に必要なトークンの数を大幅に減らし、平滑化やパラフレージング攻撃に対する耐性を高めている。
  論文  参考訳（メタデータ） (2025-09-28T19:37:44Z)
• Semantic Watermarking Reinvented: Enhancing Robustness and Generation Quality with Fourier Integrity [31.666430190864947]
  我々はHermitian Symmetric Fourier Watermarking (SFW)と呼ばれる新しい埋め込み手法を提案する。 SFWはエルミート対称性を強制することによって周波数整合性を維持する。 我々は,収穫攻撃による意味的透かしの脆弱性を低減する中心認識型埋め込み戦略を導入する。
  論文  参考訳（メタデータ） (2025-09-09T12:15:16Z)
• MorphMark: Flexible Adaptive Watermarking for Large Language Models [49.3302421751894]
  既存の透かし法は、しばしばジレンマに苦しむ: 透かしの有効性を改善するには、テキストの品質を低下させるコストがかかる。 特定因子の変化に応じて透かし強度を適応的に調整するMorphMark法を開発した。 MorphMarkは、高い柔軟性と時間と空間効率を提供するとともに、有効性の高いジレンマの優れた解決を実現している。
  論文  参考訳（メタデータ） (2025-05-14T13:11:16Z)
• Inevitable Trade-off between Watermark Strength and Speculative Sampling Efficiency for Language Models [63.450843788680196]
  最大透かし強度と最高サンプリング効率を同時に維持することは不可能である。 本研究では,サンプリング効率と透かし強度を両立させる2つの手法を提案する。 我々の研究は、透かし強度とサンプリング効率の本質的にのトレードオフを理解するための厳密な理論基盤を提供する。
  論文  参考訳（メタデータ） (2024-10-27T12:00:19Z)
• Theoretically Grounded Framework for LLM Watermarking: A Distribution-Adaptive Approach [53.32564762183639]
  大規模言語モデル(LLM)の透かしのための新しい統一的理論フレームワークを導入する。 本研究の目的は,最悪の偽陽性率(FPR)の制御とテキスト品質の歪みを維持しつつ,検出性能を最大化することである。 モデル非依存と効率性に代えて代理モデルを利用する歪みのない分散適応型透かしアルゴリズム(DAWA)を提案する。
  論文  参考訳（メタデータ） (2024-10-03T18:28:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。