論文の概要: Watermarkability: Measuring and Improving Language-Model Compatibility with Logit-Based Watermarks

• arxiv url: http://arxiv.org/abs/2610.22810v1
• Date: Fri, 16 Oct 2026 01:40:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.728379
• Title: Watermarkability: Measuring and Improving Language-Model Compatibility with Logit-Based Watermarks
• Title（参考訳）: 透かし可能性:ロジットに基づく透かしを用いた言語モデル適合性の測定と改善
• Abstract要約: 言語モデル透かしは、モデル生成したテキストを識別し、証明情報をエンコードし、生成後の編集を検出するのに役立つ。 幅広いクラスのロジットベースの透かしは、デコードステップ毎に指定されたトークンセットのロジットを増加させる。 透かしにより要求されるトークンセットとモデルとの互換性を特徴付けるために透かし可能性を導入する。
• 参考スコア（独自算出の注目度）: 7.909251130733202
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language-model watermarks can help identify model-generated text, encode provenance information, and detect post-generation edits. A broad class of logit-based watermarks increases the logits of a designated token set at each decoding step. Because a base model's native probability mass on this set varies across contexts, models, and watermark rules, the same logit bias can yield different adherence rates and increases in perplexity (PPL). We introduce watermarkability to characterize the compatibility between a model and the token sets requested by a watermark. At a target mass $τ$, we quantify this property through a watermarkability cost: the expected minimum KL divergence from the base-model distribution required to assign probability at least $τ$ to the requested set. A lower cost means that the model is more watermarkable for that request distribution. To reduce this cost, we propose a two-stage method. In the first stage, we train a target-set-conditioned low-rank adapter on unions drawn from a 16-way vocabulary partition to increase the requested set's probability mass. In the second stage, a closed-form controller applies the smallest remaining uniform logit bias needed to reach the target mass. We evaluate the method on six watermark schedules using OPT-125M and Qwen3-8B. Across the 12 model-schedule pairs, the pre-adaptation watermarkability cost correlates with the log-PPL increase under a near-hard fixed-bias baseline (pooled Pearson $r=0.929$). For every schedule, at least 99.80% of sampled tokens fall in the target set requested at their decoding step. At this reliability, the adapter and controller reduce average per-schedule prompt-conditional PPL by 46.3% on OPT-125M and 5.2% on Qwen3-8B relative to the fixed-bias baseline.
• Abstract（参考訳）: 言語モデル透かしは、モデル生成したテキストを識別し、証明情報をエンコードし、生成後の編集を検出するのに役立つ。 幅広いクラスのロジットベースの透かしは、デコードステップ毎に指定されたトークンセットのロジットを増加させる。 このセット上のベースモデルのネイティブ確率質量は、コンテキスト、モデル、透かしの規則によって異なるため、同じロジットバイアスは異なる付着率とパープレキシティ(PPL)の増加をもたらす。 透かしにより要求されるトークンセットとモデルとの互換性を特徴付けるために透かし可能性を導入する。 目的の質量 τ$ において、我々はこの特性を透かしやすさのコストで定量化する: 要求された集合に少なくとも τ$ の確率を割り当てるために必要なベースモデル分布から最小の KL の発散を期待する。 コストの低減は、その要求分布に対してモデルの方がより透かしやすいことを意味します。 このコストを削減するために,2段階の手法を提案する。 第1段階では、要求されたセットの確率質量を増やすために、16方向の語彙分割から引き出されたユニオンに対してターゲットセット条件の低ランクアダプタを訓練する。 第二段階では、閉形式コントローラは、目標質量に達するのに必要な最小の均一なロジットバイアスを適用する。 OPT-125MとQwen3-8Bを用いた6つの透かしスケジュールの評価を行った。 12のモデル-スケジュール対全体で、事前適応型透かしのコストは、ほぼハードな固定バイアスベースライン(Pearson $r=0.929$)の下での対数-PPLの増加と相関する。 全てのスケジュールにおいて、サンプリングされたトークンの少なくとも99.80%はデコードステップで要求されたターゲットセットに該当する。 この信頼性で、アダプタとコントローラは、固定バイアスベースラインに対して、OPT-125Mで平均46.3%、Qwen3-8Bで平均5.2%削減する。

関連論文リスト

• Language Model Fingerprinting Requires Rethinking Watermark Teachers [49.33725372215003]
  生成したテキストを検証するためのテキスト透かしが,モデルフィンガープリントに適した蒸留教師であるかどうかを検討した。 指紋認証は、クエリ間で信号を集約し、スペーサー透かし信号を実行可能なものにする。 同等の透かし強度であっても、異なる配置がベースモデルの下で異なる可視性を持つトークンをターゲットにすることができることを示す。
  論文  参考訳（メタデータ） (2026-10-03T00:19:29Z)
• Collaborative Threshold Watermarking [6.09006146869448]
  FL(Federated Learning)では、K$クライアントが生データを共有せずにモデルを共同でトレーニングする。 モデル透かしは重みに隠されたシグナルを埋め込むが、素直なアプローチでは、クライアント毎の透かしはK$が成長するほど希薄になるため、多くのクライアントでスケールしない。 クライアントがトレーニング中に共有された透かしを共同で埋め込むのに対して、最低でも$t$のクライアントだけが透かしキーを再構築し、疑わしいモデルを検証できます。
  論文  参考訳（メタデータ） (2026-02-11T11:51:41Z)
• Towards Optimal Statistical Watermarking [95.46650092476372]
  仮説テスト問題として定式化して統計的透かしを研究する。 我々の定式化の鍵は、出力トークンと拒絶領域の結合である。 一般仮説テスト設定において,UMP(Uniformly Most Powerful)の透かしを特徴付ける。
  論文  参考訳（メタデータ） (2023-12-13T06:57:00Z)
• WaterBench: Towards Holistic Evaluation of Watermarks for Large Language Models [48.19623266082828]
  WaterBenchは、大規模言語モデル(LLM)における透かしの最初の包括的なベンチマークである。 LLM透かしの最初の総合的なベンチマークであるWaterBenchを紹介し、3つの重要な要素を設計する。 オープンソースの透かしを2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/3ドル/3ドル/3ドル/3ドル/3ドル/3ドル/3ドル/3ドル/3ドル/3ドル/3ドル/
  論文  参考訳（メタデータ） (2023-11-13T08:09:01Z)
• Robust Distortion-free Watermarks for Language Models [85.55407177530746]
  本稿では,自動回帰言語モデルからテキストに透かしを植え付ける手法を提案する。 言語モデルから乱数列をサンプルにマッピングすることで、透かし付きテキストを生成する。
  論文  参考訳（メタデータ） (2023-07-28T14:52:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。