論文の概要: Language Model Fingerprinting Requires Rethinking Watermark Teachers

• arxiv url: http://arxiv.org/abs/2610.04169v1
• Date: Sat, 03 Oct 2026 00:19:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-12 19:40:50.218976
• Title: Language Model Fingerprinting Requires Rethinking Watermark Teachers
• Title（参考訳）: 言語モデルフィンガープリントは、ウォーターマーク教師を再考する必要がある
• Abstract要約: 生成したテキストを検証するためのテキスト透かしが,モデルフィンガープリントに適した蒸留教師であるかどうかを検討した。 指紋認証は、クエリ間で信号を集約し、スペーサー透かし信号を実行可能なものにする。 同等の透かし強度であっても、異なる配置がベースモデルの下で異なる可視性を持つトークンをターゲットにすることができることを示す。
• 参考スコア（独自算出の注目度）: 49.33725372215003
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLM fingerprinting via watermark distillation embeds a statistical watermark signal into model weights, enabling model owners to identify their models behind black-box APIs. Revisiting a recent protocol, we find that its utility evaluation understates text quality degradation in open-ended generation, favoring overly strong watermark teachers. Weakening the watermark improves text quality but sacrifices detectability. To move beyond this trade-off, we rethink whether text watermarks designed for verifying generated text are suitable distillation teachers for model fingerprinting. Such watermarks are typically designed to remain detectable from an individual output, limiting how sparse the watermark signal can be. In contrast, fingerprint verification can aggregate signal across queries, making sparser watermark signals viable. This raises a key question: where should the sparse signal be placed? We analyze signal placement through token surprisal and show that, even at comparable watermark strength, different placements can target tokens with different plausibility under the base model. This motivates near-tie restriction, which uses top-1-relative logit gaps to restrict the watermark bias to tokens close to the base model's top prediction. Across multiple models, near-tie improves detection--quality frontiers under deployment changes, preserves higher text quality across query budgets, and further improves existing watermarking schemes when combined with them.
• Abstract（参考訳）: 透かし蒸留によるLLMフィンガープリントは、統計的な透かし信号をモデルウェイトに埋め込んで、モデル所有者がブラックボックスAPIの裏でモデルを識別できるようにする。 近年のプロトコルを再検討した結果,その実用性評価はテキスト品質の劣化を減らし,過度に強いウォーターマーク教師を好んでいることが判明した。 透かしを織るとテキストの品質が向上するが、検出性は犠牲になる。 このトレードオフを超えて、生成したテキストを検証するために設計されたテキスト透かしが、モデルフィンガープリントに適した蒸留教師であるかどうかを再考する。 このような透かしは通常、個々の出力から検出できるように設計されており、透かし信号のスパースを制限している。 対照的に、指紋認証はクエリ間で信号を集約し、スペーサーの透かし信号を実行可能なものにする。 これは重要な疑問を提起する。スパース信号をどこに置けばいいのか? トークン推定による信号配置を解析し、同等の透かし強度であっても、異なる配置がベースモデルの下で異なる確率でトークンを標的にすることができることを示す。 これは、トップ-1相対ロジットギャップを使用して、透かしバイアスをベースモデルのトップ予測に近いトークンに制限する、ニアティー制限を動機付けている。 複数のモデル全体で、Near-tieはデプロイメント変更による検出品質のフロンティアを改善し、クエリ予算全体で高いテキスト品質を維持し、それらと組み合わせることで既存のウォーターマーキングスキームをさらに改善する。

関連論文リスト

• HeavyWater and SimplexWater: Watermarking Low-Entropy Text Distributions [9.08291061147965]
  大きな言語モデル(LLM)の透かしは、テキストの証明の認証、機械生成されたテキストの誤用の抑制、AIシステムの信頼の促進を可能にする。 LLMウォーターマーキングは、コーディングのような低エントロピー生成タスクでは困難である。 我々のゴールは、透かし検出の可能性を最大化し、生成したテキストの歪みを最小限に抑えるために、ランダムな側情報をどのように効果的に利用するかを理解することである。
  論文  参考訳（メタデータ） (2025-06-06T13:52:34Z)
• Unbiased Watermark for Large Language Models [67.43415395591221]
  本研究では, モデル生成出力の品質に及ぼす透かしの影響について検討した。 出力確率分布に影響を与えることなく、透かしを統合することができる。 ウォーターマークの存在は、下流タスクにおけるモデルの性能を損なうものではない。
  論文  参考訳（メタデータ） (2023-09-22T12:46:38Z)
• On the Reliability of Watermarks for Large Language Models [95.87476978352659]
  本研究では,人間による書き直し後の透かしテキストの堅牢性,非透かしLDMによる言い換え,あるいはより長い手書き文書への混在性について検討する。 人や機械の言い回しをしても、透かしは検出可能である。 また、大きな文書に埋め込まれた透かし付きテキストの短いスパンに敏感な新しい検出手法についても検討する。
  論文  参考訳（メタデータ） (2023-06-07T17:58:48Z)
• Undetectable Watermarks for Language Models [1.347733333991357]
  本稿では,言語モデルに対する検出不能な透かしの概念を紹介する。 透かしは秘密鍵の知識でのみ検出できます 一方向関数の存在に基づいて検出不能な透かしを構築する。
  論文  参考訳（メタデータ） (2023-05-25T02:57:16Z)
• A Watermark for Large Language Models [84.95327142027183]
  本稿では,プロプライエタリな言語モデルのための透かしフレームワークを提案する。 透かしはテキストの品質に無視できない影響で埋め込むことができる。 言語モデルAPIやパラメータにアクセスすることなく、効率的なオープンソースアルゴリズムを使って検出することができる。
  論文  参考訳（メタデータ） (2023-01-24T18:52:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。