論文の概要: Watermark Basins: Black-Box Detection of Distilled LLMs

• arxiv url: http://arxiv.org/abs/2610.37266v1
• Date: Tue, 27 Oct 2026 13:59:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.649221
• Title: Watermark Basins: Black-Box Detection of Distilled LLMs
• Title（参考訳）: 透かし盆地:蒸留LLMのブラックボックス検出
• Abstract要約: 原語モデルとその推論トレースは、APIベースの蒸留に弱い。 蒸留の証拠を得るために、モデル提供者は教師の出力を透かし、生徒の出力に放射性信号を残そうとする。 既存のブラックボックス検出器は、疑似モデルの出力のトークンレベル統計を用いてそのような放射能を探索する。 ブラックボックス型透かし検知器であるWatermark Basin Alignment (WM-Basin) を導入し,そのAPIを用いて被疑者を問う。
• 参考スコア（独自算出の注目度）: 49.09963505991933
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Proprietary language models and their reasoning traces are vulnerable to API-based distillation, where an adversary trains a student model on the teacher model's outputs. To obtain evidence of distillation, model providers can watermark the teacher's outputs, aiming to leave a radioactive signal in the student's outputs. Existing black-box detectors search for such radioactivity using token-level statistics of the suspect model's outputs. However, token-level signals are not always detectable, for instance when the distillation traces are sampled at a low temperature. In this work, we discover the watermark basin, a persistent signal that enables more reliable watermark detection: during fine-tuning, watermarked teacher traces embed a distinct, key-specific geometric signal in parameter space that lies orthogonal to the ordinary task-specific fine-tuning subspace. Building on this, we introduce Watermark Basin Alignment (WM-Basin), a black-box watermark detector that queries the suspect model through its API, without access to its weights or logits. WM-Basin maps generated text to gradient representations using a fixed clean probe model, projects out the ordinary fine-tuning task directions, and tests whether the residual gradient aligns with the watermark basin induced by the watermark key. We evaluate WM-Basin extensively across diverse teacher models and student architectures (from 135M to 8.2B parameters) distilled on mathematical reasoning. At a strict 0.1% false-positive rate, WM-Basin detects 79% of distilled models at n-gram=1 and 45% at n-gram=3, substantially improving over the state-of-the-art token-level baseline (29% and 1.3%, respectively). Because the watermark signal resides in a persistent basin, it survives post-distillation modifications including quantization, pruning, and reinforcement-learning post-training.
• Abstract（参考訳）: プロプライエタリ言語モデルとその推論トレースはAPIベースの蒸留に対して脆弱であり、相手が教師モデルの出力に基づいて生徒モデルを訓練する。 蒸留の証拠を得るために、モデル提供者は教師の出力を透かし、生徒の出力に放射性信号を残そうとする。 既存のブラックボックス検出器は、疑似モデルの出力のトークンレベル統計を用いてそのような放射能を探索する。 しかし、例えば蒸留トレースが低温でサンプリングされる場合、トークンレベルの信号は必ずしも検出できない。 本研究では,より信頼性の高い透かし検出を可能にする持続的な信号である透かし盆地を発見する。微調整中,透かしを施した教師のトレースは,通常のタスク固有の微調整部分空間と直交するパラメータ空間にキー固有の幾何信号を埋め込む。 その上にWatermark Basin Alignment(WM-Basin)というブラックボックスの透かし検出装置を導入し、その重みやロジットにアクセスせずに被疑者モデルをAPIを通じてクエリする。 WM-Basinマップは、固定されたクリーンプローブモデルを用いて勾配表現にテキストを生成し、通常の微調整タスク方向を投影し、残留勾配が透かしキーによって誘導される透かし盆地と整合するかどうかをテストする。 我々はWM-Basinを、数学的推論に基づいて蒸留した多様な教師モデルと学生アーキテクチャ(135Mから8.2Bパラメータ)にわたって広範囲に評価した。 厳密な0.1%の偽陽性率で、WM-Basinはn-gram=1で79%、n-gram=3で45%の蒸留モデルを検出し、最先端のトークンレベルベースライン(29%と1.3%)よりも大幅に改善した。 透かし信号は持続的な盆地にあるため、定量化、刈り取り、強化学習後の訓練を含む蒸留後の修正は生き残る。

関連論文リスト

• Language Model Fingerprinting Requires Rethinking Watermark Teachers [49.33725372215003]
  生成したテキストを検証するためのテキスト透かしが,モデルフィンガープリントに適した蒸留教師であるかどうかを検討した。 指紋認証は、クエリ間で信号を集約し、スペーサー透かし信号を実行可能なものにする。 同等の透かし強度であっても、異なる配置がベースモデルの下で異なる可視性を持つトークンをターゲットにすることができることを示す。
  論文  参考訳（メタデータ） (2026-10-03T00:19:29Z)
• Reference-Based Distillation Detection in LLMs [17.877444310396758]
  本稿では,参照型メンバシップ推論に基づく蒸留検出手法を提案する。 制御された蒸留実験と実世界のモデルの両方にまたがるハイブリッド評価を開発した。 この手法を現代モデルに適用すると、QwQ、DeepSeek-R1、GPT-OSSを含む蒸留関係に関する新たな証拠が得られる。
  論文  参考訳（メタデータ） (2026-06-19T06:59:19Z)
• Can LLM Watermarks Robustly Prevent Unauthorized Knowledge Distillation? [75.99961894619986]
  本稿では,学生モデルが知識蒸留により,透かしの継承を回避しつつ,教師モデルの能力を獲得することができるかどうかを考察する。 本稿では,未ターゲットおよび目標とするトレーニングデータパラフレージング(UP,TP)による蒸留前除去と,推論時透かし中和(WN)による蒸留後除去の2つのカテゴリを提案する。
  論文  参考訳（メタデータ） (2025-02-17T09:34:19Z)
• Did You Train on My Dataset? Towards Public Dataset Protection with Clean-Label Backdoor Watermarking [54.40184736491652]
  本稿では,公開データの保護のための一般的な枠組みとして機能するバックドアベースの透かし手法を提案する。 データセットに少数の透かしサンプルを挿入することにより、我々のアプローチは、ディフェンダーが設定した秘密関数を暗黙的に学習することを可能にする。 この隠れた機能は、データセットを違法に使用するサードパーティモデルを追跡するための透かしとして使用できる。
  論文  参考訳（メタデータ） (2023-03-20T21:54:30Z)
• Cross Modal Distillation for Flood Extent Mapping [0.41562334038629595]
  本研究では,早期洪水警報システムの浸水検出モジュールの改良を目的としたML手法について検討する。 提案手法は,SAR(Synthetic Aperture Radar)画像とMulti-spectralとSAR(Synthetic Aperture Radar)画像のアンラベリングデータセットを利用する。
  論文  参考訳（メタデータ） (2023-02-16T09:57:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。