論文の概要: Asking Back: Interaction-Layer Antidistillation Watermarks

• arxiv url: http://arxiv.org/abs/2605.16462v1
• Date: Fri, 15 May 2026 08:28:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:46.494212
• Title: Asking Back: Interaction-Layer Antidistillation Watermarks
• Title（参考訳）: 振り返ってみた: インターオペラビリティー・レイヤーの消毒水標
• Abstract要約: 既存の防御は教師の出力トークンを操作する。 最近の研究によると、悪意のない攻撃者は、根底にある知識を失うことなく、これらの信号を取り除くことができる。 相互作用層型抗蒸留透かしを提案する。
• 参考スコア（独自算出の注目度）: 7.826668598190874
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Detecting unauthorized knowledge distillation from a deployed LLM API is hard because the defender controls neither the attacker's training pipeline nor the next-token logits. Existing defenses operate on the teacher's output tokens -- biasing the next-token distribution (green-list watermarks, cryptographic schemes, antidistillation sampling) or rewriting outputs after generation. Recent work shows a paraphrasing attacker can strip these signals without losing the underlying knowledge. We propose interaction-layer antidistillation watermarks, which move the trace one layer higher, into the teacher's interaction behavior: the defender wraps the teacher with a system prompt that intermittently induces a behavioral marker -- an explicit follow-up question, a low-frequency variant, or a declarative restatement. An oblivious distiller inherits the behavior, and the defender audits via black-box queries with a human-validated LLM-as-judge (Cohen's kappa = 0.84/0.78 on strong/style rubrics). Across 63 LoRA-distilled students under a Llama-3.3-70B-Instruct teacher (35,343 judged samples), behavioral watermarks transfer at 88.9% (Gemma) / 80.9% (OLMo) / 45.2% (Qwen) relative fidelity (H1, H2). Under non-adaptive DIPPER paraphrasing, robustness decomposes into a teacher-self ceiling (about 66.4%) and student-relative retention of 21-112%, with OLMo preserving the watermark above the teacher itself (H3, F-Amp). Low-density (about 20%) explicit and implicit declarative variants transfer above per-family baseline (H4, F-Style). An N=20 in-lab study (pre-registered Latin-square) shows all marker variants within 0.22 Likert step of baseline; TOST, Friedman, and Bonferroni-Wilcoxon support H5. The interaction layer is a viable design locus for antidistillation watermarking, complementary to token-, model-, and reasoning-trace-layer defenses.
• Abstract（参考訳）: 攻撃者のトレーニングパイプラインも、次の警告ログもコントロールできないため、デプロイされたLLM APIからの無許可の知識蒸留の検出は難しい。 既存の防御は教師の出力トークン(グリーンリストの透かし、暗号スキーム、アンチ蒸留サンプリング)を偏り、生成後に出力を書き換える。 最近の研究は、パラフレーズ攻撃者が基礎となる知識を失うことなくこれらの信号を除去できることを示している。 そこで本稿では,教師の対話行動において,教師の対話行動に一段高めのトレーサを移動させる「相互作用層防汚透かし」を提案する。 余計な蒸留器がその振る舞いを継承し、ディフェンダーはブラックボックスクエリを通じて人間公認のLSM-as-judge(コーエンのカッパ=0.84/0.78)で監査する。 Llama-3.3-70B-Instruct teacher (35,343例) による63名以上のLoRA蒸留学生が88.9% (Gemma) / 80.9% (OLMo) / 45.2% (Qwen) の相対忠実度 (H1, H2) で電子透かしを転送した。 非適応的DIPPER言い換えでは、ロバスト性は教師自身の天井(約66.4%)に分解され、21-112%の学生が保持され、OLMOは教師自身の上にある透かし(H3, F-Amp)を保持する。 低密度(約20%)の明示的および暗黙的な宣言的変異は、家族ごとのベースライン(H4, F-Style)の上に移動する。 N=20 in-lab study (pre-registered Latin-square) では、ベースラインの 0.22 Likert ステップ内のすべてのマーカー変異が示され、TOST、Friedman、Bonferroni-Wilcoxon は H5 をサポートする。 相互作用層は、アンチ蒸留ウォーターマーキングのための実行可能な設計軌跡であり、トークン、モデル、および推論トラス層防御を補完する。

関連論文リスト

• Does On-Policy Distillation Really Distill? From Noisy Teacher to Self-Improvement [27.122890248991556]
  オンライン蒸留(OPD)は、証明可能な報酬(RLVR)による強化学習の希薄な結果レベルの利点の代替として、高密度トークンレベルの監督を提供する。 我々は,OPD訓練中の教師の指導を定量的に分析し,教師の規模で有意な雑音が増大することを示した。 学習は低ログ確率トークンに焦点を合わせ, 教師が提案したトークンの性能に一致した1つの負の優位性を用いる。
  論文  参考訳（メタデータ） (2026-08-31T16:22:10Z)
• Learning to Follow In-Context Watermark Instructions via Self-Distillation [117.19153619258644]
  In-context Watermarking (ICW) は、モデルに統計的に検出可能な信号をその応答に埋め込むよう要求するクエリへの命令をプリペイドする。 我々は、3つの検証可能なICW命令ファミリのベンチマークである$mathsfICWBench$を導入し、それぞれが検出性と応答品質の両方にスコア付けする。 本研究では,より強いモデルからの蒸留を必要とせず,手動のアノテーションも必要とせず,既存のICW IF能力も必要としない自己完結型2段階訓練法を提案する。
  論文  参考訳（メタデータ） (2026-08-29T03:42:28Z)
• Mismatch Matters: On-Policy Distillation Beyond Token Agreement [27.396104103072844]
  ミスマッチトークンは,主に学生不足トークンと学生不足トークンの2種類に分類される。 そこで本研究では,有界ヘリンジャー成形法を応用し,最も重大なサンプル過剰を抑えるためのTIDEと,欠陥のある確率質量を復元するための分析教師の上位K$インジェクションを提案する。
  論文  参考訳（メタデータ） (2026-08-10T16:53:14Z)
• Visual Contrastive Self-Distillation [61.298159957622886]
  本稿では,視覚的コントラスト自己蒸留法を提案する。 これと対照的に,本研究では,教師の具体的イメージ分布の明確化を図り,その結果のフルディストリビューション目標を学生に蒸留する。
  論文  参考訳（メタデータ） (2026-07-23T17:37:37Z)
• ADS-C: Antidistillation Sampling for Classification [1.1458853556386797]
  大規模言語モデルでは, 消毒サンプリングが提案されている。 我々は,その行動が教師一人当たりの信頼率の分布によって支配されていることを示す。 ADS-C法は, 実用コストが全くゼロな分類法としては, 初めての抗蒸留防御法である。
  論文  参考訳（メタデータ） (2026-07-16T21:33:37Z)
• DemoPSD: Disagreement-Modulated Policy Self-Distillation [49.30809363804017]
  大規模言語モデルを訓練するための実践的な方法として、オンデマンド自己蒸留が登場している。 DemoPSDは、教師と生徒の分布の重み付けされた幾何学的組み合わせに向けて学生を操縦する。
  論文  参考訳（メタデータ） (2026-07-02T17:58:29Z)
• Benchmarking Federated Learning and Knowledge Distillation for Point Cloud Classification [5.584060970507507]
  本稿では,3次元点雲分類のための連成学習(FL)と知識蒸留(KD)を併用して評価する。 13のFLアルゴリズムと10のKD目標(130対のクロスプロダクト)を504のトレーニング実行に当てはめ、ModelNet40と臨床クラニオシノスタシスデータセットで評価されている。
  論文  参考訳（メタデータ） (2026-06-30T20:12:27Z)
• Your Teacher Can't Help You Here: Combating Supervision Fidelity Decay in On-Policy Distillation [81.10000755917712]
  オンライン蒸留は,教師からのトークンレベルのフィードバックを用いて,学生モデルを自作の軌道上で訓練することにより,推論能力を伝達する。 生徒が生成した接頭辞が長くなるにつれて、教師の次点の分布は自信を減らし、差別性が低下する。 SFDを緩和するため, textbfLookahead Group Reward (ours) を導入する。
  論文  参考訳（メタデータ） (2026-05-29T04:39:20Z)
• Anti-Self-Distillation for Reasoning RL via Pointwise Mutual Information [22.436966302243565]
  本稿では,学生と教師の相違を増す反自己蒸留法を提案する。 AntiSDはGRPOベースラインの精度を2倍から10倍にし、最終精度を最大11.5ポイント向上させる。
  論文  参考訳（メタデータ） (2026-05-12T06:40:43Z)
• DistillGuard: Evaluating Defenses Against LLM Knowledge Distillation [5.647839536820347]
  我々は,3つの防衛カテゴリー – 出力摂動,データ中毒,情報スロットリング – の分類を導入する。 教師としてQwen3-14B,学生としてQwen2.5-7B-インストラクトを用いた標準化パイプラインを用いて,9つの防御構成を評価する。 以上の結果から,ナイーブ攻撃に対する同種の蒸留処理では,ほとんどの出力レベル防衛は驚くほど効果がないことが明らかとなった。
  論文  参考訳（メタデータ） (2026-03-08T22:38:30Z)
• Entropy-Aware On-Policy Distillation of Language Models [36.60992451188347]
  エントロピーを意識したオン・ポリシィ蒸留について紹介する。 我々のキーとなる考え方は、教師のエントロピーが高い場合、標準逆KL目標を前方KLに増強することである。 モデム探索精度とモデム探索精度のバランスを保ち、モデムの訓練効率を犠牲にしない。
  論文  参考訳（メタデータ） (2026-03-07T07:26:18Z)
• Character-Level Perturbations Disrupt LLM Watermarks [64.60090923837701]
  我々は,Large Language Model (LLM)ウォーターマーキングのためのシステムモデルを定式化する。 我々は、透かし検出器への限られたアクセスに制約された2つの現実的な脅威モデルの特徴付けを行う。 我々は,最も制限的な脅威モデルの下で,キャラクタレベルの摂動が透かし除去に著しく有効であることを実証した。 現実的な制約下での透かし除去における文字レベルの摂動の優位性と遺伝的アルゴリズム(GA)の有効性を実験的に検証した。
  論文  参考訳（メタデータ） (2025-09-11T02:50:07Z)
• Can LLM Watermarks Robustly Prevent Unauthorized Knowledge Distillation? [75.99961894619986]
  本稿では,学生モデルが知識蒸留により,透かしの継承を回避しつつ,教師モデルの能力を獲得することができるかどうかを考察する。 本稿では,未ターゲットおよび目標とするトレーニングデータパラフレージング(UP,TP)による蒸留前除去と,推論時透かし中和(WN)による蒸留後除去の2つのカテゴリを提案する。
  論文  参考訳（メタデータ） (2025-02-17T09:34:19Z)
• Lazy Layers to Make Fine-Tuned Diffusion Models More Traceable [70.77600345240867]
  新たな任意の任意配置(AIAO)戦略は、微調整による除去に耐性を持たせる。 拡散モデルの入力/出力空間のバックドアを設計する既存の手法とは異なり,本手法では,サンプルサブパスの特徴空間にバックドアを埋め込む方法を提案する。 MS-COCO,AFHQ,LSUN,CUB-200,DreamBoothの各データセットに関する実証研究により,AIAOの堅牢性が確認された。
  論文  参考訳（メタデータ） (2024-05-01T12:03:39Z)
• Deep Partition Aggregation: Provable Defense against General Poisoning Attacks [136.79415677706612]
  アドリアリン中毒は、分類器の試験時間挙動を損なうために訓練データを歪ませる。 毒殺攻撃に対する2つの新たな防御策を提案する。 DPAは一般的な中毒脅威モデルに対する認証された防御である。 SS-DPAはラベルフリップ攻撃に対する認証された防御である。
  論文  参考訳（メタデータ） (2020-06-26T03:16:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。