論文の概要: Poster: A Preliminary Study of LLM Distillation Inference

• arxiv url: http://arxiv.org/abs/2610.12137v1
• Date: Thu, 08 Oct 2026 15:24:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:54.11679
• Title: Poster: A Preliminary Study of LLM Distillation Inference
• Title（参考訳）: Poster: LLM蒸留推論の予備的研究
• Abstract要約: 無認可のモデル蒸留は、モデル提供者に対する脅威が増大している。 被疑者モデルが他のモデルから蒸留されたか、個別に訓練されたかを判断する蒸留推定法について検討した。
• 参考スコア（独自算出の注目度）: 2.4280692806625193
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Unauthorized model distillation, in which a model is trained on the outputs of a proprietary large language model (LLM), is a growing threat to model providers. We study distillation inference: determining whether a suspect model was distilled from another model or trained independently. We formulate this problem as a hypothesis test and estimate the behavior expected under each hypothesis by training shadow models: distilled shadow models learn from the teacher's reasoning traces, whereas independent shadow models learn only from reference answers. The auditor measures how closely each model predicts the teacher's reasoning outputs and then uses the shadow models to convert the suspect's score into a calibrated p-value. In a preliminary study using Qwen2.5-7B as the teacher and Llama-3.2-3B for the suspects, our test achieves a true positive rate of 1.0 at a significance level of 0.02. These results demonstrate the feasibility of using distillation inference to detect distillation attacks.
• Abstract（参考訳）: プロプライエタリな大規模言語モデル(LLM)の出力に基づいてモデルを訓練する無認可モデル蒸留は、モデル提供者に対する脅威が増大する。 被疑者モデルが他のモデルから蒸留されたか、個別に訓練されたかを判断する蒸留推定法について検討した。 我々は,この問題を仮説テストとして定式化し,各仮説の下で期待される振る舞いをシャドウモデルの訓練により推定する:蒸留シャドウモデルは教師の推論トレースから学習するが,独立したシャドウモデルは参照回答からのみ学習する。 監査者は、各モデルが教師の推論出力をどの程度正確に予測するかを測定し、それからシャドーモデルを使用して被疑者のスコアを校正されたp値に変換する。 Qwen2.5-7B を教師として,Llama-3.2-3B を被疑者に使用した予備的研究において,本試験は真正の 1.0 を 0.02 の有意値で達成した。 これらの結果から, 蒸留法による蒸留攻撃の検出の可能性が確認された。

関連論文リスト

• Reference-Based Distillation Detection in LLMs [17.877444310396758]
  本稿では,参照型メンバシップ推論に基づく蒸留検出手法を提案する。 制御された蒸留実験と実世界のモデルの両方にまたがるハイブリッド評価を開発した。 この手法を現代モデルに適用すると、QwQ、DeepSeek-R1、GPT-OSSを含む蒸留関係に関する新たな証拠が得られる。
  論文  参考訳（メタデータ） (2026-06-19T06:59:19Z)
• Planted in Pretraining, Swayed by Finetuning: A Case Study on the Origins of Cognitive Biases in LLMs [51.00909549291524]
  大型言語モデル(LLM)は認知バイアスを示す。 これらのバイアスはモデルによって異なり、命令チューニングによって増幅することができる。 これらのバイアスの違いが事前学習、微調整、あるいはランダムノイズに起因するかどうかは不明だ。
  論文  参考訳（メタデータ） (2025-07-09T18:01:14Z)
• Independence Tests for Language Models [47.0749292650885]
  2つのモデルの重みを考えると、独立してトレーニングされたかどうかテストできますか? 制約付きと制約なしの2つの設定を検討します。 本稿では,2つのモデル間の隠れアクティベーションに一致し,逆変換やモデルアーキテクチャの変更に対して堅牢な新しいテストを提案する。
  論文  参考訳（メタデータ） (2025-02-17T20:01:08Z)
• Training on the Test Model: Contamination in Ranking Distillation [14.753216172912968]
  蒸留における汚染された教師モデルの効果について検討する。 教師のトレーニングサンプルのごく一部を表すテストデータであっても,汚染が生じることが判明した。
  論文  参考訳（メタデータ） (2024-11-04T17:11:14Z)
• A Generic Approach for Reproducible Model Distillation [2.457924087844968]
  平均損失に対する中心極限定理に基づく安定モデル蒸留のための汎用的アプローチを開発する。 提案手法を、決定木、転倒規則リスト、記号回帰という3つのよく使われる無知モデルに適用する。
  論文  参考訳（メタデータ） (2022-11-22T23:38:02Z)
• Explain, Edit, and Understand: Rethinking User Study Design for Evaluating Model Explanations [97.91630330328815]
  我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。 単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-12-17T18:29:56Z)
• Positive-Congruent Training: Towards Regression-Free Model Updates [87.25247195148187]
  画像分類において、サンプルワイドの不整合は「負のフリップ」として現れる 新しいモデルは、古い(参照)モデルによって正しく分類されたテストサンプルの出力を誤って予測する。 そこで本研究では,PC トレーニングのための簡易なアプローチである Focal Distillation を提案する。
  論文  参考訳（メタデータ） (2020-11-18T09:00:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。