論文の概要: Leave It to the Experts: Detecting Knowledge Distillation via MoE Expert Signatures

• arxiv url: http://arxiv.org/abs/2510.16968v1
• Date: Sun, 19 Oct 2025 19:15:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 00:56:39.226999
• Title: Leave It to the Experts: Detecting Knowledge Distillation via MoE Expert Signatures
• Title（参考訳）: 専門家に任せて - MoEエキスパート署名による知識蒸留の検出
• Authors: Pingzhi Li, Morris Yu-Chao Huang, Zhen Tan, Qingquan Song, Jie Peng, Kai Zou, Yu Cheng, Kaidi Xu, Tianlong Chen,
• Abstract要約: 知識蒸留(KD)は、大規模言語モデルの訓練を加速するが、知的財産保護と多様性リスクを引き起こす。 我々は、見過ごされた信号、すなわちMoEの「構造的習慣」の転送を利用して、ホワイトボックスとブラックボックスの設定の両方に有効なKD検出フレームワークを提案する。 提案手法は, 様々な入力に対して異なる専門家がどのように協力し, 蒸留プロセスを通じて持続する特異な指紋を生成するかを分析する。
• 参考スコア（独自算出の注目度）: 57.98221536489363
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge Distillation (KD) accelerates training of large language models (LLMs) but poses intellectual property protection and LLM diversity risks. Existing KD detection methods based on self-identity or output similarity can be easily evaded through prompt engineering. We present a KD detection framework effective in both white-box and black-box settings by exploiting an overlooked signal: the transfer of MoE "structural habits", especially internal routing patterns. Our approach analyzes how different experts specialize and collaborate across various inputs, creating distinctive fingerprints that persist through the distillation process. To extend beyond the white-box setup and MoE architectures, we further propose Shadow-MoE, a black-box method that constructs proxy MoE representations via auxiliary distillation to compare these patterns between arbitrary model pairs. We establish a comprehensive, reproducible benchmark that offers diverse distilled checkpoints and an extensible framework to facilitate future research. Extensive experiments demonstrate >94% detection accuracy across various scenarios and strong robustness to prompt-based evasion, outperforming existing baselines while highlighting the structural habits transfer in LLMs.
• Abstract（参考訳）: 知識蒸留(KD)は、大規模言語モデルの訓練を加速するが、知的財産保護とLLMの多様性リスクを引き起こす。 自己同一性や出力類似性に基づく既存のKD検出手法は、迅速なエンジニアリングによって容易に回避できる。 我々は、見過ごされた信号、特に内部ルーティングパターンの移動を生かして、ホワイトボックスとブラックボックスの設定の両方に有効なKD検出フレームワークを提案する。 提案手法は, 様々な入力に対して異なる専門家がどのように協力し, 蒸留プロセスを通じて持続する特異な指紋を生成するかを分析する。 さらに,White-boxのセットアップやMoEアーキテクチャを超えて,補助蒸留によりプロキシMoE表現を構築し,任意のモデルペア間でこれらのパターンを比較するブラックボックス手法であるShadow-MoEを提案する。 我々は、様々な蒸留チェックポイントと将来の研究を促進する拡張可能なフレームワークを提供する包括的で再現可能なベンチマークを確立する。 広範囲な実験では、様々なシナリオにわたる検出精度が94%以上であり、プロンプトベースの回避に対する強い堅牢性を示し、LLMの構造的習慣の伝達を強調しながら、既存のベースラインを上回っている。

関連論文リスト

• Dynamic Experts Search: Enhancing Reasoning in Mixture-of-Experts LLMs at Test Time [35.31371938688921]
  テスト時間スケーリング(TTS)は、推論中にさらなる計算を割り当てることで、大規模言語モデル(LLM)の推論能力を高める。 本稿では,エキスパートアクティベーションを検索空間の制御可能な次元に高めるTTS戦略であるDynamic Experts Search (DES)を提案する。
  論文  参考訳（メタデータ） (2025-09-26T16:49:10Z)
• RouteMark: A Fingerprint for Intellectual Property Attribution in Routing-based Model Merging [69.2230254959204]
  我々は,統合されたMoEモデルにおけるIP保護のためのフレームワークであるRouteMarkを提案する。 我々の重要な洞察は、タスク固有の専門家は、探索入力の下で安定かつ独特なルーティング行動を示すことである。 属性と改ざん検出のために,類似性に基づくマッチングアルゴリズムを導入する。
  論文  参考訳（メタデータ） (2025-08-03T14:51:58Z)
• ViMoE: An Empirical Study of Designing Vision Mixture-of-Experts [71.11994027685974]
  我々は、MoE構造をViT(Vision Transformer)に統合し、ViMoEと命名し、MoEを視覚に適用する可能性を探る。 性能はMoE層の構成に敏感であり,設計を慎重に行わずに最適な結果を得ることが困難である。 これを解決するために、共有専門家を導入し、共通情報を学習し、取得し、安定したViMoEを構築する効果的な方法として役立てる。
  論文  参考訳（メタデータ） (2024-10-21T07:51:17Z)
• A Survey on Knowledge Distillation of Large Language Models [99.11900233108487]
  知識蒸留(KD)は、高度な能力をオープンソースモデルに転送するための重要な方法論である。 本稿では,大規模言語モデル(LLM)の領域におけるKDの役割を包括的に調査する。
  論文  参考訳（メタデータ） (2024-02-20T16:17:37Z)
• MoDE: A Mixture-of-Experts Model with Mutual Distillation among the Experts [15.535613294871487]
  我々はMixture-of-Distilled-Expert (MoDE) という手法を提案する。 MoDEは専門家の間で適度な相互蒸留を適用し、各専門家が他の専門家から学んだより多くの特徴を拾えるようにする。
  論文  参考訳（メタデータ） (2024-01-31T03:52:32Z)
• Distilling Privileged Multimodal Information for Expression Recognition using Optimal Transport [46.91791643660991]
  マルチモーダル表現認識のための深層学習モデルは, 制御された実験室環境において顕著な性能を示した。 これらのモデルは、トレーニングに使用されるモダリティの可用性と品質のために、荒野で苦労する。 実際には、テスト時に利用できるのはトレーニング時モダリティのサブセットのみである。 特権情報による学習により、モデルはトレーニング中にのみ利用できる追加のモダリティからデータを利用することができる。
  論文  参考訳（メタデータ） (2024-01-27T19:44:15Z)
• Model-Agnostic Few-Shot Open-Set Recognition [36.97433312193586]
  我々はFew-Shot Open-Set Recognition (FSOSR) 問題に取り組む。 既存のモデルにプラグイン可能なモデルに依存しない推論手法の開発に注力する。 オープン・セット・トランスダクティブ・インフォメーション・最大化手法OSTIMを提案する。
  論文  参考訳（メタデータ） (2022-06-18T16:27:59Z)
• Hands-on Guidance for Distilling Object Detectors [11.856477599768773]
  本手法は, より包括的な監視を行うため, 全ステージ特徴の潜伏した知識を抽出する。 VOCおよびCOCOデータセット上の異なる蒸留構成で広範な評価を行い、精度と速度のトレードオフのパフォーマンスを向上させます。
  論文  参考訳（メタデータ） (2021-03-26T09:00:23Z)
• Learning From Multiple Experts: Self-paced Knowledge Distillation for Long-tailed Classification [106.08067870620218]
  我々は,LFME(Learning From Multiple Experts)と呼ばれる自己評価型知識蒸留フレームワークを提案する。 提案するLFMEフレームワークは,複数の'Experts'からの知識を集約して,統一された学生モデルを学ぶ。 提案手法は,最先端の手法に比べて優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-01-06T12:57:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。