Fugu-MT 論文翻訳(概要): Characterizing Recoverable Expert-Utilization Signatures in Fine-Tuned Mixture-of-Experts LLMs

論文の概要: Characterizing Recoverable Expert-Utilization Signatures in Fine-Tuned Mixture-of-Experts LLMs

arxiv url: http://arxiv.org/abs/2610.41039v1
Date: Thu, 29 Oct 2026 22:30:02 GMT
ステータス: 翻訳完了
システム内更新日: 2026-11-02 22:05:31.508916
Title: Characterizing Recoverable Expert-Utilization Signatures in Fine-Tuned Mixture-of-Experts LLMs
Title（参考訳）: 微調整混合LLMにおける回収可能なエキスパート利用信号の特性評価
Abstract要約: 我々は,Mixture-of-Experts (MoE) 大規模言語モデルが分散環境にますますデプロイされていることを示す。構造記憶とは、微調整されたモデルがトレーニングデータだけでなく、その処理に使用される内部経路も記憶する新たな脆弱性である。これらの記憶されたエキスパートパスは、モデルが無条件に生成することで、密かに復元可能であることを示す。
参考スコア（独自算出の注目度）: 31.83021899615005
License: http://creativecommons.org/licenses/by/4.0/
Abstract: As Mixture-of-Experts (MoE) large language models are increasingly deployed in distributed environments, from federated learning to edge-cloud systems, their architecture harbors an underexplored landscape of security vulnerabilities. Moving beyond textual analysis, we uncover structural memorization: a novel vulnerability where a fine-tuned model memorizes not only its training data but also the internal pathway used to process it, creating a characteristic routing fingerprint unique to the training process. We provide comprehensive empirical evidence that structural memorization emerges consistently even from a few samples, and that its intensity is directly influenced by the choice of trainable modules. We show that these memorized expert pathways can be stealthily recovered through the model's unconditional generation, using only routing and output logits, with no knowledge of the fine-tuning data or procedure. In distributed deployments, this vulnerability is amplified as routing information is exposed at multiple trust boundaries, including federated aggregation points, edge-cloud interfaces, and multi-tenant monitoring systems. Recovery exposes a critical blind spot: traditional membership inference metrics, viewed through the lens of expert routing, fail to identify memorized data corresponding to these structural pathways. To close this gap, we devise composite metrics combining reference model tail likelihood with complexity-aware normalization, significantly improving detection of memorized routing structures. This enables adversaries to pinpoint critical experts shaped by fine-tuning, whether dominant or dormant, and execute targeted attacks such as router manipulation or backdoor injection in realistic distributed settings where attackers lack training data but can observe routing patterns across system components.
Abstract（参考訳）: Mixture-of-Experts(MoE)の大規模言語モデルは、フェデレーションラーニングからエッジクラウドシステムに至るまで、分散環境にますますデプロイされているため、彼らのアーキテクチャには、セキュリティ脆弱性の未調査の状況がある。微調整されたモデルがトレーニングデータだけでなく、その処理に使用される内部経路も記憶し、トレーニングプロセスに特有の特徴的なルーティング指紋を生成するという、新たな脆弱性です。いくつかのサンプルからでも構造記憶が一貫して現れ、その強度は訓練可能なモジュールの選択によって直接影響を受けるという総合的な実証的証拠を提供する。これらの記憶されたエキスパートパスは、ルーティングと出力ロジットのみを使用して、モデルの不条件生成を通じて、微調整されたデータや手順を知らずに、ステルス的に復元可能であることを示す。分散デプロイメントでは、この脆弱性は、フェデレーションアグリゲーションポイント、エッジクラウドインターフェース、マルチテナント監視システムを含む、ルーティング情報が複数の信頼境界で公開されていることで増幅される。従来のメンバシップ推論メトリクスは、エキスパートルーティングのレンズを通して見ることができ、これらの構造経路に対応する記憶されたデータを特定することができません。このギャップを埋めるために、参照モデル尾部確率と複雑性を考慮した正規化を組み合わせた複合メトリクスを考案し、記憶されたルーティング構造の検出を大幅に改善した。これにより、敵は、支配的であれ休息的であれ、微調整によって形成されたクリティカルエキスパートを特定でき、攻撃者がトレーニングデータを欠いているがシステムコンポーネント間のルーティングパターンを観察できる現実的な分散環境で、ルータ操作やバックドアインジェクションなどのターゲット攻撃を実行することができる。

論文の概要: Characterizing Recoverable Expert-Utilization Signatures in Fine-Tuned Mixture-of-Experts LLMs

関連論文リスト