論文の概要: Exploiting the Experts: Unauthorized Compression in MoE-LLMs

• arxiv url: http://arxiv.org/abs/2511.19480v1
• Date: Sat, 22 Nov 2025 20:08:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-26 17:37:04.025925
• Title: Exploiting the Experts: Unauthorized Compression in MoE-LLMs
• Title（参考訳）: 専門家の爆発: MoE-LLM における無許可圧縮
• Authors: Pinaki Prasad Guha Neogi, Ahmad Mohammadshirazi, Dheeraj Kulshrestha, Rajiv Ramnath,
• Abstract要約: タスク固有の使用条件下でのMoE-LLMの刈取性について検討した。 我々は,MoEモデルを許可なく圧縮・微調整しにくくすることを目的とした防衛戦略を提案する。
• 参考スコア（独自算出の注目度）: 1.580774794371876
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mixture-of-Experts (MoE) architectures are increasingly adopted in large language models (LLMs) for their scalability and efficiency. However, their modular structure introduces a unique vulnerability: adversaries can attempt to compress or repurpose models by pruning experts and cheaply fine-tuning the remainder, effectively bypassing licensing and security constraints. In this paper, we systematically study the prunability of MoE-LLMs under task-specific usage. We first develop an expert attribution framework that identifies the subset of experts most responsible for a given task, then evaluate the performance trade-offs of pruning and re-aligning these experts using active learning-driven fine-tuning. Our findings reveal a critical knowledge loss--recovery trade-off: while certain experts can be isolated to retain task accuracy, significant degradation occurs without targeted re-alignment. Based on this analysis, we propose defense strategies that aim to make MoE models harder to compress and fine-tune without authorization, including entangled expert training and selective fine-tuning protocols that resist unauthorized adaptation. By positioning expert pruning as both a threat vector and a defense target, this work highlights the dual-use nature of MoE modularity and provides the first systematic evaluation framework for secure specialization of MoE-LLMs.
• Abstract（参考訳）: Mixture-of-Experts (MoE)アーキテクチャは、スケーラビリティと効率性のために、大規模言語モデル(LLM)でますます採用されている。 しかし、彼らのモジュラ構造にはユニークな脆弱性がある: 敵は専門家を搾取し、残りを安価に微調整することでモデルを圧縮または再利用しようと試み、事実上ライセンスとセキュリティの制約を回避できる。 本稿では,タスク固有の使用条件下でのMoE-LLMの実用性について系統的に検討する。 まず、与えられたタスクに対して最も責任を負う専門家のサブセットを識別する専門家帰属フレームワークを開発し、その後、アクティブな学習駆動の微調整を用いてこれらの専門家の育成と調整のパフォーマンストレードオフを評価する。 特定の専門家はタスクの正確性を維持するために隔離できるが、目標の再調整なしに重大な劣化が発生する。 この分析に基づき、我々は、専門家訓練の絡み合いや、不正適応に抵抗する選択的微調整プロトコルを含む、MoEモデルを許可なく圧縮・微調整しにくくすることを目的とした防衛戦略を提案する。 脅威ベクトルと防御目標の両方として専門家プルーニングを配置することにより、MoEモジュールのデュアルユース性を強調し、MoE-LLMのセキュアな特殊化のための最初の体系的評価フレームワークを提供する。

関連論文リスト

• Beyond Redundancy: Diverse and Specialized Multi-Expert Sparse Autoencoder [59.89996751196727]
  スパースオートエンコーダ(SAE)は、大規模な言語モデルを解釈するための強力なツールとして登場した。 SAEの隠蔽層は、空間的制約を満たすために高い次元性を持ち、結果として禁止的なトレーニングと推論コストをもたらす。 近年のMixture of Experts (MoE) アプローチは、SAEsによってゲートアクティベーションを持つより狭い専門家ネットワークにこの問題に対処しようとしている。 本稿では,(1)専門化を促進するために意味的に重み付けされた専門家サブセットを同時に関与する複数の専門家活性化,(2)適応的な高周波スケーリングによって多様性を高める特徴スケーリングという2つの重要なイノベーションを提案する。
  論文  参考訳（メタデータ） (2025-11-07T22:19:34Z)
• Advancing Expert Specialization for Better MoE [22.88847592702946]
  Mixture-of-Experts (MoE)モデルは、入力毎に専門家のサブセットだけを活性化することにより、大きな言語モデル(LLM)の効率的なスケーリングを可能にする。 一般的に使用される補助負荷分散損失は、しばしば専門家の重複と過度に均一なルーティングをもたらす。 本稿では,2つの相補的目的を取り入れた,シンプルで効果的な解を提案する。
  論文  参考訳（メタデータ） (2025-05-28T13:09:47Z)
• BadMoE: Backdooring Mixture-of-Experts LLMs via Optimizing Routing Triggers and Infecting Dormant Experts [12.755458703336153]
  Mixture-of-Experts (MoE)は、大規模言語モデル(LLM)のための強力なアーキテクチャとして登場した。 本稿は、攻撃者が休眠専門家に毒を盛るMOEベースのLDMに対する最初のバックドア攻撃について述べる。 また、モデルの予測を操作するために、休眠の専門家が支配的な専門家として機能することを示します。
  論文  参考訳（メタデータ） (2025-04-24T16:42:38Z)
• Finding Fantastic Experts in MoEs: A Unified Study for Expert Dropping Strategies and Observations [86.90549830760513]
  わずかに活性化されたMixture-of-Experts(SMoE)は、ニューラルネットワークの学習能力のスケールアップを約束している。 多様な視点から専門家の重要度を推定するためのベンチマークとして,MoE Experts Compression Suite (MC-Suite)を提案する。 我々は,SMoEsの指示追従能力が主に損なわれるという,実験的に検証された予想を提示する。
  論文  参考訳（メタデータ） (2025-04-08T00:49:08Z)
• A Provably Effective Method for Pruning Experts in Fine-tuned Sparse Mixture-of-Experts [49.394145046409044]
  本論文は,MoEモデルにおけるエキスパートの刈り取りに有効な手法として,初めて提案するものである。 理論的には、事前訓練されたモデルからルータl2ノルムを小さく変更することで、専門家のプルーニングを優先順位付けすることで、テスト精度の維持が保証される。 我々の理論解析は、単純化されたMoEアーキテクチャ上でのバイナリ分類タスクに重点を置いているが、我々の専門的なプルーニング手法は、大きな視覚的MoEモデルに基づいて検証されている。
  論文  参考訳（メタデータ） (2024-05-26T17:52:58Z)
• Mixture of insighTful Experts (MoTE): The Synergy of Thought Chains and Expert Mixtures in Self-Alignment [103.05005690990271]
  MoTE(Mixture of insightful Experts)は、推論チェーンとエキスパートミックスを組み合わせて自己調整を改善する新しいフレームワークである。 MoTEはモデルの安全性、脱獄耐性、過剰な拒否機能を大幅に改善し、OpenAIの最先端のo1モデルに匹敵するパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-05-01T15:06:05Z)
• SEER-MoE: Sparse Expert Efficiency through Regularization for Mixture-of-Experts [49.01990048827639]
  本稿では,事前学習したMoEモデルのメモリフットプリントと計算要求の両方を削減するためのフレームワークSEER-MoEを紹介する。 第1段階では、ヘビーヒッターズカウントガイダンスを使用して専門家の総数を計算し、第2段階では、正則化に基づく微調整戦略を使用して精度の低下を回復する。 実験により,提案手法の有効性を実証し,精度のトレードオフを最小限に抑えた推論効率に最適化したMoEsモデルを試作した。
  論文  参考訳（メタデータ） (2024-04-07T22:13:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。