論文の概要: SEAL: Reinforcing Global Safety in Mixture-of-Experts through Shared Expert ALignment

• arxiv url: http://arxiv.org/abs/2609.02293v1
• Date: Wed, 02 Sep 2026 08:40:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-03 17:53:18.203742
• Title: SEAL: Reinforcing Global Safety in Mixture-of-Experts through Shared Expert ALignment
• Title（参考訳）: SEAL: エキスパートアライメントの共有を通じて, 専門家の混在によるグローバル安全性の強化
• Abstract要約: Mixture-of-Experts (MoE)は,トークン単位のエキスパートモジュールの小さなサブセットのみを活性化する,大規模言語モデルのスケーリングアーキテクチャである。 提案するSEAL++は,訓練中に既存の安全部分空間を保持する制約を付加した変種である。
• 参考スコア（独自算出の注目度）: 9.53619777519017
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mixture-of-Experts (MoE) is a scaling architecture for large language models that activates only a small subset of expert modules per token, enabling massive parameter growth with nearly constant computation. Recent Hybrid MoE architecture adds \textit{shared experts} to capture consistently useful representations, further improving stability and generalization. MoE now powers many flagship open-source and commercial models, yet remains vulnerable to adversarial attacks. Specifically, sparse routing introduces a structural vulnerability: MoE safety hinges on which experts are activated, and adversaries can subvert this selection through jailbreak prompts, malicious fine-tuning, and weight-level pruning of safety-critical neurons. Existing defenses primarily focus on hardening the router, but an adversary may still manipulate or bypass the routing trajectory due to the routing process's nondeterministic nature, thereby collapsing the defense. To cope with this problem, we first identify theoretically and empirically that shared expert, an always-activated component containing a small proportion of safety-critical neurons, can overcome the uncertainty of sparsely activated routing path and serve as a router-independent anchor to enhance global safety alignment. Based on this insight, we propose SEAL, a training-time parameter-efficient defense that produces a plug-and-play adapter attached to shared expert, and SEAL++, a variant that adds an orthogonal constraint preserving pre-existing safety subspaces during training. We evaluate SEAL and SEAL++ across six attack scenarios that combine three adversarial inputs (harmful prompting, jailbreak, malicious fine-tuning) with and without neuron pruning. SEAL reduces attack success rate (ASR) by up to 60\%, at a capability cost of at most 1.4\% on a five-benchmark average. Additionally, SEAL can seamlessly integrate with router-level ......
• Abstract（参考訳）: Mixture-of-Experts (MoE) は大規模言語モデルのスケーリングアーキテクチャであり、トークン当たりのエキスパートモジュールの小さなサブセットのみを活性化し、ほぼ一定の計算で大規模なパラメータ成長を可能にする。 最近のHybrid MoEアーキテクチャでは、一貫した有用な表現をキャプチャし、安定性と一般化をさらに改善するために、textit{shared experts} が追加されている。 MoEは現在、多くの主要なオープンソースおよび商用モデルを動かしているが、敵の攻撃に弱いままである。 専門家がアクティベートされたMoEの安全ヒンジは、ジェイルブレイクのプロンプト、悪意のある微調整、安全クリティカルニューロンの重量レベルのプルーニングを通じて、敵がこの選択を覆すことができる。 既存の防御は主にルータの硬化に重点を置いているが、ルーティングプロセスの非決定論的性質のため、敵はルーティングの軌道を操作またはバイパスし、防御を崩壊させる。 この問題に対処するために、我々はまず、少数の安全クリティカルニューロンを含む常時活性化されたコンポーネントである共有専門家が、疎活性化されたルーティングパスの不確実性を克服し、グローバルな安全アライメントを高めるためにルータ非依存アンカーとして機能できることを理論的かつ実証的に特定する。 この知見に基づいて、共有専門家に付属するプラグアンドプレイアダプタを生成する訓練時パラメータ効率の高いディフェンスであるSEALと、トレーニング中に既存の安全部分空間を保存する直交制約を追加する変種であるSEAL++を提案する。 SEALとSEAL++は3つの敵入力(有害なプロンプト、ジェイルブレイク、悪意のある微調整)とニューロン切断を併用した6つの攻撃シナリオで評価した。 SEALは、アタック成功率(ASR)を最大60\%削減し、5ベンチマーク平均で少なくとも1.4\%の能力コストがかかる。 さらに、SEALはルータレベルとシームレスに統合することができます。

関連論文リスト

• Misrouter: Exploiting Routing Mechanisms for Input-Only Attacks on Mixture-of-Experts LLMs [26.925535006021402]
  Mixture-of-Experts (MoE)アーキテクチャは、疎結合なルーティングベースの計算によって、大規模言語モデルをスケールするための主要なパラダイムとして登場した。 MoEルーティングは、入力のみの攻撃によって、現実世界のサービスにおいてより強力な安全でない振る舞いを引き起こすことができる。 そこで我々はMisrouterを提案する。Misrouterは入力のみの攻撃フレームワークで、ルーティング動作とエキスパート機能の共同ターゲットである。
  論文  参考訳（メタデータ） (2026-05-06T03:21:38Z)
• RouteHijack: Routing-Aware Attack on Mixture-of-Experts LLMs [9.24144060095413]
  RouteHijackは、大規模言語モデル(LLM)のためのルーティング対応のジェイルブレイクである。 RouteHijackは、安全クリティカルで有害な専門家を特定するために、応答駆動のエキスパートローカライゼーションを実行する。 次に、安全の専門家を抑圧し、有害な専門家を奨励し、早期の拒絶を防ぐルーティング対応の目的で、敵の接尾辞を構築する。
  論文  参考訳（メタデータ） (2026-05-01T11:54:55Z)
• TwinGate: Stateful Defense against Decompositional Jailbreaks in Untraceable Traffic via Asymmetric Contrastive Learning [60.68349524623048]
  分解されたジェイルブレイクは、大きな言語モデルにとって重大な脅威となる。 我々はステートフルなデュアルエンコーダ防御フレームワークであるTwinGateを紹介する。 我々は、8600の異なる悪意のある意図にまたがる360万以上の命令の包括的なデータセットを構築した。
  論文  参考訳（メタデータ） (2026-04-30T13:44:01Z)
• Sparse Models, Sparse Safety: Unsafe Routes in Mixture-of-Experts LLMs [20.93386462211096]
  コンバレーション・オブ・エキスパート(MoE)アーキテクチャは、大規模言語モデルの計算コストを大幅に削減する。 しかし、以前の作業は主に実用性と効率に重点を置いており、このスパースアーキテクチャに関連する安全性のリスクは過小評価されている。 安全でないルートを発見することで,MoE LLMの安全性はアーキテクチャと同じくらい疎いことを示す。
  論文  参考訳（メタデータ） (2026-02-09T13:12:54Z)
• SEMA: Simple yet Effective Learning for Multi-Turn Jailbreak Attacks [53.97948802255959]
  本稿では,既存の戦略や外部データに頼ることなく,マルチターン攻撃者を訓練するフレームワークを提案する。 準備された自己調整は、非拒否的で、よく構造化された、多ターンの逆のプロンプトを微調整することで、使用可能なロールアウトを可能にする。 私たちは、意図の整合性、コンプライアンスリスク、詳細レベルを組み合わせたインテントドリフト対応の報酬を通じて、多ターンジェイルブレイクにおける有害な意図を保ちます。
  論文  参考訳（メタデータ） (2026-02-06T16:44:57Z)
• Attributing and Exploiting Safety Vectors through Global Optimization in Large Language Models [50.91504059485288]
  本報告では,全頭部のグローバルな最適化により,安全クリティカルな注意点を同時に識別するフレームワークを提案する。 我々は,アクティベーション・リマッチによって同定された安全ベクトルを利用する,新しい推論時ホワイトボックス・ジェイルブレイク法を開発した。
  論文  参考訳（メタデータ） (2026-01-22T09:32:43Z)
• FAROS: Robust Federated Learning with Adaptive Scaling against Backdoor Attacks [9.466036066320946]
  バックドア攻撃は連邦学習(FL)に重大な脅威をもたらす 適応微分スケーリング(ADS)とロバストコアセットコンピューティング(RCC)を組み合わせた拡張FLフレームワークであるFAROSを提案する。 RCCは、最も信頼性の高いクライアントからなるコアセットのセントロイドを計算することで、単一ポイント障害のリスクを効果的に軽減する。
  論文  参考訳（メタデータ） (2026-01-05T06:55:35Z)
• The Trojan Knowledge: Bypassing Commercial LLM Guardrails via Harmless Prompt Weaving and Adaptive Tree Search [58.8834056209347]
  大規模言語モデル(LLM)は、有害な出力を誘導するために安全ガードレールをバイパスするジェイルブレイク攻撃に弱いままである。 CKA-Agent(Correlated Knowledge Attack Agent)は、ターゲットモデルの知識基盤の適応的木構造探索としてジェイルブレイクを再構成する動的フレームワークである。
  論文  参考訳（メタデータ） (2025-12-01T07:05:23Z)
• How Robust Are Router-LLMs? Analysis of the Fragility of LLM Routing Capabilities [62.474732677086855]
  大規模言語モデル(LLM)ルーティングは,計算コストと性能のバランスをとる上で重要な戦略である。 DSCベンチマークを提案する: Diverse, Simple, and Categorizedは、幅広いクエリタイプでルータのパフォーマンスを分類する評価フレームワークである。
  論文  参考訳（メタデータ） (2025-03-20T19:52:30Z)
• A Self-supervised Approach for Adversarial Robustness [105.88250594033053]
  敵対的な例は、ディープニューラルネットワーク(DNN)ベースの視覚システムにおいて破滅的な誤りを引き起こす可能性がある。 本稿では,入力空間における自己教師型対向学習機構を提案する。 これは、反逆攻撃に対する強力な堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-06-08T20:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。