論文の概要: SAFEx: Analyzing Vulnerabilities of MoE-Based LLMs via Stable Safety-critical Expert Identification

• arxiv url: http://arxiv.org/abs/2506.17368v2
• Date: Sun, 12 Oct 2025 14:51:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 15:48:08.849299
• Title: SAFEx: Analyzing Vulnerabilities of MoE-Based LLMs via Stable Safety-critical Expert Identification
• Title（参考訳）: SAFEx:安定安全クリティカルエキスパート同定によるMoE系LDMの脆弱性解析
• Authors: Zhenglin Lai, Mengyao Liao, Bingzhe Wu, Dong Xu, Zebin Zhao, Zhihang Yuan, Chao Fan, Jianqiang Li,
• Abstract要約: MoE固有の位置脆弱性の安全性リスクは、形式化され、体系的に分析される。 分析フレームワークであるSAFExは、安全クリティカルな専門家をしっかりと識別し、特徴付け、検証するために提示される。 専門家レベルの介入は因果関係を調査し、緩和をテストするために行われる。
• 参考スコア（独自算出の注目度）: 27.13765502389987
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models with Mixture-of-Experts (MoE) architectures achieve efficiency and scalability, yet their routing mechanisms introduce safety alignment challenges insufficiently addressed by techniques developed for dense models. In this work, the MoE-specific safety risk of positional vulnerability-that safety-aligned behaviors rely on specific expert modules-is formalized and systematically analyzed. An analytical framework, SAFEx, is presented to robustly identify, characterize, and validate safety-critical experts via a stability-based expert selection procedure, and to decompose them into two functional groups: the Harmful Content Detection Group (HCDG), which specializes in identifying and recognizing harmful content within user inputs, and the Harmful Response Control Group (HRCG), which specializes in controlling and enforcing model behaviors to generate appropriate safety responses. Expert-level interventions are conducted to probe causality and to test mitigation. Targeted masking of SAFEx-selected experts reveals that safety behavior is highly concentrated. On Qwen3-30B-A3B, configured with 48 MoE-FFN layers and 128 experts per layer under top-8 routing (48x128=6,144 experts in total), disabling 12 selected experts reduces the refusal rate by 22%. In addition, lightweight adaptation is performed using LoRA under three configurations-the HRCG, the union of HCDG and HRCG, and all experts-and the resulting updates are composed through negative weight merging targeted at the HRCG, leading to improved refusal under adversarial prompts without full-model retraining. These results establish positional vulnerability as a distinct MoE-specific safety challenge and provide a practical, compute-efficient pathway for expert-level safety interventions within routed architectures.
• Abstract（参考訳）: Mixture-of-Experts (MoE) アーキテクチャを持つ大規模言語モデルは効率とスケーラビリティを実現するが、それらのルーティング機構は、密集モデルのために開発された技術によって不十分に対処される安全アライメントの課題を提起する。 この研究では、特定の専門家モジュールに依存している位置的脆弱性のMoE固有の安全性リスクが、形式化され、体系的に分析される。 分析フレームワークであるSAFExは、安定性に基づく専門家選択手順を通じて安全クリティカルな専門家を堅牢に識別し、評価し、それらを2つの機能グループ(HCDG)に分解する。 専門家レベルの介入は因果関係を調査し、緩和をテストするために行われる。 SAFExが選択した専門家の標的マスクは、安全行動が高度に集中していることを明らかにする。 Qwen3-30B-A3Bでは、48のMoE-FFN層と1層あたり128のエキスパート(合計48x128=6,144のエキスパート)で構成されており、12人の選ばれた専門家が拒否率を22%削減している。 さらに, HRCG, HCDG, HRCGの3つの構成の下で, LoRAを用いた軽量適応を行い, HRCGを対象とする負の重み付けにより, フルモデル再トレーニングを伴わない対向的プロンプトによる拒絶の改善を図った。 これらの結果は、MoE固有の安全課題として位置脆弱性を確立し、ルーティングされたアーキテクチャ内の専門家レベルの安全介入のための実用的な計算効率の高い経路を提供する。

関連論文リスト

• Subtle Risks, Critical Failures: A Framework for Diagnosing Physical Safety of LLMs for Embodied Decision Making [31.555271917529872]
  本研究では,大規模言語モデル(LLM)の身体的安全性を体系的に評価するフレームワークであるSAFELを紹介する。 EMBODYGUARD は PDDL をベースとしたベンチマークであり,942 の LLM 生成シナリオで過度に悪意のある命令と文脈的に有害な命令の両方をカバーしている。 本稿は,現在のLLMにおける限界点を強調し,よりターゲットを絞った,よりモジュール化された,安全な具体的推論の基盤を提供する。
  論文  参考訳（メタデータ） (2025-05-26T13:01:14Z)
• Beyond Safe Answers: A Benchmark for Evaluating True Risk Awareness in Large Reasoning Models [29.569220030102986]
  textbfBeyond Safe Answers (BSA) ベンチは,3つの異なるSSAシナリオタイプに構成された2,000のチャレンジインスタンスからなる,新しいベンチマークである。 19の最先端のLEMの評価では、このベンチマークの難しさが示され、最高性能のモデルはリスクの合理性を正確に識別する上で、わずか38.0%の精度しか達成していない。 我々の研究は、LEMの安全性推論の忠実さを評価し改善するための総合的な評価ツールを提供し、真にリスクを意識し、確実に安全なAIシステムの開発を進める。
  論文  参考訳（メタデータ） (2025-05-26T08:49:19Z)
• Think in Safety: Unveiling and Mitigating Safety Alignment Collapse in Multimodal Large Reasoning Model [30.774446187857475]
  5つのベンチマークでMLRM(Multimodal Large Reasoning Model)11の安全性評価を行う。 分析の結果、異なるベンチマークで異なる安全性パターンが明らかになった。 これは、モデル固有の推論能力を活用して安全でない意図を検出することで、MLRMの安全性問題に対処する潜在的アプローチである。
  論文  参考訳（メタデータ） (2025-05-10T06:59:36Z)
• SafeMLRM: Demystifying Safety in Multi-modal Large Reasoning Models [50.34706204154244]
  推論能力の獲得は、引き継がれた安全アライメントを壊滅的に劣化させる。 特定のシナリオは、25倍の攻撃率を被る。 MLRMは、厳密な推論と問合せの安全結合にもかかわらず、初期段階の自己補正を示す。
  論文  参考訳（メタデータ） (2025-04-09T06:53:23Z)
• The Hidden Risks of Large Reasoning Models: A Safety Assessment of R1 [70.94607997570729]
  本稿では,OpenAI-o3およびDeepSeek-R1推論モデルの総合的安全性評価を行う。 本研究では, 現実の応用における強靭性を評価するために, ジェイルブレイクやインジェクションなどの敵攻撃に対する感受性について検討する。
  論文  参考訳（メタデータ） (2025-02-18T09:06:07Z)
• SafeBench: A Safety Evaluation Framework for Multimodal Large Language Models [75.67623347512368]
  MLLMの安全性評価を行うための総合的なフレームワークであるツールンを提案する。 我々のフレームワークは、包括的な有害なクエリデータセットと自動評価プロトコルで構成されています。 本研究では,広く利用されている15のオープンソースMLLMと6つの商用MLLMの大規模実験を行った。
  論文  参考訳（メタデータ） (2024-10-24T17:14:40Z)
• LabSafety Bench: Benchmarking LLMs on Safety Issues in Scientific Labs [78.99703366417661]
  大規模言語モデル(LLM)は、手続き的なガイダンスから自律的な実験オーケストレーションまで、タスクをますます支援している。 このような過度な信頼性は、リスク識別やリスクアセスメントの失敗が重大事故を引き起こす高リスクな実験室環境では特に危険である。 実験室安全ベンチマーク (LabSafety Bench) を提案し, 潜在的な危険を識別し, リスクを評価し, 実験室環境における安全でない行動の結果を予測する。
  論文  参考訳（メタデータ） (2024-10-18T05:21:05Z)
• On the Role of Attention Heads in Large Language Model Safety [64.51534137177491]
  大規模言語モデル(LLM)は、複数の言語タスクにおいて最先端のパフォーマンスを達成するが、それらの安全ガードレールを回避できる。 モデル安全への個人的貢献を評価するため,マルチヘッド対応のための新しい指標として,安全ヘッドImPortant Score(Ships)を提案する。
  論文  参考訳（メタデータ） (2024-10-17T16:08:06Z)
• Mixture of insighTful Experts (MoTE): The Synergy of Thought Chains and Expert Mixtures in Self-Alignment [103.05005690990271]
  MoTE(Mixture of insightful Experts)は、推論チェーンとエキスパートミックスを組み合わせて自己調整を改善する新しいフレームワークである。 MoTEはモデルの安全性、脱獄耐性、過剰な拒否機能を大幅に改善し、OpenAIの最先端のo1モデルに匹敵するパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-05-01T15:06:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。