論文の概要: Frequency Is Not Sensitivity Identifying Safety-Sensitive Experts in Sparse MoE LLM

• arxiv url: http://arxiv.org/abs/2610.02910v1
• Date: Fri, 02 Oct 2026 07:00:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.249257
• Title: Frequency Is Not Sensitivity Identifying Safety-Sensitive Experts in Sparse MoE LLM
• Title（参考訳）: Sparse MoE LLMにおける安全性に敏感な専門家を特定できない頻度
• Abstract要約: 少数のルートの専門家を抑えることは、訓練をせずにスパース・ミックス・オブ・エクササイズ(MoE)言語モデルの安全性を弱めることができる。 我々は、ルータの勾配感度、ゲートウェイトに対するシーケンス損失の感度、専門家を選択する方法を試す。
• 参考スコア（独自算出の注目度）: 1.7128639251861788
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Suppressing a small set of routed experts can weaken the safety behavior of a sparse Mixture-of-Experts (MoE) language model without retraining. Which experts to suppress is therefore a security question, and the usual answer is activation frequency, but frequency measures use, not influence. We test an alternative: router-gradient sensitivity, the sensitivity of the sequence loss to the gate weights that select an expert. Across five MoE architectures, we rank experts by each signal on 500 benign and 500 malicious prompts and measure refusal on 100 held-out malicious prompts under two budgets: equal expert counts and equal nominal malicious routing traffic (1%-5%). Under each of the two budgets, router-gradient selection reduces refusals more than activation in 24 of 25 conditions, and more than a ten-trial random mean in all 25. The largest effect is in OLMoE, where refusals fall from 34 to 9 of 100 prompts (73.53% relative) with no degraded outputs, indicating substantive compliance rather than broken generation. After matching expert counts in every layer, gradient selection still produces greater refusal reduction than activation in 23 of 25 conditions, with two ties. An exploratory cross-model analysis links larger malicious-versus-benign concentration gaps to greater peak gradient effects (rho = 0.90; exact two-sided p = 0.083, n = 5). Together, the results support gradient selection under the tested budgets.
• Abstract（参考訳）: 少数のルートの専門家を抑えることは、訓練をせずにスパース・ミックス・オブ・エクササイズ(MoE)言語モデルの安全性を弱めることができる。 したがって、どの専門家を抑えるかはセキュリティの問題であり、通常の答えはアクティベーション周波数である。 我々は、ルータの勾配感度、ゲートウェイトに対するシーケンス損失の感度、専門家を選択する方法を試す。 5つのMoEアーキテクチャで、500の良心と500の悪意のあるプロンプトで専門家をランク付けし、2つの予算で100の有意なプロンプトを拒否する。 2つの予算のそれぞれで、ルータの勾配選択は25の条件のうち24の条件で活性化以上の拒絶を減少させ、25の条件で10のランダム平均以上を減少させる。 最大の効果はOLMoE(英語版)で、リファリングは100のプロンプトのうち34から9に減少し(73.53%の相対)、出力は劣化しない。 各層で専門家数に一致した後、勾配選択は25条件中23条件で活性化よりも大きな拒絶還元を生じる。 探索的クロスモデル解析は、より大きな悪意のある対向良性濃度ギャップとより大きなピーク勾配効果(rho = 0.90; 正確な両側のp = 0.083, n = 5)を関連付ける。 結果は、試験された予算の下での勾配選択をサポートする。

関連論文リスト

• CounterSteer: Suppressing Indirect Prompt Injection with Activation Steering [4.1626636325601405]
  間接的なプロンプトインジェクションにより、エージェントは信頼できない検索されたテキストを命令として扱う。 モデル内のこの振る舞いを抑える推論時間ディフェンスであるCounterSteerを提案する。
  論文  参考訳（メタデータ） (2026-09-29T02:51:31Z)
• DRSR: Learning Set-Level Deletion Risk for Efficient Long-Horizon Agents [55.84813053778976]
  ロングホライゾン言語モデルエージェントは、現在の決定と関係が変化する推論の痕跡、ツール交換、観察を蓄積する。 直接セットリスクスコアは、削除セットの選択としてエージェント履歴圧縮リスクを定式化する。 メカニカル・アナリシスとアブリケーションは、決定に制約のある関係、保持されたコンテキスト情報、ペア・インタラクション、および棄権がそれぞれ信頼できるプルーニングに寄与していることを示している。
  論文  参考訳（メタデータ） (2026-09-23T03:06:01Z)
• F-DACE: Fuzzy Disagreement-Aware Causal Evidence Fusion for Abstention-Safe Conversational Retail Decision Support [0.0]
  F-DACEはファジィメンバシップとして精度、妥当性の重なり、プラセボの難燃安定性、インターバルオーバーラップ、方向性の一致を表す。 LangGraphの会話エージェントは、影響、結果、レバー最適化ツールを公開し、決定論的検証器は因果層状態を保存する。
  論文  参考訳（メタデータ） (2026-09-16T07:14:38Z)
• Trivial Prompt Reframing Bypasses Safety Guardrails in Googleś MedGemma-4B [0.0]
  オープンウェイト医療言語モデルは、患者向けおよび臨床支援アプリケーションの基礎として、ますます利用されている。 MedGemma-4B-itの技術的洗練を必要としない攻撃におけるギャップを定量化する。
  論文  参考訳（メタデータ） (2026-07-09T18:31:43Z)
• Knowledge Index of Noah's Ark [63.143852586221534]
  KINAは,261分野にわたる899項目のベンチマークである。 ボーナス・オン・バートーナメントがFOSDを弱く支配していることを示す。 トップモデルであるGemini-3.1-Pro-Previewは53.17%、Claude-Opus-4.6は49.92%、GPT-5.4は48.55%に達した。
  論文  参考訳（メタデータ） (2026-06-03T17:06:49Z)
• Safety-Oriented Routing Analysis of Mixtral MoE Under Benign and Harmful Prompts [0.0]
  2つの相補的信号を用いた良性および有害なプロンプト下でのMixtral 8x7B-Instructの経路挙動について検討した。 我々は、専門家レベルのルーティングの振る舞いを分析し、専門家による抑圧の介入を行う。
  論文  参考訳（メタデータ） (2026-05-22T22:42:23Z)
• Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
  暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。 Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。 SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
  論文  参考訳（メタデータ） (2025-09-25T14:05:55Z)
• Steering MoE LLMs via Expert (De)Activation [118.23403783503026]
  LLM(Large Language Models)におけるMixture-of-Experts (MoE)は、各トークンを専用のFeed-Forward Networks (FFN)のサブセットを介してルーティングする。 我々は,行動関連の専門家を検知し,制御することで,MoEモデルをステアリングするフレームワークであるSteerMoEを提案する。
  論文  参考訳（メタデータ） (2025-09-11T17:55:09Z)
• Mixture of Tunable Experts - Behavior Modification of DeepSeek-R1 at Inference Time [1.1655046053160683]
  本稿では,Large Language Models(LLMs)のMixture-of-Expertsアーキテクチャを拡張する手法を提案する。 MoTEは、推論時間中のLLMにおける有意義で集中的な振る舞い変化を可能にする。
  論文  参考訳（メタデータ） (2025-02-16T12:24:39Z)
• CausalDiff: Causality-Inspired Disentanglement via Diffusion Model for Adversarial Defense [61.78357530675446]
  人間は、本質的な要因のみに基づいて判断するので、微妙な操作によって騙されるのは難しい。 この観察に触発されて、本質的なラベル因果因子を用いたラベル生成をモデル化し、ラベル非因果因子を組み込んでデータ生成を支援する。 逆の例では、摂動を非因果因子として識別し、ラベル因果因子のみに基づいて予測することを目的としている。
  論文  参考訳（メタデータ） (2024-10-30T15:06:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。