論文の概要: Steering MoE LLMs via Expert (De)Activation

• arxiv url: http://arxiv.org/abs/2509.09660v1
• Date: Thu, 11 Sep 2025 17:55:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-12 16:52:24.502472
• Title: Steering MoE LLMs via Expert (De)Activation
• Title（参考訳）: エキスパート(De)アクティベーションによるMOE LLMのステアリング
• Authors: Mohsen Fayyaz, Ali Modarressi, Hanieh Deilamsalehy, Franck Dernoncourt, Ryan Rossi, Trung Bui, Hinrich Schütze, Nanyun Peng,
• Abstract要約: LLM(Large Language Models)におけるMixture-of-Experts (MoE)は、各トークンを専用のFeed-Forward Networks (FFN)のサブセットを介してルーティングする。 我々は,行動関連の専門家を検知し,制御することで,MoEモデルをステアリングするフレームワークであるSteerMoEを提案する。
• 参考スコア（独自算出の注目度）: 118.23403783503026
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Mixture-of-Experts (MoE) in Large Language Models (LLMs) routes each token through a subset of specialized Feed-Forward Networks (FFN), known as experts. We present SteerMoE, a framework for steering MoE models by detecting and controlling behavior-linked experts. Our detection method identifies experts with distinct activation patterns across paired inputs exhibiting contrasting behaviors. By selectively (de)activating such experts during inference, we control behaviors like faithfulness and safety without retraining or modifying weights. Across 11 benchmarks and 6 LLMs, our steering raises safety by up to +20% and faithfulness by +27%. In adversarial attack mode, it drops safety by -41% alone, and -100% when combined with existing jailbreak methods, bypassing all safety guardrails and exposing a new dimension of alignment faking hidden within experts.
• Abstract（参考訳）: LLM(Large Language Models)のMixture-of-Experts (MoE)は、専門家として知られるFFN(Feed-Forward Networks)のサブセットを介して各トークンをルーティングする。 我々は,行動関連の専門家を検知し,制御することで,MoEモデルをステアリングするフレームワークであるSteerMoEを提案する。 提案手法は,異なるアクティベーションパターンを持つ専門家を,対照的な動作を示すペア入力で識別する。 推論中にそのような専門家を選択的に(脱)活性化させることで、重みをトレーニングしたり修正したりすることなく、忠実さや安全性などの行動を制御できる。 11のベンチマークと6のLDMで、私たちのステアリングは安全性を最大で20%向上し、忠実度は+27%向上します。 敵の攻撃モードでは、既存のジェイルブレイク手法と組み合わせることで安全性を41%低下させ、すべての安全ガードレールをバイパスし、専門家の中に隠された新しいアライメントの次元を露呈する。

関連論文リスト

• Efficient Switchable Safety Control in LLMs via Magic-Token-Guided Co-Training [1.5349686675266894]
  LLM(Large Language Models)におけるコンテンツ安全性の現在の手法は、マルチステージトレーニングパイプラインに依存している。 複数の安全性挙動を効率的に統合する統合協調学習フレームワークを提案する。 我々は,SFT+DPOの安全アライメント品質に一致し,安全性能においてDeepSeek-R1 (671B) を上回る8Bモデルを示した。
  論文  参考訳（メタデータ） (2025-08-12T02:39:33Z)
• SAFEx: Analyzing Vulnerabilities of MoE-Based LLMs via Stable Safety-critical Expert Identification [26.937824679384097]
  我々は,MoEモデルの位置的脆弱性を形式化し,体系的に研究する。 SAFExは、安全クリティカルな専門家をしっかりと識別し、特徴付けし、検証する分析フレームワークである。
  論文  参考訳（メタデータ） (2025-06-20T15:09:10Z)
• Robust Anti-Backdoor Instruction Tuning in LVLMs [53.766434746801366]
  大規模視覚言語モデル(LVLM)のための軽量で認証に依存しない防御フレームワークについて紹介する。 私たちのフレームワークは、命令チューニングの下で、アダプタモジュールとテキスト埋め込み層のみを微調整します。 Flickr30kとMSCOCOに対する7つの攻撃に対する実験は、我々の攻撃の成功率をほぼゼロに低下させることを示した。
  論文  参考訳（メタデータ） (2025-06-04T01:23:35Z)
• Mixture of Tunable Experts - Behavior Modification of DeepSeek-R1 at Inference Time [1.1655046053160683]
  本稿では,Large Language Models(LLMs)のMixture-of-Expertsアーキテクチャを拡張する手法を提案する。 MoTEは、推論時間中のLLMにおける有意義で集中的な振る舞い変化を可能にする。
  論文  参考訳（メタデータ） (2025-02-16T12:24:39Z)
• Enhancing Multiple Dimensions of Trustworthiness in LLMs via Sparse Activation Control [44.326363467045496]
  大規模言語モデル(LLM)は、ヒューマンフィードバック(RLHF)からの強化学習において重要な研究領域となっている。 表現工学は、新しい、トレーニングなしのアプローチを提供する。 この手法は意味的特徴を利用してLLMの中間隠れ状態の表現を制御する。 正直さや安全性などの様々な意味内容を特異な意味的特徴に符号化することは困難である。
  論文  参考訳（メタデータ） (2024-11-04T08:36:03Z)
• WildGuard: Open One-Stop Moderation Tools for Safety Risks, Jailbreaks, and Refusals of LLMs [54.10865585773691]
  LLM安全性のためのオープンで軽量なモデレーションツールであるWildGuardを紹介します。 WildGuardは、ユーザプロンプトにおける悪意のある意図の特定、モデルレスポンスの安全性リスクの検出、モデル拒絶率の決定という3つの目標を達成する。
  論文  参考訳（メタデータ） (2024-06-26T16:58:20Z)
• BEEAR: Embedding-based Adversarial Removal of Safety Backdoors in Instruction-tuned Language Models [57.5404308854535]
  大型言語モデル(LLM)における安全バックドア攻撃は、正常な相互作用中の検出を回避しながら、安全でない振る舞いをステルス的に引き起こすことができる。 モデル埋め込み空間において,バックドアトリガーが比較的均一なドリフトを引き起こすという知見を活かした緩和手法であるBEEARを提案する。 両レベル最適化手法は、不要な振る舞いを誘発する普遍的な埋め込み摂動を特定し、モデルパラメータを調整し、これらの摂動に対する安全な振舞いを強化する。
  論文  参考訳（メタデータ） (2024-06-24T19:29:47Z)
• Mixture of insighTful Experts (MoTE): The Synergy of Thought Chains and Expert Mixtures in Self-Alignment [103.05005690990271]
  MoTE(Mixture of insightful Experts)は、推論チェーンとエキスパートミックスを組み合わせて自己調整を改善する新しいフレームワークである。 MoTEはモデルの安全性、脱獄耐性、過剰な拒否機能を大幅に改善し、OpenAIの最先端のo1モデルに匹敵するパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-05-01T15:06:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。