論文の概要: RASA: Routing-Aware Safety Alignment for Mixture-of-Experts Models

• arxiv url: http://arxiv.org/abs/2602.04448v1
• Date: Wed, 04 Feb 2026 11:19:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-05 19:45:11.503516
• Title: RASA: Routing-Aware Safety Alignment for Mixture-of-Experts Models
• Title（参考訳）: RASA:Mixture-of-Expertsモデルのためのルーティング対応安全アライメント
• Abstract要約: ルーティング対応の専門家レベルのアライメントフレームワークであるRASAを提案する。 RASAは、ジェイルブレイクの成功によって不当にアクティベートされた専門家を特定し、固定されたルーティングの下でこれらの専門家だけを選択的に微調整する。 この結果から,グローバルなパラメータ更新よりも,目標とする専門家の修復により,ロバストなMoEの安全性が向上することが示唆された。
• 参考スコア（独自算出の注目度）: 10.741523413040559
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mixture-of-Experts (MoE) language models introduce unique challenges for safety alignment due to their sparse routing mechanisms, which can enable degenerate optimization behaviors under standard full-parameter fine-tuning. In our preliminary experiments, we observe that naively applying full-parameter safety fine-tuning to MoE models can reduce attack success rates through routing or expert dominance effects, rather than by directly repairing Safety-Critical Experts. To address this challenge, we propose RASA, a routing-aware expert-level alignment framework that explicitly repairs Safety-Critical Experts while preventing routing-based bypasses. RASA identifies experts disproportionately activated by successful jailbreaks, selectively fine-tunes only these experts under fixed routing, and subsequently enforces routing consistency with safety-aligned contexts. Across two representative MoE architectures and a diverse set of jailbreak attacks, RASA achieves near-perfect robustness, strong cross-attack generalization, and substantially reduced over-refusal, while preserving general capabilities on benchmarks such as MMLU, GSM8K, and TruthfulQA. Our results suggest that robust MoE safety alignment benefits from targeted expert repair rather than global parameter updates, offering a practical and architecture-preserving alternative to prior approaches.
• Abstract（参考訳）: Mixture-of-Experts (MoE)言語モデルは、そのスパースルーティング機構によって、標準のフルパラメータ細調整下での退化最適化動作を可能にする、安全アライメントのためのユニークな課題を導入している。 予備実験では, 安全クリティカルエキスパートを直接修復するのではなく, ルーティングや専門家支配効果による攻撃成功率の低減が期待できる。 この課題に対処するために、ルーティングベースのバイパスを防止しつつ、安全クリティカルエキスパートを明示的に修復するルーティング対応の専門家レベルのアライメントフレームワークであるRASAを提案する。 RASAは、ジェイルブレイクの成功によって不当にアクティベートされた専門家を特定し、固定されたルーティングの下でこれらの専門家のみを選択的に微調整し、その後、安全に整合したコンテキストでルーティングの一貫性を強制する。 2つの代表的なMoEアーキテクチャと多様なジェイルブレイク攻撃に対して、RASAはMMLU、GSM8K、TruthfulQAなどのベンチマークで一般的な機能を保ちながら、ほぼ完全な堅牢性、強力なクロスアタックの一般化、大幅なオーバーリフレクションを実現している。 この結果から,グローバルなパラメータ更新ではなく,目標とする専門家の修復により,ロバストなMoE安全アライメントが有効であることが示唆された。

関連論文リスト

• MESA: Improving MoE Safety Alignment via Decentralized Expertise [55.297863000560596]
  MESA(MoE Safety Alignment)は、MoEベースの大規模言語モデルを対象としたアライメントフレームワークである。 安全責任を戦略的に分散し、カバー範囲を最大化し、実用性への干渉を最小限にする。 MESAは様々な有害なベンチマークに対して堅牢な防御性能を達成し、有用性を維持する。
  論文  参考訳（メタデータ） (2026-05-30T09:54:38Z)
• Understanding Safety-Sensitive Expert Behavior in Mixture-of-Experts LLMs [21.519746366998646]
  一般的な直観では、安全行動は、異なる拒絶指向の専門家に有害な要求をルーティングすることで制御される。 専門家の小さなサブセットにローカライズされた安全対策を調査するフレームワークである**RASET*を提示する。 結果は、専門家が認識するアライメントメカニズムの必要性を浮き彫りにした、明確なMoE安全性リスクを明らかにした。
  論文  参考訳（メタデータ） (2026-05-28T10:09:51Z)
• Provable Robustness against Backdoor Attacks via the Primal-Dual Perspective on Differential Privacy [51.758416625168]
  ランダムな平滑化は、敵の摂動に対する堅牢性を証明するための強力なツールである。 本稿では,複雑な構成機構の認証のためのフレームワークを提案する。 複雑な脅威モデル下での堅牢性を証明するために複合メカニズムを使用するための原則的で一般的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2026-05-20T22:17:29Z)
• Misrouter: Exploiting Routing Mechanisms for Input-Only Attacks on Mixture-of-Experts LLMs [26.925535006021402]
  Mixture-of-Experts (MoE)アーキテクチャは、疎結合なルーティングベースの計算によって、大規模言語モデルをスケールするための主要なパラダイムとして登場した。 MoEルーティングは、入力のみの攻撃によって、現実世界のサービスにおいてより強力な安全でない振る舞いを引き起こすことができる。 そこで我々はMisrouterを提案する。Misrouterは入力のみの攻撃フレームワークで、ルーティング動作とエキスパート機能の共同ターゲットである。
  論文  参考訳（メタデータ） (2026-05-06T03:21:38Z)
• RouteHijack: Routing-Aware Attack on Mixture-of-Experts LLMs [9.24144060095413]
  RouteHijackは、大規模言語モデル(LLM)のためのルーティング対応のジェイルブレイクである。 RouteHijackは、安全クリティカルで有害な専門家を特定するために、応答駆動のエキスパートローカライゼーションを実行する。 次に、安全の専門家を抑圧し、有害な専門家を奨励し、早期の拒絶を防ぐルーティング対応の目的で、敵の接尾辞を構築する。
  論文  参考訳（メタデータ） (2026-05-01T11:54:55Z)
• Robust Multimodal Safety via Conditional Decoding [52.92816441364308]
  マルチモーダル大規模言語モデル(MLLM)は、有害なクエリが相互モーダル相互作用を悪用した場合、しばしば安全性の低下を経験する。 本稿では,MLLMの内部表現を利用して応答生成前の二項安全トークンを予測する,シンプルな条件付きデコード戦略であるCASAを提案する。
  論文  参考訳（メタデータ） (2026-03-31T23:19:50Z)
• BarrierSteer: LLM Safety via Learning Barrier Steering [83.12893815611052]
  BarrierSteerは、学習した非線形安全性制約を直接モデルの潜在表現空間に埋め込むことで、安全性を形式化する新しいフレームワークである。 BarrierSteerは、敵の成功率を大幅に低下させ、安全でない世代を減少させ、既存の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2026-02-23T18:19:46Z)
• SafeThinker: Reasoning about Risk to Deepen Safety Beyond Shallow Alignment [43.86865924673546]
  軽量なゲートウェイ分類器を介して防御資源を割り当てる適応型フレームワークであるSafeThinkerを提案する。 実験によると、SafeThinkerは、堅牢性を損なうことなく、さまざまなジェイルブレイク戦略における攻撃の成功率を大幅に低下させる。
  論文  参考訳（メタデータ） (2026-01-23T07:12:53Z)
• Q-realign: Piggybacking Realignment on Quantization for Safe and Efficient LLM Deployment [55.14890249389052]
  既存の防衛は、安全回復を微調整に埋め込んだり、微調整による修正に先立って微調整に頼ったりしている。 我々は,ポストトレーニング量子化に基づくポストホック防御手法であるtextttQ-realign を提案する。 私たちの仕事は、安全を意識したデプロイメントのための実践的でターンキーなソリューションを提供します。
  論文  参考訳（メタデータ） (2026-01-13T00:07:24Z)
• Who Speaks for the Trigger? Dynamic Expert Routing in Backdoored Mixture-of-Experts Transformers [12.47462301643593]
  大規模言語モデル (LLM) とMixture-of-Experts (MoE) アーキテクチャは、専門家として知られる専門職に入力を動的にルーティングすることで、優れたパフォーマンスと効率を達成する。 我々は,タスク結合型動的トリガ最適化と感性誘導型Top-Sエキスパートトレース機構を統合した,新しいバックドアフレームワークであるBadSwitchを提案する。
  論文  参考訳（メタデータ） (2025-10-15T12:11:02Z)
• UpSafe$^\circ$C: Upcycling for Controllable Safety in Large Language Models [67.91151588917396]
  大規模言語モデル(LLM)は、幅広いタスクで顕著な進歩を遂げているが、有害なコンテンツ生成やジェイルブレイク攻撃といった安全リスクに弱いままである。 安全に配慮したリサイクルによるLCMの安全性向上のための統合フレームワークであるUpSafe$circ$Cを提案する。 この結果から, 静的アライメントから動的, モジュール, 推論対応制御への移行という, LLMの安全性の新たな方向性が明らかになった。
  論文  参考訳（メタデータ） (2025-10-02T16:43:33Z)
• Cannot See the Forest for the Trees: Invoking Heuristics and Biases to Elicit Irrational Choices of LLMs [83.11815479874447]
  本研究では,人間の認知における認知的分解と偏見に触発された新しいジェイルブレイク攻撃フレームワークを提案する。 我々は、悪意のあるプロンプトの複雑さと関連バイアスを減らし、認知的分解を用いて、プロンプトを再編成する。 また、従来の二分的成功または失敗のパラダイムを超越したランキングベースの有害度評価指標も導入する。
  論文  参考訳（メタデータ） (2025-05-03T05:28:11Z)
• Representation Bending for Large Language Model Safety [27.842146980762934]
  大きな言語モデル(LLM)は強力なツールとして登場したが、その固有の安全性のリスクは重大な課題を引き起こしている。 本稿では,LLMにおける有害行動の表現を根本的に破壊する新しい手法であるRepBendを紹介する。 RepBendは最先端のパフォーマンスを達成し、Circuit Breaker、RMU、NPOといった従来の手法よりも優れ、攻撃成功率を最大95%削減する。
  論文  参考訳（メタデータ） (2025-04-02T09:47:01Z)
• How Robust Are Router-LLMs? Analysis of the Fragility of LLM Routing Capabilities [62.474732677086855]
  大規模言語モデル(LLM)ルーティングは,計算コストと性能のバランスをとる上で重要な戦略である。 DSCベンチマークを提案する: Diverse, Simple, and Categorizedは、幅広いクエリタイプでルータのパフォーマンスを分類する評価フレームワークである。
  論文  参考訳（メタデータ） (2025-03-20T19:52:30Z)
• STAIR: Improving Safety Alignment with Introspective Reasoning [44.780098674618614]
  SafeTyアライメントとItrospective Reasoningを統合したフレームワークSTAIRを提案する。 その結果,STAIRは本能的アライメント戦略と比較して,有害なアウトプットを効果的に軽減し,有用性を保っていることがわかった。 テスト時のスケーリングでは、STAIRは一般的なジェイルブレイク攻撃に対して、Claude-3.5に匹敵する安全性能を達成する。
  論文  参考訳（メタデータ） (2025-02-04T15:02:55Z)
• Mixture of insighTful Experts (MoTE): The Synergy of Thought Chains and Expert Mixtures in Self-Alignment [103.05005690990271]
  MoTE(Mixture of insightful Experts)は、推論チェーンとエキスパートミックスを組み合わせて自己調整を改善する新しいフレームワークである。 MoTEはモデルの安全性、脱獄耐性、過剰な拒否機能を大幅に改善し、OpenAIの最先端のo1モデルに匹敵するパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-05-01T15:06:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。