論文の概要: SafeStart: Mitigating the Overlooked Safety Cost of Active Expert Reduction in MoE LLM Serving

• arxiv url: http://arxiv.org/abs/2611.06147v1
• Date: Wed, 04 Nov 2026 08:31:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:58.027181
• Title: SafeStart: Mitigating the Overlooked Safety Cost of Active Expert Reduction in MoE LLM Serving
• Title（参考訳）: SafeStart: MoE LLMにおけるアクティブエキスパート削減の見落とされがちな安全性コストの軽減
• Abstract要約: Mixture-of-Experts (MoE)言語モデルは、多くのエキスパートワークを通じて各トークンを送信する。 サービングメソッドはトークン当たりのエキスパートの数をさらに少なくすることで、これらのモデルを高速化する。 これらの手法は,有害な要求に対するモデル拒絶を弱める可能性があることを示す。 SafeStartを紹介します。これは、ほとんどのスピードアップを維持しながら、拒否をほぼ回復します。
• 参考スコア（独自算出の注目度）: 10.850485774729977
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mixture-of-Experts (MoE) language models send each token through a few of many expert subnetworks. Serving methods make these models faster by running even fewer experts per token, and they are validated on accuracy benchmarks. We show that these methods can weaken the model's refusal of harmful requests, and we introduce SafeStart, which largely restores refusal while keeping most of the speedup. In vLLM on one RTX A6000, keeping about two thirds of the selected experts speeds up offline decoding by 15 to 28% at batch size 8. We find that, at this setting, under a jailbreak that tells the model not to refuse, the share of harmful requests that the model answers rises by 18.4 percentage points on Qwen1.5-MoE, 9.5 on OLMoE, and 6.6 on DeepSeek-V2-Lite, the three of nine models where it rises significantly, while MMLU accuracy drops by less than two points. We discover that most of this increase arises while the model processes the prompt and generates its first few tokens. SafeStart therefore runs all experts for the prompt and the first eight generated tokens, and the reduced set of experts afterwards, through a fused kernel in vLLM. With experts removed, SafeStart keeps at least 85% of the offline decode speedup at batch sizes 8 and 32 and brings the change under this jailbreak to between -2.1 and +1.3 points for three expert-reduction methods on these three models. On 889 held-out requests, in an analysis fixed before generation, truncation raises harmful compliance by 5.8 to 21.4 points, and SafeStart leaves a rise of 0.6 to 2.6 points, non-inferior to the original model on two of the three models. Our results show that faster MoE serving need not cost safety: a serving system can keep most of the gain from running fewer experts by running all of them at the start of each response, and it should test refusal, not only accuracy, before it enables such a method.
• Abstract（参考訳）: Mixture-of-Experts (MoE)言語モデルは、多くの専門家のサブネットワークを通じて各トークンを送信する。 Servingメソッドはトークン当たりのエキスパート数をさらに少なくすることでこれらのモデルを高速化し、精度のベンチマークで検証する。 これらの手法は、有害な要求の拒絶を弱め、SafeStartを導入します。 1つのRTX A6000上のvLLMでは、選択された専門家の約3分の2が、バッチサイズ8でオフラインデコーディングを15～28%高速化する。 この設定では、このモデルに拒否しないよう指示するジェイルブレイクの下で、Qwen1.5-MoEでは18.4ポイント、OLMoEでは9.5ポイント、DeepSeek-V2-Liteでは6.6ポイント、MMLUでは2ポイント未満の精度で上昇する。 この増加のほとんどは、モデルがプロンプトを処理し、最初の数個のトークンを生成する間に発生する。 したがってSafeStartは、プロンプトと最初の8つの生成されたトークンのエキスパートをすべて実行し、その後、vLLMの融合カーネルを通じて専門家のセットを減らした。 専門家を排除したSafeStartは、オフラインのデコードスピードの少なくとも85%をバッチサイズ8から32に保ち、このジェイルブレイクの下では3つのモデルのエキスパート推論方法に対して-2.1から+1.3ポイントに変更する。 889年の保留要求では、世代前に固定された分析において、トランケーションは有害なコンプライアンスを5.8から21.4ポイント増加させ、SafeStartは3つのモデルのうち2つのモデルで元のモデルに比して0.6から2.6ポイント上昇した。 サービスシステムは,各応答の開始時に,これらすべてを動作させることで,専門家の獲得率を抑えることができ,その方法を実現する前に,精度だけでなく拒否テストを行うことができる。

関連論文リスト

• Knowing When Thinking Is Not Enough: Teaching Small Reasoning Models to Reason Beyond Their Parametric Knowledge [63.752287291668786]
  テスト時間計算のスケールは、言語モデル推論を改善する強力な方法である。 自己閉じ込めは、既に現在の状態から到達可能な解に確率質量を大半を凝縮することを示す。 選択的なクエリフレームワークであるFlyByを導入し、まず4Bと8Bの変種をトレーニングする。
  論文  参考訳（メタデータ） (2026-09-28T05:07:24Z)
• Reward Hacking Challenges Oversight of Autonomous Research Agents [104.38175629103235]
  自律的な研究エージェントは実験を設計し、結果を評価し、レポートを書き、科学的結果とそれを支持する証拠の両方を制御できる。 これは、意図した目標を達成することなく、報酬基準を満たす、報酬ハックのリスクを生み出す。 そこで本研究では,ハッキングが許可された場合,その方法がいかに効果的かつ検出可能か,LCMレビューパネルが意思決定と理由を返却した場合にどのように適応するか,などについて検討する。
  論文  参考訳（メタデータ） (2026-09-23T17:54:01Z)
• Traceable LLM Reasoning for Fake-Order Fraud Detection [11.019324159065015]
  DeepScrubは、大規模言語モデルに基づいて構築された強化学習フレームワークである。 現実の偽オーダー不正検出データセットでは、DeepScrubはマクロF1スコア85.3%を獲得し、最高のベースラインを2.7%上回っている。 4週間のパイロット試験で、DeepScrubは91.8%の精度と88.5%のリコールを達成した。
  論文  参考訳（メタデータ） (2026-07-25T06:51:02Z)
• How Many Tries Does It Take? Iterative Self-Repair in LLM Code Generation Across Model Scales and Benchmarks [0.0]
  7つの大言語モデルにわたる反復的自己修復について検討する。 HumanEvalとMBPPは最大5回の試行で衛生化され、自己修復はパスレートを普遍的に改善する。 エラータイプの分析では、アサーションエラーは45%で修正するのが最も難しいが、構文や名前のエラーはかなり高い速度で修正される。
  論文  参考訳（メタデータ） (2026-04-12T07:51:41Z)
• Safety Recovery in Reasoning Models Is Only a Few Early Steering Steps Away [97.11976870616273]
  本稿では,安全回復を目的ではなく満足度の高い制約として扱う軽量な推論時防衛法を提案する。 6つのオープンソースMLRMと4つのjailbreakベンチマークで評価した結果、SafeThinkは攻撃成功率を30～60%削減しました。
  論文  参考訳（メタデータ） (2026-02-11T18:09:17Z)
• SAFEPATH: Preventing Harmful Reasoning in Chain-of-Thought via Early Alignment [12.206811117510448]
  SAFEPATHは, LRMを微調整して, その推論の開始時に, 短時間で8個の安全プライマーを出力する軽量アライメント手法である。 実験の結果,SAFEPATHは推論性能を維持しながら有害な出力を効果的に減少させることが示された。
  論文  参考訳（メタデータ） (2025-05-20T17:54:54Z)
• WildGuard: Open One-Stop Moderation Tools for Safety Risks, Jailbreaks, and Refusals of LLMs [54.10865585773691]
  LLM安全性のためのオープンで軽量なモデレーションツールであるWildGuardを紹介します。 WildGuardは、ユーザプロンプトにおける悪意のある意図の特定、モデルレスポンスの安全性リスクの検出、モデル拒絶率の決定という3つの目標を達成する。
  論文  参考訳（メタデータ） (2024-06-26T16:58:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。