論文の概要: CertMoE: Robustness Certification for Mixture-of-Experts LLMs via Routing-Aware Smoothing

• arxiv url: http://arxiv.org/abs/2610.29395v1
• Date: Wed, 21 Oct 2026 08:25:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.288224
• Title: CertMoE: Robustness Certification for Mixture-of-Experts LLMs via Routing-Aware Smoothing
• Title（参考訳）: CertMoE:ルーティング・アウェア・スムースティングによる試験用LLMのロバストネス認証
• Abstract要約: 確率的堅牢性は、敵の摂動下でのモデル予測を保証することを目的として、信頼できる機械学習の基盤となる。 本稿では,MoE大言語モデルのための最初のルーティング対応認証フレームワークであるtextscCertMoEについて述べる。
• 参考スコア（独自算出の注目度）: 50.77807239365757
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Provable robustness is a cornerstone of trustworthy machine learning, aiming to guarantee model predictions under adversarial perturbations. Existing certification frameworks, inspired by abstract interpretation or symbolic execution, typically assume a fixed computation graph, where input perturbations or variations affect only model outputs but not the underlying execution path. This assumption, however, is violated in Mixture-of-Experts (MoE) Large Language Models (LLMs), whose input-dependent routing induces discrete and dynamic execution paths. Crucially, this dynamic computation changes the certified object from a single fixed function to a composition of input-dependent sub-functions, leading to unreliable certification guarantees. This paper presents \textsc{CertMoE}, the first routing-aware robustness certification framework for MoE LLMs, which explicitly accounts for input-induced routing dynamics in certification. Specifically, we introduce a relaxed routing-containment criterion, which certifies that perturbed Top-$K$ routing is contained within a larger certified expert pool. Based on this guarantee, \textsc{CertMoE} then constructs the corresponding induced sub-network and certifies its prediction consistency. This hierarchical certification procedure yields a joint probabilistic guarantee over routing containment and sub-network robustness, providing sufficient conditions under which the original prediction remains invariant. Extensive experiments across recent MoE LLMs demonstrate that dynamic routing makes certificates issued by existing methods frequently violated, while \textsc{CertMoE} reduces the empirical violation rate with routing-aware guarantees, e.g., from more than $30\%$ to $0$, yielding certificates that more faithfully reflect the robustness of MoE models.
• Abstract（参考訳）: 確率的堅牢性は、敵の摂動下でのモデル予測を保証することを目的として、信頼できる機械学習の基盤となる。 既存の認証フレームワークは抽象的な解釈やシンボリックな実行にインスパイアされ、一般に、入力の摂動や変動がモデル出力だけに影響を与えるが、基礎となる実行パスには影響しない、固定された計算グラフを仮定する。 しかし、この仮定はMixture-of-Experts (MoE) Large Language Models (LLMs) に違反する。 重要なことに、この動的計算は、認証対象を単一の固定関数から入力依存サブ関数の合成に変更し、信頼性の低い認証を保証する。 本稿では,MoE LLMの最初のルーティング対応ロバスト性認証フレームワークである‘textsc{CertMoE} について述べる。 具体的には、より大規模な専門家プールに含まれるTop-$K$ルーティングの摂動を認証する、緩やかなルーティング内容の基準を導入する。 この保証に基づき、 \textsc{CertMoE} は対応するサブネットワークを構築し、その予測一貫性を認証する。 この階層的な認証手順は、ルーティングの封じ込めとサブネットワークの堅牢性に対する共同確率保証を与え、元の予測が不変である十分な条件を提供する。 最近のMoE LLMの大規模な実験では、動的ルーティングによって既存のメソッドによって発行された証明書が頻繁に違反されることが示されており、一方 \textsc{CertMoE} はルーティング対応保証による経験的違反率を30ドル以上から0ドルに引き下げ、MoEモデルの堅牢性を忠実に反映した証明書を出力する。

関連論文リスト

• Higher-Order Certified Robustness for Regression [8.948785997740378]
  本稿では,ロバスト・レグレッションを認定するための新しいフレームワークを提案する。 我々は、スムーズなモデルの予測の安定性を保証する予測中心の証明書を導出する。 特に、勾配情報を利用するMNIST回転タスクでは、ロバスト性証明が著しく厳格になることを示す。
  論文  参考訳（メタデータ） (2026-07-06T18:17:13Z)
• AnchorMoE: Interpretable Time Series Classification via Anchor-Routed MoE [51.994752158953084]
  AnchorMoEは、解釈可能な構成別分類フレームワークである。 ローカルパッチのマルチビュー表現をエンコードし、専門の専門家にルーティングする。 実世界のベンチマークと合成ベンチマークの実験は、AnchorMoEが非常に競争力のある分類性能を達成することを示した。
  論文  参考訳（メタデータ） (2026-06-02T13:30:54Z)
• MAVEN: Multi-Agent Verification-Elaboration Network with In-Step Epistemic Auditing [18.35295672031847]
  MAVENは、LLMを明示的な役割分離を通じて意図的な推論に変換するように設計されたフレームワークである。 MAVEN は GEMINI-3.1-Pro などの潜在推論モデルより一貫して優れている。 MAVENは完全にモデルに依存しず、強力で伝達可能な推論ブースターとして機能する。
  論文  参考訳（メタデータ） (2026-05-08T12:11:08Z)
• CREDIT: Certified Ownership Verification of Deep Neural Networks Against Model Extraction Attacks [54.04030169323115]
  我々は、モデル抽出攻撃(MEA)に対する認証された所有権検証であるCREDITを紹介する。 DNNモデル間の類似性を定量化し、実用的な検証しきい値を提案し、このしきい値に基づいてオーナシップ検証を行うための厳密な理論的保証を提供する。 我々は、さまざまなドメインやタスクにまたがるいくつかの主流データセットに対するアプローチを広範囲に評価し、最先端のパフォーマンスを実現した。
  論文  参考訳（メタデータ） (2026-02-23T23:36:25Z)
• MARS: Unleashing the Power of Speculative Decoding via Margin-Aware Verification [7.935725883885573]
  Speculative Decoding (SD)は、自動回帰型大言語モデル(LLM)推論をデカップリングして高速化する。 対象モデルの局所的決定性に適応する訓練不要でドメインに依存しない検証戦略であるMargin-Aware Speculative Verificationを提案する。 本手法は,目標ロジットから直接測定した決定安定性の検証を行い,厳密な検証が最小限の利益をもたらす場合にのみ拒否を緩和する。
  論文  参考訳（メタデータ） (2026-01-21T22:03:06Z)
• CluCERT: Certifying LLM Robustness via Clustering-Guided Denoising Smoothing [14.452742566473129]
  CluCERTは大規模言語モデル(LLM)の堅牢性を証明する新しいフレームワークである 本稿では,雑音の多いサンプルを減らし,意味のある摂動を保持するセマンティッククラスタリングフィルタを提案する。 また、コアセマンティクスを抽出する洗練されたモジュールと高速なシノニム置換戦略という2つのメカニズムを通じて計算効率を向上させる。
  論文  参考訳（メタデータ） (2025-12-01T21:13:44Z)
• RouteMark: A Fingerprint for Intellectual Property Attribution in Routing-based Model Merging [69.2230254959204]
  我々は,統合されたMoEモデルにおけるIP保護のためのフレームワークであるRouteMarkを提案する。 我々の重要な洞察は、タスク固有の専門家は、探索入力の下で安定かつ独特なルーティング行動を示すことである。 属性と改ざん検出のために,類似性に基づくマッチングアルゴリズムを導入する。
  論文  参考訳（メタデータ） (2025-08-03T14:51:58Z)
• Are You Getting What You Pay For? Auditing Model Substitution in LLM APIs [71.7892165868749]
  LLM(Commercial Large Language Model) APIは基本的な信頼の問題を生み出します。 ユーザーは特定のモデルに課金するが、プロバイダが忠実に提供できることを保証することはない。 我々は,このモデル置換問題を定式化し,現実的な逆条件下での検出方法を評価する。 我々は,信頼された実行環境(TEE)を実用的で堅牢なソリューションとして使用し,評価する。
  論文  参考訳（メタデータ） (2025-04-07T03:57:41Z)
• Certified Distributional Robustness on Smoothed Classifiers [27.006844966157317]
  本稿では,ロバスト性証明として,入力分布に対する最悪の逆損失を提案する。 双対性と滑らか性を利用して、証明書のサロゲートとして容易に計算できる上限を与える。
  論文  参考訳（メタデータ） (2020-10-21T13:22:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。