論文の概要: Exposing and Defending the Achilles' Heel of Video Mixture-of-Experts
- arxiv url: http://arxiv.org/abs/2602.01369v1
- Date: Sun, 01 Feb 2026 18:12:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-03 19:28:33.746904
- Title: Exposing and Defending the Achilles' Heel of Video Mixture-of-Experts
- Title(参考訳): ビデオ・ミックス・オブ・エキスパートのアキレス腱の露出と防御
- Authors: Songping Wang, Qinglong Liu, Yueming Lyu, Ning Li, Ziwen He, Caifeng Shan,
- Abstract要約: ビデオ理解タスクにおいて,Mixture-of-Experts (MoE) は高い性能を示してきたが,その逆の堅牢性は未解明のままである。
我々は,ビデオMoEモデルにおけるコンポーネントレベルの脆弱性を徹底的に調査するために,TLGA(Temporal Lipschitz-Guided Attacks)を提案する。
次に、ルータと専門家の双方を協調的に混乱させるJ-TLGA(Joint Temporal Lipschitz-Guided Attacks)を導入する。
これらの知見に基づき、我々はさらに、統合時間リプシッツ逆行訓練(J-TLAT)を提案する。
- 参考スコア(独自算出の注目度): 26.056667041090193
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Mixture-of-Experts (MoE) has demonstrated strong performance in video understanding tasks, yet its adversarial robustness remains underexplored. Existing attack methods often treat MoE as a unified architecture, overlooking the independent and collaborative weaknesses of key components such as routers and expert modules. To fill this gap, we propose Temporal Lipschitz-Guided Attacks (TLGA) to thoroughly investigate component-level vulnerabilities in video MoE models. We first design attacks on the router, revealing its independent weaknesses. Building on this, we introduce Joint Temporal Lipschitz-Guided Attacks (J-TLGA), which collaboratively perturb both routers and experts. This joint attack significantly amplifies adversarial effects and exposes the Achilles' Heel (collaborative weaknesses) of the MoE architecture. Based on these insights, we further propose Joint Temporal Lipschitz Adversarial Training (J-TLAT). J-TLAT performs joint training to further defend against collaborative weaknesses, enhancing component-wise robustness. Our framework is plug-and-play and reduces inference cost by more than 60% compared with dense models. It consistently enhances adversarial robustness across diverse datasets and architectures, effectively mitigating both the independent and collaborative weaknesses of MoE.
- Abstract(参考訳): ビデオ理解タスクにおいて,Mixture-of-Experts (MoE) は高い性能を示してきたが,その逆の堅牢性は未解明のままである。
既存の攻撃方法は、ルータやエキスパートモジュールのような主要なコンポーネントの独立的かつ協調的な弱点を見越して、MoEを統一アーキテクチャとして扱うことが多い。
このギャップを埋めるため、ビデオMoEモデルにおけるコンポーネントレベルの脆弱性を徹底的に調査するために、TLGA(Temporal Lipschitz-Guided Attacks)を提案する。
我々はまずルーターに攻撃を設計し、その独立した弱点を明らかにした。
これに基づいて、我々は、ルータと専門家の両方を協調的に摂動させるJ-TLGA(Joint Temporal Lipschitz-Guided Attacks)を導入する。
この共同攻撃は敵効果を著しく増幅し、MoEアーキテクチャのアキレスヒール(共同弱点)を露呈する。
これらの知見に基づき、我々はさらに、J-TLAT(Joint Temporal Lipschitz Adversarial Training)を提案する。
J-TLATは、協調的な弱点に対してさらなる防御のために共同訓練を行い、コンポーネントワイド・ロバスト性を高める。
我々のフレームワークはプラグアンドプレイであり、高密度モデルと比較して推論コストを60%以上削減する。
多様なデータセットやアーキテクチャをまたいだ敵の堅牢性を継続的に強化し、MoEの独立性と協調的な弱点を効果的に軽減します。
関連論文リスト
- Robust Experts: the Effect of Adversarial Training on CNNs with Sparse Mixture-of-Experts Layers [10.912224105652044]
敵の攻撃に対する畳み込みニューラルネットワーク(CNN)のロバスト化は依然として困難である。
頑健性を向上させるため, スパース・ミックス・オブ・エキスパート(MoE)層の利用について検討する。
より深いステージに1つのMoE層を挿入すると、ロバスト性が一貫した改善が得られます。
論文 参考訳(メタデータ) (2025-09-05T13:25:33Z) - MISLEADER: Defending against Model Extraction with Ensembles of Distilled Models [56.09354775405601]
モデル抽出攻撃は、クエリアクセスを通じてブラックボックスモデルの機能を複製することを目的としている。
既存のディフェンスでは、アタッカークエリにはオフ・オブ・ディストリビューション(OOD)サンプルがあることを前提としており、不審な入力を検出し破壊することができる。
OOD仮定に依存しない新しい防衛戦略であるMISLEADERを提案する。
論文 参考訳(メタデータ) (2025-06-03T01:37:09Z) - Optimizing Robustness and Accuracy in Mixture of Experts: A Dual-Model Approach [14.639659415276533]
Mixture of Experts (MoE) は、複雑な機械学習タスクに専門のエキスパートネットワークを活用することに成功している。
敵攻撃に対する感受性は、堅牢なアプリケーションに展開する上で重要な課題である。
本稿では, 自然精度を維持しつつ, 頑健性をMoEに組み込む方法について論じる。
論文 参考訳(メタデータ) (2025-02-05T20:45:52Z) - Towards Adversarial Robustness of Model-Level Mixture-of-Experts Architectures for Semantic Segmentation [11.311414617703308]
都市交通シーンと高速道路交通シーンのセマンティックセグメンテーションにおけるMoEsの脆弱性を評価する。
多くの場合、MoEsは、インスタンスごとの攻撃や汎用的なホワイトボックス攻撃に対してより堅牢であり、転送攻撃に耐えられることを示す。
論文 参考訳(メタデータ) (2024-12-16T09:49:59Z) - Celtibero: Robust Layered Aggregation for Federated Learning [0.0]
Celtiberoは, 対向操作に対する強靭性を高めるため, 層状アグリゲーションを統合した新しい防御機構である。
セルティベロは、標的外および標的標的の毒殺攻撃において、最小攻撃成功率(ASR)を維持しつつ、常に高い主タスク精度(MTA)を達成することを実証した。
論文 参考訳(メタデータ) (2024-08-26T12:54:00Z) - Mixture of insighTful Experts (MoTE): The Synergy of Thought Chains and Expert Mixtures in Self-Alignment [103.05005690990271]
MoTE(Mixture of insightful Experts)は、推論チェーンとエキスパートミックスを組み合わせて自己調整を改善する新しいフレームワークである。
MoTEはモデルの安全性、脱獄耐性、過剰な拒否機能を大幅に改善し、OpenAIの最先端のo1モデルに匹敵するパフォーマンスを実現している。
論文 参考訳(メタデータ) (2024-05-01T15:06:05Z) - Unlearning Backdoor Threats: Enhancing Backdoor Defense in Multimodal Contrastive Learning via Local Token Unlearning [49.242828934501986]
マルチモーダルコントラスト学習は高品質な機能を構築するための強力なパラダイムとして登場した。
バックドア攻撃は 訓練中に モデルに 悪意ある行動を埋め込む
我々は,革新的なトークンベースの局所的忘れ忘れ学習システムを導入する。
論文 参考訳(メタデータ) (2024-03-24T18:33:15Z) - FLIP: A Provable Defense Framework for Backdoor Mitigation in Federated
Learning [66.56240101249803]
我々は,クライアントの強固化がグローバルモデル(および悪意のあるクライアント)に与える影響について検討する。
本稿では, 逆エンジニアリングによる防御手法を提案するとともに, 堅牢性を保証して, 改良を実現できることを示す。
競合する8つのSOTA防御法について, 単発および連続のFLバックドア攻撃に対して, 提案手法の実証的優位性を示した。
論文 参考訳(メタデータ) (2022-10-23T22:24:03Z) - Boosting Adversarial Training with Hypersphere Embedding [53.75693100495097]
敵対的訓練は、ディープラーニングモデルに対する敵対的攻撃に対する最も効果的な防御の1つである。
本研究では,超球埋め込み機構をATプロシージャに組み込むことを提唱する。
我々は,CIFAR-10 と ImageNet データセットに対する幅広い敵対攻撃の下で本手法を検証した。
論文 参考訳(メタデータ) (2020-02-20T08:42:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。