論文の概要: Optimizing Robustness and Accuracy in Mixture of Experts: A Dual-Model Approach

• arxiv url: http://arxiv.org/abs/2502.06832v2
• Date: Wed, 12 Feb 2025 05:30:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-13 13:46:46.217354
• Title: Optimizing Robustness and Accuracy in Mixture of Experts: A Dual-Model Approach
• Title（参考訳）: エキスパートの混合におけるロバストさと精度の最適化:デュアルモデルアプローチ
• Authors: Xu Zhang, Kaidi Xu, Ziqing Hu, Ren Wang,
• Abstract要約: Mixture of Experts (MoE) は、複雑な機械学習タスクに専門のエキスパートネットワークを活用することに成功している。 敵攻撃に対する感受性は、堅牢なアプリケーションに展開する上で重要な課題である。 本稿では, 自然精度を維持しつつ, 頑健性をMoEに組み込む方法について論じる。
• 参考スコア（独自算出の注目度）: 14.639659415276533
• License:
• Abstract: Mixture of Experts (MoE) have shown remarkable success in leveraging specialized expert networks for complex machine learning tasks. However, their susceptibility to adversarial attacks presents a critical challenge for deployment in robust applications. This paper addresses the critical question of how to incorporate robustness into MoEs while maintaining high natural accuracy. We begin by analyzing the vulnerability of MoE components, finding that expert networks are notably more susceptible to adversarial attacks than the router. Based on this insight, we propose a targeted robust training technique that integrates a novel loss function to enhance the adversarial robustness of MoE, requiring only the robustification of one additional expert without compromising training or inference efficiency. Building on this, we introduce a dual-model strategy that linearly combines a standard MoE model with our robustified MoE model using a smoothing parameter. This approach allows for flexible control over the robustness-accuracy trade-off. We further provide theoretical foundations by deriving certified robustness bounds for both the single MoE and the dual-model. To push the boundaries of robustness and accuracy, we propose a novel joint training strategy JTDMoE for the dual-model. This joint training enhances both robustness and accuracy beyond what is achievable with separate models. Experimental results on CIFAR-10 and TinyImageNet datasets using ResNet18 and Vision Transformer (ViT) architectures demonstrate the effectiveness of our proposed methods.
• Abstract（参考訳）: Mixture of Experts (MoE) は、複雑な機械学習タスクに専門のエキスパートネットワークを活用することに成功している。 しかし、敵攻撃への感受性は、堅牢なアプリケーションへの展開において重要な課題である。 本稿では, 自然精度を維持しつつ, 頑健性をMoEに組み込む方法に関する批判的問題に対処する。 私たちはまず、MoEコンポーネントの脆弱性を分析し、専門家ネットワークがルータよりも敵攻撃の影響を受けやすいことを発見した。 そこで本研究では,MoEの対角的ロバスト性を高めるために,新たなロス関数を統合したロバストトレーニング手法を提案する。 これに基づいて、平滑化パラメータを用いた標準MoEモデルとロバスト化MoEモデルとを線形に結合する双対モデル戦略を導入する。 このアプローチはロバストネスと精度のトレードオフを柔軟に制御できる。 さらに、単一の MoE と双対モデルの両方に対して証明された堅牢性境界を導出することにより、理論的基礎を提供する。 頑健さと精度の境界を推し進めるために,両モデルのための新しい共同学習戦略JTDMoEを提案する。 この共同トレーニングは、異なるモデルで達成可能なものを超えて、堅牢性と正確性の両方を高める。 The experimental results on CIFAR-10 and TinyImageNet datasets using ResNet18 and Vision Transformer (ViT) architectures showed the effective of our method。

関連論文リスト

• Adversarial Robustness through Dynamic Ensemble Learning [0.0]
  敵対的攻撃は、事前訓練された言語モデル(PLM)の信頼性に重大な脅威をもたらす 本稿では,このような攻撃に対するPLMの堅牢性を高めるための新しいスキームであるDynamic Ensemble Learning (ARDEL) による対逆ロバスト性について述べる。
  論文  参考訳（メタデータ） (2024-12-20T05:36:19Z)
• A Hybrid Defense Strategy for Boosting Adversarial Robustness in Vision-Language Models [9.304845676825584]
  本稿では,複数の攻撃戦略と高度な機械学習技術を統合した,新たな敵訓練フレームワークを提案する。 CIFAR-10 や CIFAR-100 などの実世界のデータセットで行った実験により,提案手法がモデルロバスト性を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2024-10-18T23:47:46Z)
• Dynamic Label Adversarial Training for Deep Learning Robustness Against Adversarial Attacks [11.389689242531327]
  対人訓練は、モデルの堅牢性を高める最も効果的な方法の1つである。 従来のアプローチでは、主に敵の訓練に静的接地真理を用いるが、しばしば強固なオーバーフィッティングを引き起こす。 本稿では,動的ラベル対逆トレーニング(DYNAT)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-08-23T14:25:12Z)
• A Provably Effective Method for Pruning Experts in Fine-tuned Sparse Mixture-of-Experts [49.394145046409044]
  本論文は,MoEモデルにおけるエキスパートの刈り取りに有効な手法として,初めて提案するものである。 理論的には、事前訓練されたモデルからルータl2ノルムを小さく変更することで、専門家のプルーニングを優先順位付けすることで、テスト精度の維持が保証される。 我々の理論解析は、単純化されたMoEアーキテクチャ上でのバイナリ分類タスクに重点を置いているが、我々の専門的なプルーニング手法は、大きな視覚的MoEモデルに基づいて検証されている。
  論文  参考訳（メタデータ） (2024-05-26T17:52:58Z)
• Mixture of insighTful Experts (MoTE): The Synergy of Thought Chains and Expert Mixtures in Self-Alignment [103.05005690990271]
  本稿では,自己アライメントを改善するために,推論チェーンとエキスパートミックスを組み合わせた新しいフレームワークを提案する。 MoTEは、質問分析、回答ガイダンス、安全回答、安全チェックの4つの主要なステージからなる構造化推論チェーンを採用している。 MoTEはモデルの安全性、脱獄耐性、過剰な拒否機能を大幅に改善し、OpenAIの最先端のo1モデルに匹敵するパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-05-01T15:06:05Z)
• FullLoRA-AT: Efficiently Boosting the Robustness of Pretrained Vision Transformers [61.48709409150777]
  Vision Transformer (ViT) モデルは、様々なコンピュータビジョンタスクにおいて徐々に主流になりつつある。 既存の大きなモデルは、トレーニング中のパフォーマンスを優先する傾向があり、ロバストさを無視する可能性がある。 従来のLoRAモジュールよりも前に学習可能なレイヤ正規化を取り入れた新しいLNLoRAモジュールを開発した。 本稿では,学習可能なLNLoRAモジュールをViTモデルの主要コンポーネントに組み込むことにより,FullLoRA-ATフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-03T14:08:39Z)
• Improving Generalization of Adversarial Training via Robust Critical Fine-Tuning [19.91117174405902]
  ディープニューラルネットワークは敵の例に影響を受けやすく、重要なアプリケーションにおいて重大なセキュリティリスクを生じさせる。 本稿では,対向的強靭性を損なうことなく一般化を促進する新しい手法であるロバストネスクリティカルファインタニング(RiFT)を提案する。
  論文  参考訳（メタデータ） (2023-08-01T09:02:34Z)
• Interpolated Joint Space Adversarial Training for Robust and Generalizable Defenses [82.3052187788609]
  敵の訓練(AT)は、敵の攻撃に対する最も信頼できる防御の1つと考えられている。 近年の研究では、新たな脅威モデルの下での対向サンプルによる一般化の改善が示されている。 我々は、JSTM(Joint Space Threat Model)と呼ばれる新しい脅威モデルを提案する。 JSTMでは,新たな敵攻撃・防衛手法が開発されている。
  論文  参考訳（メタデータ） (2021-12-12T21:08:14Z)
• Once-for-All Adversarial Training: In-Situ Tradeoff between Robustness and Accuracy for Free [115.81899803240758]
  敵の訓練とその多くの変種は、ネットワークの堅牢性を大幅に改善するが、標準精度を妥協するコストがかかる。 本稿では,訓練されたモデルをその場で迅速に校正する方法を問うとともに,その標準と堅牢な精度のトレードオフについて検討する。 提案するフレームワークであるOne-for-all Adversarial Training (OAT)は,革新的なモデル条件トレーニングフレームワーク上に構築されている。
  論文  参考訳（メタデータ） (2020-10-22T16:06:34Z)
• Boosting Adversarial Training with Hypersphere Embedding [53.75693100495097]
  敵対的訓練は、ディープラーニングモデルに対する敵対的攻撃に対する最も効果的な防御の1つである。 本研究では,超球埋め込み機構をATプロシージャに組み込むことを提唱する。 我々は,CIFAR-10 と ImageNet データセットに対する幅広い敵対攻撃の下で本手法を検証した。
  論文  参考訳（メタデータ） (2020-02-20T08:42:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。