論文の概要: Robust CurveMoE: Multi-Norm Adversarial Defense for Mixture-of-Experts Models via Mode Connectivity

• arxiv url: http://arxiv.org/abs/2608.26043v1
• Date: Wed, 26 Aug 2026 17:21:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-27 14:15:15.963826
• Title: Robust CurveMoE: Multi-Norm Adversarial Defense for Mixture-of-Experts Models via Mode Connectivity
• Title（参考訳）: Robust CurveMoE:モード接続性による混成実験モデルのマルチノーム対応
• Abstract要約: マルチノーム敵防衛は、異なるノルム制約によって定義された摂動からニューラルネットワークを保護することを目的としている。 本稿では,異なる摂動規範に特化しているモデルを接続する,効率的な混合実験フレームワークであるRobust CurveMoEを提案する。 我々は、Robust CurveMoEが、MSDやERMCよりもクリーンで、標準固有で、ユニオンの精度を一貫して改善していることを示します。
• 参考スコア（独自算出の注目度）: 7.253548743260127
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-norm adversarial defense aims to protect neural networks against perturbations defined by different norm constraints, but existing methods typically optimize competing robustness objectives within a single parameter configuration, leading to substantial training cost and unfavorable robustness trade-offs. We propose Robust CurveMoE, an efficient mixture-of-experts framework that connects models specialized for different perturbation norms through a low-loss path and exploits the complementary robustness profiles of models along this path. Robust CurveMoE derives clean and norm-specialized experts from robustness-constrained curve locations and selectively expertizes only influential layers, while sharing the remaining parameters across routing paths. To further reduce curve-construction cost, we introduce contribution-guided partial updating, which selects influential curve parameters using initialization-based gradient scores. We also theoretically bound the objective gap between partial and full curve optimization. Experiments on CIFAR-100 and ImageNet-100 with WideResNet and Vision Transformer architectures show that Robust CurveMoE consistently improves clean, norm-specific, and Union accuracy over MSD and ERMC. In particular, it improves Union accuracy by 2.37 and 2.13 percentage points over the strongest baseline on CIFAR-100 and ImageNet-100, respectively. Extensive ablations further validate the effectiveness of partial updating, selective expertization, and robustness-constrained expert selection.
• Abstract（参考訳）: マルチノームの敵防衛は、ニューラルネットワークを異なるノルム制約によって定義された摂動から保護することを目的としているが、既存の手法は通常、1つのパラメータ構成内で競合する堅牢性目標を最適化し、実質的なトレーニングコストと好ましくない堅牢性トレードオフをもたらす。 ロバスト・カーヴモーエ(Robost CurveMoE)は、低損失経路を通じて異なる摂動規範に特化されるモデルを接続し、この経路に沿ったモデルの相補的ロバスト性プロファイルを利用する、効率的な混合実験フレームワークである。 Robust CurveMoEは、ロバスト性に制約された曲線位置からクリーンで規範化された専門家を導き出し、ルーティングパスにまたがる残りのパラメータを共有しながら、影響力のある層のみを選択的に専門家化する。 曲線構成コストをさらに削減するために、初期化に基づく勾配スコアを用いて影響のある曲線パラメータを選択するコントリビューション誘導部分更新を導入する。 また、部分曲線最適化と完全曲線最適化の客観的ギャップも理論的に有界である。 WideResNetとVision Transformerアーキテクチャを使ったCIFAR-100とImageNet-100の実験では、Robost CurveMoEはMSDとERMCよりもクリーンで標準固有でユニオンの精度を一貫して改善している。 特に、CIFAR-100とImageNet-100で最強のベースラインに対して、ユニオンの精度を2.37と2.13ポイント改善している。 広範囲にわたる改善は、部分的な更新、選択的専門家化、堅牢性に制約された専門家選択の有効性をさらに検証する。

関連論文リスト

• CoMerge: Conflict-Driven Preference Optimization for Multi-Task Model Merging [59.836482609414816]
  モデルマージのための競合駆動型優先最適化フレームワーク(CoMerge)を提案する。 CoMergeは、タスク固有の機能を保持しながら、パラメータ空間の競合を軽減するモデルを可能にする。 実験の結果、CoMerge は MergeBench 上で平均 0.9968 の正規化性能を達成した。
  論文  参考訳（メタデータ） (2026-09-02T08:21:28Z)
• Preference Data Selection for Mitigating the Alignment Tax in Large Language Models [52.18310687523229]
  BALIGNは、アライメント効率を最適化しながら破滅的な忘れを緩和するバランスのとれたデータ選択戦略である。 3つの重要なデータ中心の機能を統一された複合リスクスコアに集約することにより、BALIGNは、ハイリスクな選好サンプルを体系的にフィルタリングする。 標準的な人間の嗜好データセットの実験では、BALIGNはアライメントゲインを損なうことなく基礎的能力を強く保持している。
  論文  参考訳（メタデータ） (2026-08-25T07:58:42Z)
• Self-Distilled Trajectory-Aware Boltzmann Modeling: Bridging the Training-Inference Discrepancy in Diffusion Language Models [65.89572755202245]
  拡散言語モデル(DLM)は、より強力なグローバル認識と高い並列生成を提供する。 標準負のエビデンス下界(NELBO)に基づく教師付き微調整後のDLMは非効率である。 そこで本研究では,学習を推論の容易かつハードな構造に整合させる,自己蒸留軌道に基づくポストトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-12T09:39:06Z)
• Barrier-enforced multi-objective optimization for direct point and sharp interval forecasting [1.0966260566122237]
  本稿では,単一ニューラルネットワークモデルを用いた多段階確率予測フレームワークを提案する。 我々のアプローチは、ターゲットカバレッジ確率(PICP)を厳密に満たしたモデル構造設計により、非交差予測間隔(PI)を保証する。 その結果, 提案した損失は, PI幅が最も狭い対象範囲を達成し, 現行文献よりも一貫して優れていた。
  論文  参考訳（メタデータ） (2026-04-20T16:43:12Z)
• The Geometry of Robustness: Optimizing Loss Landscape Curvature and Feature Manifold Alignment for Robust Finetuning of Vision-Language Models [33.10473765967503]
  一般化保存法はID/OOD性能を維持するが、敵攻撃に弱いモデルを残す。 我々の重要な洞察は、ロバスト性トレードオフは、パラメータ空間における鋭く異方性のある最小値と、摂動下で変形する不安定な特徴表現の2つの幾何学的失敗に由来するということである。 本稿では,パラメータ空間の曲率と特徴空間の不変性を協調的に正規化する,統一的な微調整フレームワークGRACEを提案する。
  論文  参考訳（メタデータ） (2026-03-28T05:22:00Z)
• Alternating Gradient Flow Utility: A Unified Metric for Structural Pruning and Dynamic Routing in Deep Networks [52.153950303594684]
  交互勾配流(Alternating Gradient Flow, AGF)に着想を得た非結合型運動パラダイムを提案する。 AGFはネットワークの構造的「運動ユーティリティ」を正確にキャプチャする 我々は、AGFに誘導されるオフライン構造探索を、ゼロコストの物理プリミティブを介してオンライン実行から切り離すハイブリッドルーティングフレームワークを設計する。
  論文  参考訳（メタデータ） (2026-03-12T18:19:21Z)
• Isotonic Layer: A Universal Framework for Generic Recommendation Debiasing [2.24699417812702]
  Isotonic Layerは、神経アーキテクチャに直交線形フィッティングを直接統合する、斬新で差別化可能なフレームワークです。 これにより、モデルのアウトプットは、遅延関連性、相対性、品質スコアなどの重要な特徴と論理的に整合性を保つことができる。 提案手法は,2つのタスクの定式化を利用して,提案目標を遅延関連度推定とバイアス対応キャリブレーションに分解する。
  論文  参考訳（メタデータ） (2026-02-02T20:44:57Z)
• Adaptive Dual-Weighting Framework for Federated Learning via Out-of-Distribution Detection [53.45696787935487]
  Federated Learning (FL)は、大規模分散サービスノード間の協調的なモデルトレーニングを可能にする。 実世界のサービス指向デプロイメントでは、異種ユーザ、デバイス、アプリケーションシナリオによって生成されたデータは本質的にIIDではない。 FLoodは、オフ・オブ・ディストリビューション(OOD)検出にインスパイアされた新しいFLフレームワークである。
  論文  参考訳（メタデータ） (2026-02-01T05:54:59Z)
• Majorization-Minimization Networks for Inverse Problems: An Application to EEG Imaging [4.063392865490957]
  逆問題はしばしば誤りを犯し、強い安定性と収束を保証する最適化スキームを必要とする。 本稿では,二段階最適化設定における逆問題に対する学習されたMajorization-Minimization(MM)フレームワークを提案する。 我々は,古典的MM降下保証を保ちながら,各MMステップを管理する構造化曲率行列を学習する。
  論文  参考訳（メタデータ） (2026-01-23T10:33:45Z)
• Enhancing Reliability of Neural Networks at the Edge: Inverted Normalization with Stochastic Affine Transformations [0.22499166814992438]
  インメモリコンピューティングアーキテクチャに実装されたBayNNのロバスト性と推論精度を本質的に向上する手法を提案する。 実証的な結果は推論精度の優雅な低下を示し、最大で58.11%の値で改善された。
  論文  参考訳（メタデータ） (2024-01-23T00:27:31Z)
• Achieving Constraints in Neural Networks: A Stochastic Augmented Lagrangian Approach [49.1574468325115]
  DNN(Deep Neural Networks)の正規化は、一般化性の向上とオーバーフィッティングの防止に不可欠である。 制約付き最適化問題としてトレーニングプロセスのフレーミングによるDNN正規化に対する新しいアプローチを提案する。 我々はAugmented Lagrangian (SAL) 法を用いて、より柔軟で効率的な正規化機構を実現する。
  論文  参考訳（メタデータ） (2023-10-25T13:55:35Z)
• Modeling the Second Player in Distributionally Robust Optimization [90.25995710696425]
  我々は、最悪のケース分布を特徴付けるために神経生成モデルを使うことを議論する。 このアプローチは多くの実装と最適化の課題をもたらします。 提案されたアプローチは、同等のベースラインよりも堅牢なモデルを生み出す。
  論文  参考訳（メタデータ） (2021-03-18T14:26:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。