論文の概要: Two is Better than One: Efficient Ensemble Defense for Robust and Compact Models

• arxiv url: http://arxiv.org/abs/2504.04747v1
• Date: Mon, 07 Apr 2025 05:41:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-08 14:11:14.826536
• Title: Two is Better than One: Efficient Ensemble Defense for Robust and Compact Models
• Title（参考訳）: 2つは1より優れている:ロバストモデルとコンパクトモデルのための効率的なアンサンブルディフェンス
• Authors: Yoojin Jung, Byung Cheol Song,
• Abstract要約: 我々は,異なるプルーニング重要度スコアに基づいて単一ベースモデルの圧縮を多様化し,高い対向的堅牢性と資源効率を達成するためにアンサンブルの多様性を高めるEEDを紹介する。 EEDは、既存の敵プルーニング技術と比較して最先端の性能を示し、推論速度は最大1.86倍に向上した。
• 参考スコア（独自算出の注目度）: 21.88436406884943
• License:
• Abstract: Deep learning-based computer vision systems adopt complex and large architectures to improve performance, yet they face challenges in deployment on resource-constrained mobile and edge devices. To address this issue, model compression techniques such as pruning, quantization, and matrix factorization have been proposed; however, these compressed models are often highly vulnerable to adversarial attacks. We introduce the \textbf{Efficient Ensemble Defense (EED)} technique, which diversifies the compression of a single base model based on different pruning importance scores and enhances ensemble diversity to achieve high adversarial robustness and resource efficiency. EED dynamically determines the number of necessary sub-models during the inference stage, minimizing unnecessary computations while maintaining high robustness. On the CIFAR-10 and SVHN datasets, EED demonstrated state-of-the-art robustness performance compared to existing adversarial pruning techniques, along with an inference speed improvement of up to 1.86 times. This proves that EED is a powerful defense solution in resource-constrained environments.
• Abstract（参考訳）: ディープラーニングベースのコンピュータビジョンシステムは、パフォーマンスを改善するために複雑で大規模なアーキテクチャを採用するが、リソースに制約のあるモバイルデバイスやエッジデバイスへのデプロイでは課題に直面している。 この問題に対処するために、プルーニング、量子化、行列分解などのモデル圧縮技術が提案されているが、これらの圧縮モデルは敵攻撃に対して非常に脆弱であることが多い。 本稿では,異なるプルーニング重要度スコアに基づいて単一ベースモデルの圧縮を多様化し,アンサンブルの多様性を高め,高い対向的堅牢性と資源効率を実現するための「textbf{Efficient Ensemble Defense (EED) 技術」を紹介する。 EEDは推論段階で必要なサブモデルの数を動的に決定し、高い堅牢性を維持しながら不要な計算を最小限にする。 CIFAR-10 と SVHN のデータセットでは、EED は既存の対向プルーニング技術と比較して最先端のロバスト性性能を示し、推論速度は最大 1.86 倍向上した。 これは、EEDがリソース制約のある環境で強力な防御ソリューションであることを証明している。

関連論文リスト

• Adversarial Robustness through Dynamic Ensemble Learning [0.0]
  敵対的攻撃は、事前訓練された言語モデル(PLM)の信頼性に重大な脅威をもたらす 本稿では,このような攻撃に対するPLMの堅牢性を高めるための新しいスキームであるDynamic Ensemble Learning (ARDEL) による対逆ロバスト性について述べる。
  論文  参考訳（メタデータ） (2024-12-20T05:36:19Z)
• AsCAN: Asymmetric Convolution-Attention Networks for Efficient Recognition and Generation [48.82264764771652]
  本稿では,畳み込みブロックと変圧器ブロックを組み合わせたハイブリッドアーキテクチャAsCANを紹介する。 AsCANは、認識、セグメンテーション、クラス条件画像生成など、さまざまなタスクをサポートしている。 次に、同じアーキテクチャをスケールして、大規模なテキスト・イメージタスクを解決し、最先端のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2024-11-07T18:43:17Z)
• Automatically Learning Hybrid Digital Twins of Dynamical Systems [56.69628749813084]
  Digital Twins (DT)は、現実世界のシステムの状態と時間力学をシミュレートする。 DTは、しばしばデータスカース設定で目に見えない条件に一般化するのに苦労します。 本稿では,HDTwinsを自律的に提案し,評価し,最適化するための進化的アルゴリズム(textbfHDTwinGen$)を提案する。
  論文  参考訳（メタデータ） (2024-10-31T07:28:22Z)
• Hyper Adversarial Tuning for Boosting Adversarial Robustness of Pretrained Large Vision Models [9.762046320216005]
  大きな視覚モデルは敵の例に弱いことが分かっており、敵の強靭性を高める必要性を強調している。 近年の研究では、大規模視覚モデルにおけるローランク適応(LoRA)の逆調整のような堅牢な微調整法が提案されているが、完全なパラメータ逆微調整の精度の一致に苦慮している。 本稿では,モデルロバスト性を効率的にかつ効率的に向上するために,異なる手法間で共有された防御知識を活用するハイパー対戦チューニング(HyperAT)を提案する。
  論文  参考訳（メタデータ） (2024-10-08T12:05:01Z)
• Inference Optimization of Foundation Models on AI Accelerators [68.24450520773688]
  トランスフォーマーアーキテクチャを備えた大規模言語モデル(LLM)を含む強力な基礎モデルは、ジェネレーティブAIの新たな時代を支えている。 モデルパラメータの数が数十億に達すると、実際のシナリオにおける推論コストと高いレイテンシーが排除される。 このチュートリアルでは、AIアクセラレータを用いた補完推論最適化テクニックに関する包括的な議論を行っている。
  論文  参考訳（メタデータ） (2024-07-12T09:24:34Z)
• Adversarial Fine-tuning of Compressed Neural Networks for Joint Improvement of Robustness and Efficiency [3.3490724063380215]
  アドリラルトレーニングは、より堅牢なモデルをもたらすことができる緩和戦略として提示されている。 本稿では,2つの異なるモデル圧縮手法(構造的重み打ち法と量子化法)が対向ロバスト性に及ぼす影響について検討する。 本研究では, 圧縮モデルの逆方向微調整により, 対向訓練モデルに匹敵する強靭性性能が得られることを示す。
  論文  参考訳（メタデータ） (2024-03-14T14:34:25Z)
• When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
  PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。 実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-16T17:13:08Z)
• Consistency Models for Scalable and Fast Simulation-Based Inference [9.27488642055461]
  シミュレーションベース推論(SBI)のための新しい条件付きサンプルであるCMPEの整合性モデルを提案する。 CMPEは基本的に連続した確率フローを蒸留し、制約のないアーキテクチャで高速な数発の推論を可能にする。 実験により,CMPEは高次元のベンチマークで最先端のアルゴリズムより優れるだけでなく,より高速なサンプリング速度で競合性能を達成できることを示した。
  論文  参考訳（メタデータ） (2023-12-09T02:14:12Z)
• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• VeriCompress: A Tool to Streamline the Synthesis of Verified Robust Compressed Neural Networks from Scratch [10.061078548888567]
  AIの広範な統合により、安全クリティカルなシナリオのために、エッジや同様のリミテッドリソースプラットフォームにニューラルネットワーク(NN)がデプロイされるようになる。 本研究では,頑健性を保証する圧縮モデルの検索とトレーニングを自動化するツールであるVeriCompressを紹介する。 この方法は、最先端のアプローチよりも2～3倍高速で、それぞれ15.1ポイントと9.8ポイントの平均精度とロバスト性ゲインで関連するベースラインアプローチを上回ります。
  論文  参考訳（メタデータ） (2022-11-17T23:42:10Z)
• Adaptive Feature Alignment for Adversarial Training [56.17654691470554]
  CNNは通常、敵攻撃に対して脆弱であり、セキュリティに敏感なアプリケーションに脅威をもたらす。 任意の攻撃強度の特徴を生成するための適応的特徴アライメント(AFA)を提案する。 本手法は任意の攻撃強度の特徴を自動的に整列するように訓練されている。
  論文  参考訳（メタデータ） (2021-05-31T17:01:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。