論文の概要: MoENAS: Mixture-of-Expert based Neural Architecture Search for jointly Accurate, Fair, and Robust Edge Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2502.07422v1
• Date: Tue, 11 Feb 2025 10:02:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 14:08:59.064529
• Title: MoENAS: Mixture-of-Expert based Neural Architecture Search for jointly Accurate, Fair, and Robust Edge Deep Neural Networks
• Title（参考訳）: MoENAS: 高精度,フェア,ロバストなエッジニューラルネットワークのためのMixture-of-Expertベースのニューラルネットワーク探索
• Authors: Lotfi Abdelkrim Mecharbat, Alberto Marchisio, Muhammad Shafique, Mohammad M. Ghassemi, Tuka Alhanai,
• Abstract要約: Mixture-of-Experts-based Neural Architecture Search (MoENAS)は、専門家の混合空間をナビゲートして、正確で公平で堅牢で汎用的なDNNを発見する自動設計技術である。 MoENASはSOTAエッジDNNと比較して精度を4.02%改善し、肌の色調の差を149%から5.60%に下げる。
• 参考スコア（独自算出の注目度）: 6.094544927078479
• License:
• Abstract: There has been a surge in optimizing edge Deep Neural Networks (DNNs) for accuracy and efficiency using traditional optimization techniques such as pruning, and more recently, employing automatic design methodologies. However, the focus of these design techniques has often overlooked critical metrics such as fairness, robustness, and generalization. As a result, when evaluating SOTA edge DNNs' performance in image classification using the FACET dataset, we found that they exhibit significant accuracy disparities (14.09%) across 10 different skin tones, alongside issues of non-robustness and poor generalizability. In response to these observations, we introduce Mixture-of-Experts-based Neural Architecture Search (MoENAS), an automatic design technique that navigates through a space of mixture of experts to discover accurate, fair, robust, and general edge DNNs. MoENAS improves the accuracy by 4.02% compared to SOTA edge DNNs and reduces the skin tone accuracy disparities from 14.09% to 5.60%, while enhancing robustness by 3.80% and minimizing overfitting to 0.21%, all while keeping model size close to state-of-the-art models average size (+0.4M). With these improvements, MoENAS establishes a new benchmark for edge DNN design, paving the way for the development of more inclusive and robust edge DNNs.
• Abstract（参考訳）: プルーニングなどの従来の最適化手法を用いて、エッジディープニューラルネットワーク(DNN)の精度と効率の最適化が急増しており、最近では自動設計手法が採用されている。 しかしながら、これらの設計技法の焦点は、公正性、堅牢性、一般化といった重要な指標を見落としていることが多い。 その結果、FACETデータセットを用いて画像分類におけるSOTAエッジDNNの性能を評価すると、10種類の肌のトーンに有意な精度差(14.09%)があることが判明した。 これらの観測に応えて、我々はMixture-of-Experts-based Neural Architecture Search (MoENAS)を導入しました。 MoENASはSOTAエッジDNNと比較して精度を4.02%改善し、皮膚のトーン精度の差を14.09%から5.60%に減らし、頑丈さを3.80%向上させ、オーバーフィッティングを0.21%に抑えるとともに、モデルサイズを最先端モデルの平均サイズ(+0.4M)に近づける。 これらの改善により、MoENASはエッジDNN設計のための新しいベンチマークを確立し、より包括的で堅牢なエッジDNNを開発するための道を開いた。

関連論文リスト

• NAS-BNN: Neural Architecture Search for Binary Neural Networks [55.058512316210056]
  我々は、NAS-BNNと呼ばれる二元ニューラルネットワークのための新しいニューラルネットワーク探索手法を提案する。 我々の発見したバイナリモデルファミリーは、20Mから2Mまでの幅広い操作(OP)において、以前のBNNよりも優れていた。 さらに,対象検出タスクにおける探索されたBNNの転送可能性を検証するとともに,探索されたBNNを用いたバイナリ検出器は,MSデータセット上で31.6% mAP,370万 OPsなどの新たな最先端結果を得る。
  論文  参考訳（メタデータ） (2024-08-28T02:17:58Z)
• Noise Adaptor in Spiking Neural Networks [4.568827262994048]
  低遅延スパイクニューラルネットワーク(SNN)アルゴリズムは大きな関心を集めている。 低遅延SNNを構築する最も効率的な方法の1つは、事前訓練された低ビット人工ニューラルネットワーク(ANN)をSNNに変換することである。 SNNを低ビットのANNから変換すると、時折ノイズが発生する可能性がある。
  論文  参考訳（メタデータ） (2023-12-08T16:57:01Z)
• Robust Mixture-of-Expert Training for Convolutional Neural Networks [141.3531209949845]
  スパースゲート型Mixture of Expert (MoE) は高精度で超効率的なモデル推論を実現するための大きな可能性を実証している。 本稿では、AdvMoEと呼ばれるMoEのための新しいルータ-エキスパート交互学習フレームワークを提案する。 その結果,AdvMoEは従来の高密度CNNに比べて1%の対向ロバスト性向上を実現し,親和性に富むMoEの有効性を享受できることがわかった。
  論文  参考訳（メタデータ） (2023-08-19T20:58:21Z)
• Can Deep Neural Networks be Converted to Ultra Low-Latency Spiking Neural Networks? [3.2108350580418166]
  スパイクニューラルネットワーク(SNN)は、時間とともに分散されたバイナリスパイクを介して動作する。 SNNのためのSOTAトレーニング戦略は、非スパイキングディープニューラルネットワーク(DNN)からの変換を伴う そこで本研究では,DNNと変換SNNの誤差を最小限に抑えながら,これらの分布を正確にキャプチャする新たなトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-12-22T18:47:45Z)
• Elastic-Link for Binarized Neural Network [9.83865304744923]
  ELモジュールは、その後の畳み込み出力特徴に実値入力特徴を適応的に付加することにより、BNN内の情報フローを豊かにする。 ELは、大規模なImageNetデータセットに挑戦する上で、大幅に改善されている。 ReActNetの統合により、71.9%の精度で新しい最先端結果が得られる。
  論文  参考訳（メタデータ） (2021-12-19T13:49:29Z)
• DEBOSH: Deep Bayesian Shape Optimization [48.80431740983095]
  形状最適化に適した不確実性に基づく新しい手法を提案する。 効果的なBOを可能にし、その結果の形状の質を最先端のアプローチを超えて向上させる。
  論文  参考訳（メタデータ） (2021-09-28T11:01:42Z)
• ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked Models [56.21470608621633]
  本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。 提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。 生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
  論文  参考訳（メタデータ） (2021-05-07T11:39:05Z)
• PEng4NN: An Accurate Performance Estimation Engine for Efficient Automated Neural Network Architecture Search [0.0]
  ニューラルネットワーク(NN)モデルは、科学シミュレーションやAI、その他の高性能コンピューティング分野でますます利用されている。 NASは、NN機能をキャプチャする主要なメトリクスによってパフォーマンスが測定される特殊なダットセットに対して、優れたパフォーマンスのNNモデルを見つけようとする。 本稿では,NNのトレーニングリソースを削減し,NASスループットを向上する性能推定手法を提案する。
  論文  参考訳（メタデータ） (2021-01-11T20:49:55Z)
• EMPIR: Ensembles of Mixed Precision Deep Networks for Increased Robustness against Adversarial Attacks [18.241639570479563]
  ディープニューラルネットワーク(DNN)は、小さな入力摂動が破滅的な誤分類を生じさせる敵の攻撃に対して脆弱である。 敵攻撃に対するロバスト性を高めるための新しいアプローチとして,異なる数値精度を持つ量子化DNNモデルのアンサンブルであるEMPIRを提案する。 EMPIRは、MNIST、CIFAR-10、ImageNetデータセットでトレーニングされたDNNモデルに対して、平均対向精度を42.6%、15.2%、10.5%向上させることを示す。
  論文  参考訳（メタデータ） (2020-04-21T17:17:09Z)
• A Privacy-Preserving-Oriented DNN Pruning and Mobile Acceleration Framework [56.57225686288006]
  モバイルエッジデバイスの限られたストレージとコンピューティング能力を満たすために、ディープニューラルネットワーク(DNN)の軽量プルーニングが提案されている。 従来のプルーニング手法は主に、ユーザデータのプライバシを考慮せずに、モデルのサイズを減らしたり、パフォーマンスを向上させることに重点を置いていた。 プライベートトレーニングデータセットを必要としないプライバシ保護指向のプルーニングおよびモバイルアクセラレーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-13T23:52:03Z)
• PatDNN: Achieving Real-Time DNN Execution on Mobile Devices with Pattern-based Weight Pruning [57.20262984116752]
  粗粒構造の内部に新しい次元、きめ細かなプルーニングパターンを導入し、これまで知られていなかった設計空間の点を明らかにした。 きめ細かいプルーニングパターンによって高い精度が実現されているため、コンパイラを使ってハードウェア効率を向上し、保証することがユニークな洞察である。
  論文  参考訳（メタデータ） (2020-01-01T04:52:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。