論文の概要: AxMoE: Characterizing the Impact of Approximate Multipliers on Mixture-of-Experts DNN Architectures

• arxiv url: http://arxiv.org/abs/2605.04754v1
• Date: Wed, 06 May 2026 11:02:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-07 18:41:07.783788
• Title: AxMoE: Characterizing the Impact of Approximate Multipliers on Mixture-of-Experts DNN Architectures
• Title（参考訳）: AxMoE:Mixture-of-Experts DNNアーキテクチャにおける近似乗算器の影響の特徴
• Abstract要約: 本稿では、近似乗算がMoE DNNアーキテクチャに与える影響について、最初の研究であるAxMoEについて述べる。 我々は、3つのCNNアーキテクチャにわたる高密度ベースラインに対して、Hard MoE、Soft MoE、Cluster MoEの3つのMoEを評価した。 結果は、将来の近似したMoEハードウェア-ソフトウェア共同設計戦略の道を開く。
• 参考スコア（独自算出の注目度）: 0.14337588659482522
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Deep neural network (DNN) inference at the edge demands simultaneous improvements in accuracy, computational efficiency, and energy consumption. Approximate computing and Mixture-of-Experts (MoE) architectures have each been studied as independent routes towards efficient inference, the former by replacing exact arithmetic with low-power approximate multipliers, the latter by routing inputs through specialized expert sub-networks to enable conditional computation. However, their interaction remains entirely unexplored. This paper presents AxMoE, the first study of the impact of approximate multiplication on MoE DNN architectures. We evaluate three MoE variants: Hard MoE, Soft MoE, and Cluster MoE against dense baselines across three CNN architectures (ResNet-20, VGG11_bn, VGG19_bn) on CIFAR-100 and a Vision Transformer (ViT-Small) on Tiny ImageNet-200 dataset, using eight 8-bit signed multipliers (including one exact baseline) from the EvoApproxLib library. Results show that, without retraining, the Dense baseline is the most resilient topology across all CNN architectures, whereas on ViT-Small, all topologies degrade at comparable rates regardless of routing strategy. After approximate-aware retraining, recovery varies substantially across architectures, topologies, and multipliers. ResNet-20 achieves full recovery across the entire multiplier range, whereas VGG architectures recover at moderate multipliers but fail irreversibly at aggressive ones for all topologies except Cluster MoE on VGG11_bn; on ViT-Small, Hard MoE outperforms Dense under aggressive approximation at equal normalized inference cost. These results pave the way for future approximate MoE hardware-software co-design strategies.
• Abstract（参考訳）: エッジでのディープニューラルネットワーク(DNN)推論は、精度、計算効率、エネルギー消費の同時改善を要求する。 近似計算とMixture-of-Experts (MoE) アーキテクチャは、それぞれ、効率的な推論への独立したルートとして研究され、前者は、厳密な算術を低消費電力近似乗算器に置き換え、後者は、専門のサブネットワークを介して入力をルーティングして条件付き計算を可能にした。 しかし、その相互作用は完全に解明されていない。 本稿では、近似乗算がMoE DNNアーキテクチャに与える影響について、最初の研究であるAxMoEについて述べる。 CIFAR-100上の3つのCNNアーキテクチャ(ResNet-20, VGG11_bn, VGG19_bn)と、Tiny ImageNet-200データセット上のVit-Small(ViT-Small)の8ビット符号乗算器(1つの正確なベースラインを含む)を用いて、Hard MoE、Soft MoE、Cluster MoEの3つのMoE変異体を評価する。 その結果、Denseベースラインは、すべてのCNNアーキテクチャにおいて最も回復力のあるトポロジであるのに対して、ViT-Smallでは、ルーティング戦略に関わらず、すべてのトポロジは同等の速度で劣化することがわかった。 ほぼ認識された再トレーニングの後、リカバリはアーキテクチャ、トポロジ、乗算器によって大きく異なる。 ResNet-20は乗算器全体の完全リカバリを実現するが、VGGアーキテクチャは適度な乗算器でリカバリするが、VGG11_bn上のクラスタMoEを除いて全てのトポロジでアグレッシブに失敗する。 これらの結果は、将来の近似MoEハードウェア-ソフトウェア共同設計戦略の道を開くものである。

関連論文リスト

• Model-Free Surrogate-Assisted Neural Architecture Search for Evolving Variable-Length Dense Blocks [2.473241744699909]
  畳み込みニューラルネットワークアーキテクチャの進化のためのモデルフリーサロゲートPSOネットワーク(MFSPNet)を提案する。 MFSPNetは、パーティクルスワム最適化(PSO)フレームワークに軽量なモデルフリーサロゲート予測器を統合し、事前訓練されたサロゲートモデルを必要としない。 CIFAR-10, CIFAR-100, SVHNでは, それぞれ3.91%, 17.68%, 1.91%の誤差率が得られる。
  論文  参考訳（メタデータ） (2026-09-02T11:32:07Z)
• Learning Faster without Deeper Networks: A*-Inspired Batch Selection for Efficient CNN Training [0.0]
  A*-Inspired Batch Selection (A*-BS)は、ミニバッチスケジューリングを探索問題として定式化する軽量でモデルに依存しない戦略である。 MedMNIST-v2ベンチマークの12種類の2次元分類タスクに対してA*-BSを評価する。
  論文  参考訳（メタデータ） (2026-07-17T08:33:43Z)
• MOBIUS: Big-to-Mobile Universal Instance Segmentation via Multi-modal Bottleneck Fusion and Calibrated Decoder Pruning [91.90342432541138]
  モデルサイズとトレーニングデータのスケールアップには、インスタンスレベルの知覚のための高度な基盤モデルがある。 資源制約されたプラットフォームにおける高い計算コスト制限。 我々は,高性能コンピューティングプラットフォームとモバイルデバイスの両方において,効率的なセグメンテーションのための新しいベンチマークを導入する。
  論文  参考訳（メタデータ） (2025-10-16T18:00:00Z)
• An Efficient and Mixed Heterogeneous Model for Image Restoration [71.85124734060665]
  現在の主流のアプローチは、CNN、Transformers、Mambasの3つのアーキテクチャパラダイムに基づいている。 混合構造融合に基づく効率的で汎用的なIRモデルであるRestorMixerを提案する。
  論文  参考訳（メタデータ） (2025-04-15T08:19:12Z)
• EPS-MoE: Expert Pipeline Scheduler for Cost-Efficient MoE Inference [49.94169109038806]
  本稿では,既存の並列処理方式を超越したMoE用パイプラインスケジューラであるEPS-MoEを紹介する。 その結果,既存の並列推論手法と比較して,プリフィルスループットは52.4%向上した。
  論文  参考訳（メタデータ） (2024-10-16T05:17:49Z)
• Shortcut-connected Expert Parallelism for Accelerating Mixture-of-Experts [4.629608387540524]
  ScMoEは、重複する並列化戦略と統合された新しいショートカット接続型MoEアーキテクチャである。 一般的なトップ2のMoEベースラインと比較して、ScMoEはトレーニングで1.49倍、推論で1.82倍のスピードアップを達成する。
  論文  参考訳（メタデータ） (2024-04-07T17:17:23Z)
• Mechanistic Design and Scaling of Hybrid Architectures [114.3129802943915]
  我々は、様々な計算プリミティブから構築された新しいハイブリッドアーキテクチャを特定し、テストする。 本研究では,大規模計算最適法則と新しい状態最適スケーリング法則解析を用いて,結果のアーキテクチャを実験的に検証する。 我々は,MAD合成法と計算-最適パープレキシティを相関させ,新しいアーキテクチャの正確な評価を可能にする。
  論文  参考訳（メタデータ） (2024-03-26T16:33:12Z)
• Build a Robust QA System with Transformer-based Mixture of Experts [0.29005223064604074]
  私たちは、ドメイン外のデータセットに適応できる堅牢な質問応答システムを構築しています。 我々は、ドメイン外評価において、最高のアーキテクチャとデータ拡張技術の組み合わせが53.477 F1スコアを達成することを示す。
  論文  参考訳（メタデータ） (2022-03-20T02:38:29Z)
• DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and Transformers [105.74546828182834]
  本稿では,様々な難易度を持つ入力に対して,ネットワークパラメータの一部を適応的にスライスする動的ウェイトスライシングという,ハードウェア効率のよい動的推論方式を示す。 我々は、CNNのフィルタ数とCNNと変換器の多重次元を入力依存的に調整することで、動的スライム可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。
  論文  参考訳（メタデータ） (2021-09-21T09:57:21Z)
• FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining [65.39532971991778]
  サンプル選択とランキングの両方を導くことで、アーキテクチャとトレーニングのレシピを共同でスコアする精度予測器を提案する。 高速な進化的検索をCPU分で実行し、さまざまなリソース制約に対するアーキテクチャと準備のペアを生成します。 FBNetV3は最先端のコンパクトニューラルネットワークのファミリーを構成しており、自動と手動で設計された競合より優れている。
  論文  参考訳（メタデータ） (2020-06-03T05:20:21Z)
• PERMDNN: Efficient Compressed DNN Architecture with Permuted Diagonal Matrices [35.90103072918056]
  ディープニューラルネットワーク(DNN)は、最も重要で人気のある人工知能(AI)技術として登場した。 モデルサイズの成長は、基盤となるコンピューティングプラットフォームにとって重要なエネルギー効率の課題である。 本稿では、ハードウェアフレンドリーな構造化DNNモデルの生成と実行のための新しいアプローチであるPermDNNを提案する。
  論文  参考訳（メタデータ） (2020-04-23T02:26:40Z)
• When Residual Learning Meets Dense Aggregation: Rethinking the Aggregation of Deep Neural Networks [57.0502745301132]
  我々は,グローバルな残差学習と局所的なマイクロセンスアグリゲーションを備えた新しいアーキテクチャであるMicro-Dense Netsを提案する。 我々のマイクロセンスブロックはニューラルアーキテクチャ検索に基づくモデルと統合して性能を向上させることができる。
  論文  参考訳（メタデータ） (2020-04-19T08:34:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。