論文の概要: Harmonic-NAS: Hardware-Aware Multimodal Neural Architecture Search on Resource-constrained Devices

• arxiv url: http://arxiv.org/abs/2309.06612v2
• Date: Thu, 28 Sep 2023 15:44:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-29 19:48:10.050350
• Title: Harmonic-NAS: Hardware-Aware Multimodal Neural Architecture Search on Resource-constrained Devices
• Title（参考訳）: Harmonic-NAS:資源制約デバイス上でのハードウェア対応マルチモーダルニューラルネットワーク探索
• Authors: Mohamed Imed Eddine Ghebriout, Halima Bouzidi, Smail Niar, Hamza Ouarnoughi
• Abstract要約: 本稿では,資源制約のあるデバイス上でハードウェアを意識した,単調なバックボーンとマルチモーダル融合ネットワークの協調最適化のためのフレームワークを提案する。 Harmonic-NASは10.9%の精度向上、1.91倍の遅延低減、2.14倍のエネルギー効率向上を実現している。
• 参考スコア（独自算出の注目度）: 0.4915744683251151
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The recent surge of interest surrounding Multimodal Neural Networks (MM-NN) is attributed to their ability to effectively process and integrate multiscale information from diverse data sources. MM-NNs extract and fuse features from multiple modalities using adequate unimodal backbones and specific fusion networks. Although this helps strengthen the multimodal information representation, designing such networks is labor-intensive. It requires tuning the architectural parameters of the unimodal backbones, choosing the fusing point, and selecting the operations for fusion. Furthermore, multimodality AI is emerging as a cutting-edge option in Internet of Things (IoT) systems where inference latency and energy consumption are critical metrics in addition to accuracy. In this paper, we propose Harmonic-NAS, a framework for the joint optimization of unimodal backbones and multimodal fusion networks with hardware awareness on resource-constrained devices. Harmonic-NAS involves a two-tier optimization approach for the unimodal backbone architectures and fusion strategy and operators. By incorporating the hardware dimension into the optimization, evaluation results on various devices and multimodal datasets have demonstrated the superiority of Harmonic-NAS over state-of-the-art approaches achieving up to 10.9% accuracy improvement, 1.91x latency reduction, and 2.14x energy efficiency gain.
• Abstract（参考訳）: 近年のマルチモーダルニューラルネットワーク(mm-nn)への関心の高まりは、多種多様なデータソースからのマルチスケール情報を効果的に処理し統合できることに起因する。 MM-NNは適切な一方向のバックボーンと特定の融合ネットワークを用いて複数のモードから特徴を抽出する。 これはマルチモーダル情報表現の強化に役立つが、そのようなネットワークの設計は労働集約的である。 ユニモーダルバックボーンのアーキテクチャパラメータをチューニングし、融合点を選択し、融合のための操作を選択する必要がある。 さらに、IoT(Internet of Things)システムでは、推論レイテンシとエネルギー消費が精度に加えて重要な指標となる最先端オプションとして、マルチモダリティAIが登場している。 本稿では,リソース制約のあるデバイスにハードウェアを意識した,単調バックボーンとマルチモーダル融合ネットワークの協調最適化のためのフレームワークであるHarmonic-NASを提案する。 harmonic-nasは、ユニモーダルバックボーンアーキテクチャと融合戦略と演算子のための2層最適化アプローチを含んでいる。 ハードウェア次元を最適化に組み込むことにより、様々なデバイスやマルチモーダルデータセットの評価結果が、10.9%の精度向上、1.1倍のレイテンシ削減、2.14倍のエネルギー効率向上を達成する最先端アプローチよりも高調波nasが優れていることを実証した。

関連論文リスト

• Neuromorphic Wireless Split Computing with Multi-Level Spikes [69.73249913506042]
  ニューロモルフィックコンピューティングでは、スパイクニューラルネットワーク(SNN)が推論タスクを実行し、シーケンシャルデータを含むワークロードの大幅な効率向上を提供する。 ハードウェアとソフトウェアの最近の進歩は、スパイクニューロン間で交換された各スパイクに数ビットのペイロードを埋め込むことにより、推論精度をさらに高めることを示した。 本稿では,マルチレベルSNNを用いた無線ニューロモルフィック分割計算アーキテクチャについて検討する。
  論文  参考訳（メタデータ） (2024-11-07T14:08:35Z)
• Resource-Efficient Sensor Fusion via System-Wide Dynamic Gated Neural Networks [16.0018681576301]
  我々はQuantile-Constrained Inference (QIC)と呼ばれる新しいアルゴリズム戦略を提案する。 QICは、上記のシステムのすべての側面について、共同で高品質で迅速な決定を行います。 結果,QICは最適値と一致し,選択肢を80%以上上回っていることを確認した。
  論文  参考訳（メタデータ） (2024-10-22T06:12:04Z)
• Resource Efficient Asynchronous Federated Learning for Digital Twin Empowered IoT Network [29.895766751146155]
  Digital twin(DT)は、IoT(Internet of Things)デバイスのリアルタイムステータスと動的トポロジマッピングを提供する。 我々は,非同期フェデレーション学習(FL)に基づく軽量DT強化IoTネットワークに適した動的リソーススケジューリングアルゴリズムを開発した。 具体的には,エネルギー消費と遅延の両方を包含する多目的関数を最小化する。
  論文  参考訳（メタデータ） (2024-08-26T14:28:51Z)
• CREMA: Generalizable and Efficient Video-Language Reasoning via Multimodal Modular Fusion [58.15403987979496]
  CREMAは、ビデオ推論のための一般化可能、高効率、モジュラリティ融合フレームワークである。 本稿では,軽量核融合モジュールとモーダリティ・シークエンシャル・トレーニング・ストラテジーによって支援された,新しいプログレッシブ・マルチモーダル・フュージョン設計を提案する。 ビデオQA や Video-Audio/3D/Touch/Thermal QA を含む7つのビデオ言語推論タスクについて検証を行った。
  論文  参考訳（メタデータ） (2024-02-08T18:27:22Z)
• Federated Learning for Energy-limited Wireless Networks: A Partial Model Aggregation Approach [79.59560136273917]
  デバイス間の限られた通信資源、帯域幅とエネルギー、およびデータ不均一性は、連邦学習(FL)の主要なボトルネックである まず、部分モデルアグリゲーション(PMA)を用いた新しいFLフレームワークを考案する。 提案されたPMA-FLは、2つの典型的な異種データセットにおいて2.72%と11.6%の精度を改善する。
  論文  参考訳（メタデータ） (2022-04-20T19:09:52Z)
• Dynamic Multimodal Fusion [8.530680502975095]
  動的マルチモーダル融合(DynMM)は,マルチモーダルデータを適応的に融合し,推論中にデータ依存の前方経路を生成する新しい手法である。 様々なマルチモーダルタスクの結果は、我々のアプローチの効率性と幅広い適用性を示している。
  論文  参考訳（メタデータ） (2022-03-31T21:35:13Z)
• Computational Intelligence and Deep Learning for Next-Generation Edge-Enabled Industrial IoT [51.68933585002123]
  エッジ対応産業用IoTネットワークにおける計算知能とディープラーニング(DL)の展開方法について検討する。 本稿では,新しいマルチエグジットベースフェデレーションエッジ学習(ME-FEEL)フレームワークを提案する。 特に、提案されたME-FEELは、非常に限られたリソースを持つ産業用IoTネットワークにおいて、最大32.7%の精度を達成することができる。
  論文  参考訳（メタデータ） (2021-10-28T08:14:57Z)
• Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment Analysis [96.46952672172021]
  Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。 モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
  論文  参考訳（メタデータ） (2021-07-28T23:33:42Z)
• BM-NAS: Bilevel Multimodal Neural Architecture Search [30.472605201814428]
  本稿では,Bilevel Multimodal Neural Architecture Search (BM-NAS)フレームワークを提案する。 マルチモーダル融合モデルのアーキテクチャを2レベル探索方式で完全に検索可能にします。 BM-NASは探索時間が少なく、モデルパラメータも少ない競争性能を実現している。
  論文  参考訳（メタデータ） (2021-04-19T15:09:49Z)
• Deep-HOSeq: Deep Higher Order Sequence Fusion for Multimodal Sentiment Analysis [12.386788662621338]
  マルチモーダル感情分析は、感情分類に複数の異種モダリティを利用する。 最近の多モード融合方式はLSTMをカスタマイズしてモード内ダイナミクスを発見する。 モーダル内力学とモーダル間力学の両方を発見するための共通ネットワークを提案する。
  論文  参考訳（メタデータ） (2020-10-16T08:02:11Z)
• Deep Multi-Task Learning for Cooperative NOMA: System Design and Principles [52.79089414630366]
  我々は,近年のディープラーニング(DL)の進歩を反映した,新しいディープ・コラボレーティブなNOMAスキームを開発する。 我々は,システム全体を包括的に最適化できるように,新しいハイブリッドカスケードディープニューラルネットワーク(DNN)アーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-07-27T12:38:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。