論文の概要: DiTMoS: Delving into Diverse Tiny-Model Selection on Microcontrollers
- arxiv url: http://arxiv.org/abs/2403.09035v1
- Date: Thu, 14 Mar 2024 02:11:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-15 22:07:16.827539
- Title: DiTMoS: Delving into Diverse Tiny-Model Selection on Microcontrollers
- Title(参考訳): DiTMoS:マイクロコントローラにおけるディバースティニーモデル選択
- Authors: Xiao Ma, Shengfeng He, Hezhe Qiao, Dong Ma,
- Abstract要約: 我々は、セレクタ分類器アーキテクチャを備えた新しいDNNトレーニングおよび推論フレームワークであるDiTMoSを紹介する。
弱いモデルの合成は高い多様性を示すことができ、それらの結合は精度の上限を大幅に高めることができる。
我々は,Nucleo STM32F767ZIボード上にDiTMoSをデプロイし,人間の活動認識,キーワードスポッティング,感情認識のための時系列データセットに基づいて評価する。
- 参考スコア(独自算出の注目度): 34.282971510732736
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Enabling efficient and accurate deep neural network (DNN) inference on microcontrollers is non-trivial due to the constrained on-chip resources. Current methodologies primarily focus on compressing larger models yet at the expense of model accuracy. In this paper, we rethink the problem from the inverse perspective by constructing small/weak models directly and improving their accuracy. Thus, we introduce DiTMoS, a novel DNN training and inference framework with a selector-classifiers architecture, where the selector routes each input sample to the appropriate classifier for classification. DiTMoS is grounded on a key insight: a composition of weak models can exhibit high diversity and the union of them can significantly boost the accuracy upper bound. To approach the upper bound, DiTMoS introduces three strategies including diverse training data splitting to increase the classifiers' diversity, adversarial selector-classifiers training to ensure synergistic interactions thereby maximizing their complementarity, and heterogeneous feature aggregation to improve the capacity of classifiers. We further propose a network slicing technique to alleviate the extra memory overhead incurred by feature aggregation. We deploy DiTMoS on the Neucleo STM32F767ZI board and evaluate it based on three time-series datasets for human activity recognition, keywords spotting, and emotion recognition, respectively. The experiment results manifest that: (a) DiTMoS achieves up to 13.4% accuracy improvement compared to the best baseline; (b) network slicing almost completely eliminates the memory overhead incurred by feature aggregation with a marginal increase of latency.
- Abstract(参考訳): マイクロコントローラ上での効率的で正確なディープニューラルネットワーク(DNN)推論は、オンチップリソースの制約のため、簡単ではない。
現在の手法は主にモデル精度を犠牲にして、より大きなモデルを圧縮することに焦点を当てている。
本稿では,小型/弱モデルを直接構築し,精度を向上することにより,逆の視点から問題を再考する。
そこで我々は,新しいDNNトレーニングおよび推論フレームワークであるDiTMoSを紹介した。
DiTMoSは重要な洞察に基づいており、弱いモデルの合成は高い多様性を示し、それらの結合は精度の上限を大幅に高めることができる。
上位境界に近づくために、DiTMoSは、分類器の多様性を高めるための多様なトレーニングデータ分割、相乗的相互作用を確保するための逆選択器分類器訓練、分類器の容量を改善するための異種特徴集約を含む3つの戦略を導入する。
さらに,機能集約によって生じる余分なメモリオーバーヘッドを軽減するため,ネットワークスライシング手法を提案する。
我々は,Nucleo STM32F767ZIボード上にDiTMoSをデプロイし,人間の活動認識,キーワードスポッティング,感情認識の3つの時系列データセットに基づいて評価する。
実験の結果、以下のことが判明した。
(a)DiTMoSは、最高のベースラインに比べて最大13.4%の精度向上を達成する。
(b)ネットワークスライシングにより,機能集約によるメモリオーバーヘッドがほぼ完全に解消され,レイテンシの限界が増大する。
関連論文リスト
- Rethinking Few-shot 3D Point Cloud Semantic Segmentation [62.80639841429669]
本稿では,FS-PCSによる3Dポイント・クラウドセマンティックセマンティックセグメンテーションについて再検討する。
我々は、最先端の2つの重要な問題、前景の漏洩とスパースポイントの分布に焦点をあてる。
これらの問題に対処するために、新しいベンチマークを構築するための標準化されたFS-PCS設定を導入する。
論文 参考訳(メタデータ) (2024-03-01T15:14:47Z) - Class-Imbalanced Semi-Supervised Learning for Large-Scale Point Cloud
Semantic Segmentation via Decoupling Optimization [64.36097398869774]
半教師付き学習(SSL)は大規模3Dシーン理解のための活発な研究課題である。
既存のSSLベースのメソッドは、クラス不均衡とポイントクラウドデータのロングテール分布による厳しいトレーニングバイアスに悩まされている。
本稿では,特徴表現学習と分類器を別の最適化方法で切り離してバイアス決定境界を効果的にシフトする,新しいデカップリング最適化フレームワークを提案する。
論文 参考訳(メタデータ) (2024-01-13T04:16:40Z) - Bridging Sensor Gaps via Single-Direction Tuning for Hyperspectral Image
Classification [21.623010413720458]
本稿では,限られたサンプルを持つ新しいHSIデータセットの性能向上のためのブリッジとして機能する単一方向チューニング(SDT)戦略を提案する。
提案したSDTは,並列アーキテクチャ,非同期コールドホット勾配更新戦略,一方向インタラクションを利用する。
異種、あるいはクロスモーダルなデータセットのトレーニングから派生した、強力な表現学習能力をフル活用することを目的としている。
論文 参考訳(メタデータ) (2023-09-22T13:39:24Z) - Prompt Tuning for Parameter-efficient Medical Image Segmentation [79.09285179181225]
2つの医用画像データセットのセマンティックセグメンテーションにパラメータ効率が良いが効果的な適応を実現するために,いくつかのコントリビューションを提案し,検討する。
我々はこのアーキテクチャを、オンライン生成プロトタイプへの割り当てに基づく専用密集型セルフスーパービジョンスキームで事前訓練する。
得られたニューラルネットワークモデルにより、完全に微調整されたモデルとパラメータに適応したモデルとのギャップを緩和できることを実証する。
論文 参考訳(メタデータ) (2022-11-16T21:55:05Z) - A Hybrid Deep Learning Model-based Remaining Useful Life Estimation for
Reed Relay with Degradation Pattern Clustering [12.631122036403864]
リードリレーは機能テストの基本的な構成要素であり、電子機器の品質検査の成功と密接に関係している。
リードリレーの有効寿命(RUL)を正確に推定するために,劣化パターンクラスタリングを用いたハイブリッドディープラーニングネットワークを提案する。
論文 参考訳(メタデータ) (2022-09-14T05:45:46Z) - DEMAND: Deep Matrix Approximately NonlinearDecomposition to Identify
Meta, Canonical, and Sub-Spatial Pattern of functional Magnetic Resonance
Imaging in the Human Brain [8.93274096260726]
本研究では,SDL(Sparse Dictionary Learning)やDNN(Deep Neural Networks)といった浅い線形モデルを活用するために,Deep A roughly Decomposition(DEMAND)という新しい非線形行列分解法を提案する。
DEMANDは、人間の脳の再現可能な代謝、正準的、および部分空間的特徴を、他の仲間の方法論よりも効率的に明らかにすることができる。
論文 参考訳(メタデータ) (2022-05-20T15:55:01Z) - Multi-scale and Cross-scale Contrastive Learning for Semantic
Segmentation [5.281694565226513]
セグメンテーションネットワークによって抽出されたマルチスケール特徴の識別能力を高めるために,コントラスト学習を適用した。
まず、エンコーダのマルチスケール表現を共通の特徴空間にマッピングすることにより、教師付き局所言語制約の新しい形式をインスタンス化する。
論文 参考訳(メタデータ) (2022-03-25T01:24:24Z) - Adversarial Feature Augmentation and Normalization for Visual
Recognition [109.6834687220478]
最近のコンピュータビジョンの進歩は、分類モデルの一般化能力を改善するために、逆データ拡張を利用する。
本稿では,中間的特徴埋め込みにおける敵対的拡張を提唱する効率的かつ効率的な代替手法を提案する。
代表的なバックボーンネットワークを用いて,多様な視覚認識タスクにまたがる提案手法を検証する。
論文 参考訳(メタデータ) (2021-03-22T20:36:34Z) - SA-Det3D: Self-Attention Based Context-Aware 3D Object Detection [9.924083358178239]
本稿では,3次元物体検出におけるコンテキストモデリングのための2種類の自己注意法を提案する。
まず,現状のbev,voxel,ポイントベース検出器にペアワイズ自着機構を組み込む。
次に,ランダムにサンプリングされた位置の変形を学習することにより,最も代表的な特徴のサブセットをサンプリングするセルフアテンション変種を提案する。
論文 参考訳(メタデータ) (2021-01-07T18:30:32Z) - When Residual Learning Meets Dense Aggregation: Rethinking the
Aggregation of Deep Neural Networks [57.0502745301132]
我々は,グローバルな残差学習と局所的なマイクロセンスアグリゲーションを備えた新しいアーキテクチャであるMicro-Dense Netsを提案する。
我々のマイクロセンスブロックはニューラルアーキテクチャ検索に基づくモデルと統合して性能を向上させることができる。
論文 参考訳(メタデータ) (2020-04-19T08:34:52Z) - Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。
そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。
最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
論文 参考訳(メタデータ) (2020-03-10T03:10:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。