論文の概要: Exploring Deep-to-Shallow Transformable Neural Networks for Intelligent Embedded Systems

• arxiv url: http://arxiv.org/abs/2512.19731v1
• Date: Wed, 17 Dec 2025 07:47:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-24 19:17:49.603997
• Title: Exploring Deep-to-Shallow Transformable Neural Networks for Intelligent Embedded Systems
• Title（参考訳）: インテリジェント組み込みシステムのためのディープ・ツー・サロー変換可能なニューラルネットワークの探索
• Authors: Xiangzhong Luo, Weichen Liu,
• Abstract要約: ダブルウィンNAS(Double-Win NAS)は、リソース制約の組込みシステム用に設計された、新しいディープ・ツー・シャロー変換可能なニューラルネットワーク探索(NAS)パラダイムである。 具体的には、Double-Win NASは、ディープネットワークを自動的に探索して、まず高い精度で取得し、さらに強力なハードウェア効率を得るために、その浅いネットワークに等価に変換する。 探索に加えて,学習精度向上のためのハイブリッドトランスフォーマブルトレーニングと,任意の入力解像度にまたがって自然ネットワークの弾力性を実現するための任意の弾性トレーニングという,2つの強化されたトレーニング手法も提案する。
• 参考スコア（独自算出の注目度）: 3.6374698258055336
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Thanks to the evolving network depth, convolutional neural networks (CNNs) have achieved remarkable success across various embedded scenarios, paving the way for ubiquitous embedded intelligence. Despite its promise, the evolving network depth comes at the cost of degraded hardware efficiency. In contrast to deep networks, shallow networks can deliver superior hardware efficiency but often suffer from inferior accuracy. To address this dilemma, we propose Double-Win NAS, a novel deep-to-shallow transformable neural architecture search (NAS) paradigm tailored for resource-constrained intelligent embedded systems. Specifically, Double-Win NAS strives to automatically explore deep networks to first win strong accuracy, which are then equivalently transformed into their shallow counterparts to further win strong hardware efficiency. In addition to search, we also propose two enhanced training techniques, including hybrid transformable training towards better training accuracy and arbitrary-resolution elastic training towards enabling natural network elasticity across arbitrary input resolutions. Extensive experimental results on two popular intelligent embedded systems (i.e., NVIDIA Jetson AGX Xavier and NVIDIA Jetson Nano) and two representative large-scale datasets (i.e., ImageNet and ImageNet-100) clearly demonstrate the superiority of Double-Win NAS over previous state-of-the-art NAS approaches.
• Abstract（参考訳）: 進化するネットワーク深度のおかげで、畳み込みニューラルネットワーク(CNN)は、さまざまな組み込みシナリオで大きな成功を収め、ユビキタスな組み込みインテリジェンスへの道を開いた。 その約束にもかかわらず、進化するネットワークの深さは、ハードウェアの効率を劣化させるコストを伴っている。 ディープネットワークとは対照的に、浅いネットワークはハードウェア効率が優れているが、しばしば精度が劣る。 このジレンマに対処するために、リソース制約のあるインテリジェントな組み込みシステムに適した、新しいDeep-to-Sallow Transformable Neural Architecture Search (NAS)パラダイムであるDouble-Win NASを提案する。 具体的には、Double-Win NASは、ディープネットワークを自動的に探索して、まず高い精度で取得し、さらに強力なハードウェア効率を得るために、その浅いネットワークに等価に変換する。 探索に加えて,学習精度向上のためのハイブリッドトランスフォーマブルトレーニングと,任意の入力解像度にまたがって自然ネットワークの弾力性を実現するための任意の弾性トレーニングという,2つの強化されたトレーニング手法も提案する。 2つの一般的なインテリジェント組み込みシステム(NVIDIA Jetson AGX Xavier と NVIDIA Jetson Nano )と2つの代表的な大規模データセット(ImageNet と ImageNet-100)に対する大規模な実験結果により、従来の最先端NASアプローチよりもダブルウィンNASの方が優れていることが明らかとなった。

関連論文リスト

• S$^2$NN: Sub-bit Spiking Neural Networks [53.08060832135342]
  スパイキングニューラルネットワーク(SNN)は、マシンインテリジェンスにエネルギー効率のよいパラダイムを提供する。 最近のバイナリSNNの進歩にもかかわらず、大規模ネットワークではストレージと計算の要求が相当に大きい。 1ビット未満の重みを表すサブビットスパイキングニューラルネットワーク(S$2$NNs)を提案する。
  論文  参考訳（メタデータ） (2025-09-29T04:17:44Z)
• Evaluating a Novel Neuroevolution and Neural Architecture Search System [0.0]
  拡張ニューラルアーキテクチャサーチ(NAS+)のPython実装であるNeuvo NAS+の有効性を示す。 本稿では,タスク固有のネットワーク機能を選択するNevo NAS+システムの設計について述べる。 結果,Nuvo NAS+アプローチはいくつかの機械学習手法よりも優れていた。
  論文  参考訳（メタデータ） (2025-03-13T20:35:34Z)
• BiFSMNv2: Pushing Binary Neural Networks for Keyword Spotting to Real-Network Performance [54.214426436283134]
  Deep-FSMNのようなディープニューラルネットワークはキーワードスポッティング(KWS)アプリケーションのために広く研究されている。 我々は、KWS、すなわちBiFSMNv2のための強力で効率的なバイナリニューラルネットワークを提示し、それを実ネットワーク精度のパフォーマンスにプッシュする。 小型アーキテクチャと最適化されたハードウェアカーネルの利点により、BiFSMNv2は25.1倍のスピードアップと20.2倍のストレージ節約を実現できる。
  論文  参考訳（メタデータ） (2022-11-13T18:31:45Z)
• HyBNN and FedHyBNN: (Federated) Hybrid Binary Neural Networks [0.0]
  新しいハイブリッドニューラルネットワークアーキテクチャHybrid Binary Neural Network (Hybrid Binary Neural Network, HyBNN)を導入する。 HyBNNは、タスク非依存、一般、完全精度の変動型オートエンコーダと、タスク固有のバイナリニューラルネットワークで構成されている。 提案システムは,入力バイナライゼーションにより,バニラバイナリニューラルネットワークを著しく上回る性能を有することを示す。
  論文  参考訳（メタデータ） (2022-05-19T20:27:01Z)
• Evolutionary Neural Cascade Search across Supernetworks [68.8204255655161]
  ENCAS - Evolutionary Neural Cascade Searchを紹介する。 ENCASは、複数の事前訓練されたスーパーネットを探索するために使用することができる。 我々は、一般的なコンピュータビジョンベンチマークでEMCASをテストする。
  論文  参考訳（メタデータ） (2022-03-08T11:06:01Z)
• CondenseNeXt: An Ultra-Efficient Deep Neural Network for Embedded Systems [0.0]
  畳み込みニューラルネットワーク(英: Convolutional Neural Network, CNN)は、画像センサが捉えた視覚画像の分析に広く用いられているディープニューラルネットワーク(DNN)のクラスである。 本稿では,組込みシステム上でのリアルタイム推論のために,既存のCNNアーキテクチャの性能を改善するために,深層畳み込みニューラルネットワークアーキテクチャの新しい変種を提案する。
  論文  参考訳（メタデータ） (2021-12-01T18:20:52Z)
• Embedded Knowledge Distillation in Depth-level Dynamic Neural Network [8.207403859762044]
  類似アーキテクチャの異なる深層サブネットを統合した、エレガントな深層ダイナミックニューラルネットワーク(DDNN)を提案する。 本稿では、DDNNが教師(フル)ネットから複数のサブネットへの意味的知識伝達を実装するためのEKD(Embedded-Knowledge-Distillation)トレーニング機構を設計する。 CIFAR-10、CIFAR-100、ImageNetデータセットの実験では、EKDトレーニングを備えたDDNNのサブネットは、深さレベルの切断または個別トレーニングよりも優れたパフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-03-01T06:35:31Z)
• ShiftAddNet: A Hardware-Inspired Deep Network [62.88246517699367]
  ShiftAddNetはエネルギー効率のよい乗算レスディープニューラルネットワークである。 エネルギー効率のよい推論とトレーニングの両方につながるが、表現能力は損なわれない。 ShiftAddNetは、DNNのトレーニングと推論において、80%以上のハードウェア量子化されたエネルギーコストを積極的に削減し、同等またはより良い精度を提供する。
  論文  参考訳（メタデータ） (2020-10-24T05:09:14Z)
• Exploring the Connection Between Binary and Spiking Neural Networks [1.329054857829016]
  両立ニューラルネットワークとスパイクニューラルネットワークの訓練における最近のアルゴリズムの進歩を橋渡しする。 極端量子化システムにおけるスパイキングニューラルネットワークのトレーニングは,大規模データセット上でのほぼ完全な精度向上をもたらすことを示す。
  論文  参考訳（メタデータ） (2020-02-24T03:46:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。