論文の概要: Towards Efficient Convolutional Neural Network for Embedded Hardware via Multi-Dimensional Pruning
- arxiv url: http://arxiv.org/abs/2607.11473v1
- Date: Mon, 13 Jul 2026 12:27:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-14 17:47:21.463669
- Title: Towards Efficient Convolutional Neural Network for Embedded Hardware via Multi-Dimensional Pruning
- Title(参考訳): 多次元プルーニングによる組込みハードウェアの効率的な畳み込みニューラルネットワークの実現に向けて
- Authors: Hao Kong, Di Liu, Xiangzhong Luo, Shuo Huai, Ravi Subramaniam, Christian Makaya, Qian Lin, Weichen Liu,
- Abstract要約: 畳み込みニューラルネットワーク(CNN)の3次元を協調的にプルーニングする多次元プルーニングフレームワークTECOを提案する。
TECOでは,まず2段階の重要度評価フレームワークを導入し,各刈り取りユニットを効率よく,包括的に評価する。
本稿では,CNNの3次元を,精度と効率の最適トレードオフに向けて段階的にプルーニングするアルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 14.758436987654504
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we propose TECO, a multi-dimensional pruning framework to collaboratively prune the three dimensions (depth, width, and resolution) of convolutional neural networks (CNNs) for better execution efficiency on embedded hardware. In TECO, we first introduce a two-stage importance evaluation framework, which efficiently and comprehensively evaluates each pruning unit according to both the local importance inside each dimension and the global importance across different dimensions. Based on the evaluation framework, we present a heuristic pruning algorithm to progressively prune the three dimensions of CNNs towards the optimal trade-off between accuracy and efficiency. Experiments on multiple benchmarks validate the advantages of TECO over existing state-of-the-art (SOTA) approaches. The code and pre-trained models are available at https://github.com/ntuliuteam/Teco.
- Abstract(参考訳): 本稿では,畳み込みニューラルネットワーク(CNN)の3次元(深度,幅,解像度)を協調的にプルーニングし,組込みハードウェア上での実行効率を向上させるための多次元プルーニングフレームワークTECOを提案する。
TECOではまず2段階の重要度評価フレームワークを導入し,各次元内の局所的重要度と各次元のグローバル的重要度の両方に応じて,各プルーニング単位を効率よく,包括的に評価する。
評価枠組みに基づいて,CNNの3次元を精度と効率の最適トレードオフに向けて段階的にプルーニングするヒューリスティックプルーニングアルゴリズムを提案する。
複数のベンチマークの実験は、既存のSOTA(State-of-the-art)アプローチよりもTECOの利点を検証する。
コードと事前トレーニングされたモデルはhttps://github.com/ntuliuteam/Teco.comで公開されている。
関連論文リスト
- Joint Architecture-Token-Bitwidth Multi-Axis Optimization of Vision Transformers for Semiconductor IC Packaging [32.78037242946664]
視覚変換器(ViT)は、視覚認識において高い性能を達成しているが、資源に制約のある産業環境への展開は依然として限られている。
アーキテクチャ,トークン,ビット幅の3つの相補的軸を共同で最適化する,最初の包括的フレームワークの1つを提示する。
具体的には、Neural Architecture Search(AutoFormer)を介してコンパクトなバックボーンを特定し、トークンマージ(ToMe)による情報処理を削減し、fp16混合精度推論による操作間実行を高速化する。
論文 参考訳(メタデータ) (2026-05-03T06:45:24Z) - Finding Optimal Kernel Size and Dimension in Convolutional Neural Networks An Architecture Optimization Approach [0.0]
畳み込みニューラルネットワーク(CNN)におけるカーネルサイズ選択は批判的だが、しばしば見過ごされる設計決定である。
本稿では,最適なカーネルサイズ決定のためのBKSEF(Best Kernel Size Estimation)を提案する。
BKSEFは情報理論、信号処理、学習理論の原理を統合することで、情報ゲイン、計算効率、精度の向上のバランスをとる。
論文 参考訳(メタデータ) (2025-06-16T15:15:30Z) - TCCT-Net: Two-Stream Network Architecture for Fast and Efficient Engagement Estimation via Behavioral Feature Signals [58.865901821451295]
本稿では,新しい2ストリーム機能融合 "Tensor-Convolution and Convolution-Transformer Network" (TCCT-Net) アーキテクチャを提案する。
時間空間領域における意味のあるパターンをよりよく学習するために、ハイブリッド畳み込み変換器を統合する「CT」ストリームを設計する。
並行して、時間周波数領域からリッチなパターンを効率的に抽出するために、連続ウェーブレット変換(CWT)を用いて情報を2次元テンソル形式で表現する「TC」ストリームを導入する。
論文 参考訳(メタデータ) (2024-04-15T06:01:48Z) - UNETR++: Delving into Efficient and Accurate 3D Medical Image Segmentation [93.88170217725805]
本稿では,高画質なセグメンテーションマスクと,パラメータ,計算コスト,推論速度の両面での効率性を提供するUNETR++という3次元医用画像セグメンテーション手法を提案する。
我々の設計の核となるのは、空間的およびチャネル的な識別的特徴を効率的に学習する、新しい効率的な対注意ブロック(EPA)の導入である。
Synapse, BTCV, ACDC, BRaTs, Decathlon-Lungの5つのベンチマークで評価した結果, 効率と精度の両面で, コントリビューションの有効性が示された。
論文 参考訳(メタデータ) (2022-12-08T18:59:57Z) - SVNet: Where SO(3) Equivariance Meets Binarization on Point Cloud
Representation [65.4396959244269]
本論文は,3次元学習アーキテクチャを構築するための一般的なフレームワークを設計することによる課題に対処する。
提案手法はPointNetやDGCNNといった一般的なバックボーンに適用できる。
ModelNet40、ShapeNet、および実世界のデータセットであるScanObjectNNの実験では、この手法が効率、回転、精度の間の大きなトレードオフを達成することを示した。
論文 参考訳(メタデータ) (2022-09-13T12:12:19Z) - Collaborative Pure Exploration in Kernel Bandit [29.158502306774523]
カーネルバンド問題(CoPE-KB)における協調的純粋探索の定式化
限られたコミュニケーションと一般的な報酬関数の下で、マルチエージェントのマルチタスク決定のための新しいモデルを提供する。
我々のアルゴリズムは、計算と通信の効率を同時に達成するために、革新的で効率的なカーネル化推定器を備えている。
論文 参考訳(メタデータ) (2021-10-29T13:39:14Z) - BCNet: Searching for Network Width with Bilaterally Coupled Network [56.14248440683152]
この問題に対処するため、BCNet(Bilaterally Coupled Network)と呼ばれる新しいスーパーネットを導入する。
BCNetでは、各チャネルは高度に訓練され、同じ量のネットワーク幅を担っているため、ネットワーク幅をより正確に評価することができる。
提案手法は,他のベースライン手法と比較して,最先端あるいは競合的な性能を実現する。
論文 参考訳(メタデータ) (2021-05-21T18:54:03Z) - Fully Dynamic Inference with Deep Neural Networks [19.833242253397206]
Layer-Net(L-Net)とChannel-Net(C-Net)と呼ばれる2つのコンパクトネットワークは、どのレイヤやフィルタ/チャネルが冗長であるかをインスタンス毎に予測する。
CIFAR-10データセットでは、LC-Netは11.9$times$ less floating-point Operations (FLOPs) となり、他の動的推論手法と比較して最大3.3%精度が向上する。
ImageNetデータセットでは、LC-Netは最大1.4$times$ FLOPsを減らし、Top-1の精度は他の方法よりも4.6%高い。
論文 参考訳(メタデータ) (2020-07-29T23:17:48Z) - Joint Multi-Dimension Pruning via Numerical Gradient Update [120.59697866489668]
本稿では,空間,深さ,チャネルの3つの重要な側面において,ネットワークを同時に切断する方法であるジョイント・マルチディメンジョン・プルーニング(ジョイント・プルーニング)を提案する。
本手法は,1つのエンドツーエンドトレーニングにおいて3次元にわたって協調的に最適化され,従来よりも効率がよいことを示す。
論文 参考訳(メタデータ) (2020-05-18T17:57:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。