Fugu-MT 論文翻訳(概要): CNN Mixture-of-Depths

論文の概要: CNN Mixture-of-Depths

arxiv url: http://arxiv.org/abs/2409.17016v1
Date: Wed, 25 Sep 2024 15:19:04 GMT
ステータス: 処理完了
システム内更新日: 2024-09-27 03:15:16.408621
Title: CNN Mixture-of-Depths
Title（参考訳）: CNNmixture-of-Depths
Authors: Rinor Cakaj, Jens Mehnert, Bin Yang,
Abstract要約: 畳み込みニューラルネットワーク(CNN)のためのMixture-of-Depths(MoD) 畳み込みニューラルネットワーク(CNN)のためのMixture-of-Depths(MoD)を紹介する。
参考スコア（独自算出の注目度）: 4.150676163661315
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We introduce Mixture-of-Depths (MoD) for Convolutional Neural Networks (CNNs), a novel approach that enhances the computational efficiency of CNNs by selectively processing channels based on their relevance to the current prediction. This method optimizes computational resources by dynamically selecting key channels in feature maps for focused processing within the convolutional blocks (Conv-Blocks), while skipping less relevant channels. Unlike conditional computation methods that require dynamic computation graphs, CNN MoD uses a static computation graph with fixed tensor sizes which improve hardware efficiency. It speeds up the training and inference processes without the need for customized CUDA kernels, unique loss functions, or finetuning. CNN MoD either matches the performance of traditional CNNs with reduced inference times, GMACs, and parameters, or exceeds their performance while maintaining similar inference times, GMACs, and parameters. For example, on ImageNet, ResNet86-MoD exceeds the performance of the standard ResNet50 by 0.45% with a 6% speedup on CPU and 5% on GPU. Moreover, ResNet75-MoD achieves the same performance as ResNet50 with a 25% speedup on CPU and 15% on GPU.
Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)におけるMixture-of-Depths(Mixture-of-Depths)を導入し,CNNの計算効率を向上させる手法を提案する。コンボリューションブロック(Conv-Blocks)内で集中処理を行う機能マップのキーチャネルを動的に選択し,関連するチャネルをスキップすることで,計算資源を最適化する。動的計算グラフを必要とする条件計算法とは異なり、CNN MoDは固定テンソルサイズの静的計算グラフを使用してハードウェア効率を向上させる。カスタマイズされたCUDAカーネル、ユニークな損失関数、微調整を必要とせずに、トレーニングと推論プロセスを高速化する。 CNN MoDは、従来のCNNのパフォーマンスに、推論時間、GMAC、パラメータを減少させるか、または、同様の推論時間、GMAC、パラメータを維持しながら、それらのパフォーマンスを上回る。例えば、ImageNetでは、ResNet86-MoDが標準のResNet50のパフォーマンスを0.45%上回る。さらに、ResNet75-MoDは、CPUで25%、GPUで15%のスピードアップで、ResNet50と同じパフォーマンスを達成する。

関連論文リスト

SCONNA: A Stochastic Computing Based Optical Accelerator for Ultra-Fast, Energy-Efficient Inference of Integer-Quantized CNNs [0.0]
CNN推論タスクは、一般的にベクトルドット生成(VDP)操作に変換される畳み込み演算を使用する。いくつかのフォトニックマイクロリング共振器(MRR)ベースのハードウェアアーキテクチャが整数量子化CNNを高速化するために提案されている。既存のフォトニックMRRベースのアナログ加速器は、達成可能な入力/重み付け精度とVDP操作サイズとの間に非常に強いトレードオフを示す。
論文参考訳（メタデータ） (2023-02-14T13:35:15Z)
Attention-based Feature Compression for CNN Inference Offloading in Edge Computing [93.67044879636093]
本稿では,デバイスエッジ共振器におけるCNN推論の計算負荷について検討する。エンドデバイスにおける効率的な特徴抽出のための新しいオートエンコーダベースのCNNアーキテクチャ(AECNN)を提案する。実験の結果、AECNNは中間データを約4%の精度で256倍圧縮できることがわかった。
論文参考訳（メタデータ） (2022-11-24T18:10:01Z)
EcoFlow: Efficient Convolutional Dataflows for Low-Power Neural Network Accelerators [12.223778147172107]
拡張畳み込み畳み込みは現代の畳み込みニューラルネットワーク(CNN)で広く使われているこれらのカーネルは、その高いメモリ強度、エクサスケールな計算要求、大きなエネルギー消費のために、現在の計算システムを強調している。拡張および変換された畳み込みのための新しいデータフローとマッピングアルゴリズムであるEcoFlowを提案する。
論文参考訳（メタデータ） (2022-02-04T18:48:36Z)
DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and Transformers [105.74546828182834]
本稿では,様々な難易度を持つ入力に対して,ネットワークパラメータの一部を適応的にスライスする動的ウェイトスライシングという,ハードウェア効率のよい動的推論方式を示す。我々は、CNNのフィルタ数とCNNと変換器の多重次元を入力依存的に調整することで、動的スライム可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。
論文参考訳（メタデータ） (2021-09-21T09:57:21Z)
Greedy Network Enlarging [53.319011626986004]
本稿では,計算のリアルタイム化に基づくグリーディ・ネットワーク拡大手法を提案する。異なる段階の計算をステップバイステップで修正することで、拡張されたネットワークはMACの最適な割り当てと利用を提供する。 GhostNetへの我々の手法の適用により、最先端の80.9%と84.3%のImageNet Top-1アキュラシーを実現する。
論文参考訳（メタデータ） (2021-07-31T08:36:30Z)
Content-Aware Convolutional Neural Networks [98.97634685964819]
畳み込みニューラルネットワーク(CNN)は、畳み込み層の強力な特徴学習能力によって大きな成功を収めている。本研究では,スムーズなウィンドウを自動的に検出し,元の大規模カーネルを置き換えるために1x1畳み込みカーネルを適用するContent-aware Convolution (CAC)を提案する。
論文参考訳（メタデータ） (2021-06-30T03:54:35Z)
Continual 3D Convolutional Neural Networks for Real-time Processing of Videos [93.73198973454944]
連続3次元コンテンポラルニューラルネットワーク(Co3D CNN)について紹介する。 Co3D CNNはクリップ・バイ・クリップではなく、フレーム・バイ・フレームで動画を処理する。本研究では,既存の映像認識モデルの重みを初期化したCo3D CNNを用いて,フレームワイズ計算における浮動小数点演算を10.0-12.4倍削減し,Kinetics-400の精度を2.3-3.8倍に向上したことを示す。
論文参考訳（メタデータ） (2021-05-31T18:30:52Z)
MoViNets: Mobile Video Networks for Efficient Video Recognition [52.49314494202433]
3D畳み込みニューラルネットワーク(CNN)は、ビデオ認識では正確だが、大きな計算とメモリ予算を必要とする。本稿では,3次元CNNのピークメモリ使用量を大幅に削減しつつ,計算効率を向上させる3段階の手法を提案する。
論文参考訳（メタデータ） (2021-03-21T23:06:38Z)
PENNI: Pruned Kernel Sharing for Efficient CNN Inference [41.050335599000036]
最先端(SOTA)CNNは、様々なタスクにおいて優れたパフォーマンスを達成する。その高い計算要求と膨大な数のパラメータにより、リソース制約のあるデバイスにこれらのSOTA CNNをデプロイすることは困難である。本稿では,CNNモデル圧縮フレームワークであるPENNIを提案する。
論文参考訳（メタデータ） (2020-05-14T16:57:41Z)
DyNet: Dynamic Convolution for Accelerating Convolutional Neural Networks [16.169176006544436]
本稿では,画像内容に基づいてコンボリューションカーネルを適応的に生成する動的畳み込み手法を提案する。 MobileNetV3-Small/Largeアーキテクチャに基づいて、DyNetはImageNet上で70.3/77.1%のTop-1精度を達成し、2.9/1.9%改善した。
論文参考訳（メタデータ） (2020-04-22T16:58:05Z)
Performance Aware Convolutional Neural Network Channel Pruning for Embedded GPUs [6.035819238203187]
コンボリューションチャネルの数を減少させ,初期サイズの12%を刈り取ることで,性能を損なう場合がある。また,cuDNNで3倍,Arm Compute LibraryとTVMで10倍以上の性能向上を実現した。
論文参考訳（メタデータ） (2020-02-20T12:07:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。