論文の概要: E2GC: Energy-efficient Group Convolution in Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2006.15100v1
- Date: Fri, 26 Jun 2020 17:04:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-16 21:30:39.547481
- Title: E2GC: Energy-efficient Group Convolution in Deep Neural Networks
- Title（参考訳）: E2GC:ディープニューラルネットワークにおけるエネルギー効率の高いグループ畳み込み
- Authors: Nandan Kumar Jha, Rajat Saini, Subhrajit Nag, Sparsh Mittal
- Abstract要約: グループ畳み込み(GConv)における$g$の選択は、計算複雑性とデータの再利用度との間に不均衡をもたらすことを示す。
我々は、GConvの以前の実装とは異なり、グループサイズ(G$)が一定である「エネルギー効率のよいグループ畳み込み(E2GC)」モジュールを提案する。
- 参考スコア（独自算出の注目度）: 2.537406035246369
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The number of groups ($g$) in group convolution (GConv) is selected to boost
the predictive performance of deep neural networks (DNNs) in a compute and
parameter efficient manner. However, we show that naive selection of $g$ in
GConv creates an imbalance between the computational complexity and degree of
data reuse, which leads to suboptimal energy efficiency in DNNs. We devise an
optimum group size model, which enables a balance between computational cost
and data movement cost, thus, optimize the energy-efficiency of DNNs. Based on
the insights from this model, we propose an "energy-efficient group
convolution" (E2GC) module where, unlike the previous implementations of GConv,
the group size ($G$) remains constant. Further, to demonstrate the efficacy of
the E2GC module, we incorporate this module in the design of MobileNet-V1 and
ResNeXt-50 and perform experiments on two GPUs, P100 and P4000. We show that,
at comparable computational complexity, DNNs with constant group size (E2GC)
are more energy-efficient than DNNs with a fixed number of groups (F$g$GC). For
example, on P100 GPU, the energy-efficiency of MobileNet-V1 and ResNeXt-50 is
increased by 10.8% and 4.73% (respectively) when E2GC modules substitute the
F$g$GC modules in both the DNNs. Furthermore, through our extensive
experimentation with ImageNet-1K and Food-101 image classification datasets, we
show that the E2GC module enables a trade-off between generalization ability
and representational power of DNN. Thus, the predictive performance of DNNs can
be optimized by selecting an appropriate $G$. The code and trained models are
available at https://github.com/iithcandle/E2GC-release.
- Abstract（参考訳）: グループ畳み込み(gconv)におけるグループ数(g$)は、計算とパラメータの効率的な方法でディープニューラルネットワーク(dnn)の予測性能を高めるために選択される。
しかし,gconvのnaiveな選択は計算の複雑さとデータ再利用の程度との間に不均衡をもたらし,dnnの最適エネルギー効率を低下させることを示した。
計算コストとデータ移動コストのバランスを両立させ,dnnのエネルギー効率を最適化する最適なグループサイズモデルを考案する。
このモデルから得られた知見に基づき、GConvの以前の実装とは異なり、グループサイズ(G$)は一定である「エネルギー効率のよいグループ畳み込み(E2GC)」モジュールを提案する。
さらに、E2GCモジュールの有効性を示すため、MobileNet-V1とResNeXt-50の設計にこのモジュールを組み込み、P100とP4000の2つのGPUで実験を行う。
計算量に匹敵する複雑性では、一定群サイズ(E2GC)のDNNは、固定数のDNNよりもエネルギー効率が高い(F$g$GC)。
例えば、P100 GPUでは、MobileNet-V1とResNeXt-50のエネルギー効率が10.8%向上し、E2GCモジュールが両方のDNNでF$g$GCモジュールを置き換えると4.73%向上する。
さらに,ImageNet-1KおよびFood-101画像分類データセットを用いた広範な実験により,E2GCモジュールはDNNの一般化能力と表現力のトレードオフを可能にすることを示した。
したがって、DNNの予測性能は、適切な$G$を選択することで最適化できる。
コードとトレーニングされたモデルはhttps://github.com/iithcandle/e2gc-releaseで入手できる。
関連論文リスト
- EPS-MoE: Expert Pipeline Scheduler for Cost-Efficient MoE Inference [49.94169109038806]
本稿では,新しいパイプラインスケジューラであるEPS-MoEを紹介する。
その結果,既存の並列推論手法に比べて,プリフィルスループットが平均21%向上していることが判明した。
論文 参考訳（メタデータ） (2024-10-16T05:17:49Z) - KernelWarehouse: Rethinking the Design of Dynamic Convolution [16.101179962553385]
KernelWarehouseはカーネルの基本概念を再定義し、カーネルを組み立てる。
我々は、さまざまなConvNetアーキテクチャを用いて、ImageNetおよびMS-COCOデータセットにおけるKernelWarehouseの有効性を検証した。
論文 参考訳（メタデータ） (2024-06-12T05:16:26Z) - E2GNN: Efficient Graph Neural Network Ensembles for Semi-Supervised Classification [30.55931541782854]
本研究では、グラフニューラルネットワーク(GNN)のアンサンブル学習を、人気のある半教師付き環境下で研究する。
ラベル付きノードとラベルなしノードの両方を活用することで,複数のGNNを学習可能な方法で組み立てる,効率的なアンサンブル学習者を提案する。
さまざまなGNNバックボーンと8つのベンチマークデータセットにまたがる、トランスダクティブとインダクティブ両方の設定に関する包括的な実験は、E2GNNの優位性を実証している。
論文 参考訳（メタデータ） (2024-05-06T12:11:46Z) - Efficient Modulation for Vision Networks [122.1051910402034]
我々は、効率的なビジョンネットワークのための新しい設計である効率的な変調を提案する。
変調機構が特に効率的なネットワークに適していることを実証する。
私たちのネットワークは、精度と効率のトレードオフをうまく達成できます。
論文 参考訳（メタデータ） (2024-03-29T03:48:35Z) - GMConv: Modulating Effective Receptive Fields for Convolutional Kernels [52.50351140755224]
畳み込みニューラルネットワークでは、固定N$times$N受容場(RF)を持つ正方形カーネルを用いて畳み込みを行う。
ERFが通常ガウス分布を示す性質に着想を得て,本研究でガウス・マスク畳み込みカーネル(GMConv)を提案する。
私たちのGMConvは、既存のCNNの標準の畳み込みを直接置き換えることができ、標準のバックプロパゲーションによって、エンドツーエンドで簡単に訓練することができます。
論文 参考訳（メタデータ） (2023-02-09T10:17:17Z) - Elastic-Link for Binarized Neural Network [9.83865304744923]
ELモジュールは、その後の畳み込み出力特徴に実値入力特徴を適応的に付加することにより、BNN内の情報フローを豊かにする。
ELは、大規模なImageNetデータセットに挑戦する上で、大幅に改善されている。
ReActNetの統合により、71.9%の精度で新しい最先端結果が得られる。
論文 参考訳（メタデータ） (2021-12-19T13:49:29Z) - Exploiting Redundancy: Separable Group Convolutional Networks on Lie
Groups [14.029933823101084]
群畳み込みニューラルネットワーク(G-CNN)はパラメータ効率とモデルの精度を向上させることが示されている。
本研究では,正規G-CNNによって学習された表現の性質について検討し,グループ畳み込みカーネルにおけるパラメータ冗長性を示す。
部分群とチャネル次元で分離可能な畳み込みカーネルを導入する。
論文 参考訳（メタデータ） (2021-10-25T15:56:53Z) - DTNN: Energy-efficient Inference with Dendrite Tree Inspired Neural
Networks for Edge Vision Applications [2.1800759000607024]
本稿では,活性化量子化によって実現されたテーブルルックアップ操作を用いたエネルギー効率の高い推論のためのDendrite-Tree-based Neural Network (DTNN)を提案する。
DTNNはResNet-18とVGG-11でそれぞれ19.4Xと64.9Xの大幅な省エネを実現した。
論文 参考訳（メタデータ） (2021-05-25T11:44:12Z) - Towards Deeper Graph Neural Networks with Differentiable Group
Normalization [61.20639338417576]
グラフニューラルネットワーク(GNN)は、隣接するノードを集約することでノードの表現を学習する。
オーバースムーシングは、レイヤーの数が増えるにつれてGNNのパフォーマンスが制限される重要な問題のひとつです。
2つのオーバースムースなメトリクスと新しいテクニック、すなわち微分可能群正規化(DGN)を導入する。
論文 参考訳（メタデータ） (2020-06-12T07:18:02Z) - Binarizing MobileNet via Evolution-based Searching [66.94247681870125]
そこで本稿では,MobileNet をバイナライズする際の構築と訓練を容易にするための進化的探索手法を提案する。
ワンショットアーキテクチャ検索フレームワークに着想を得て、グループ畳み込みのアイデアを操り、効率的な1ビット畳み込みニューラルネットワーク(CNN)を設計する。
我々の目標は、グループ畳み込みの最良の候補を探索することで、小さなが効率的なバイナリニューラルアーキテクチャを考案することである。
論文 参考訳（メタデータ） (2020-05-13T13:25:51Z) - SmartExchange: Trading Higher-cost Memory Storage/Access for Lower-cost
Computation [97.78417228445883]
We present SmartExchange, a algorithm- hardware co-design framework for energy- efficient inference of Deep Neural Network (DNNs)。
そこで我々は,非零要素がすべてパワー・オブ・ツーである小さな基底行列と大きなスパース係数行列の積として,各重み行列を格納できる,特別に好ましいDNN重み構造を強制する新しいアルゴリズムを開発した。
さらに、SmartExchange強化重量をフル活用し、エネルギー効率と遅延性能の両方を改善するための専用のアクセラレータを設計する。
論文 参考訳（メタデータ） (2020-05-07T12:12:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。