論文の概要: Splitting Convolutional Neural Network Structures for Efficient Inference

• arxiv url: http://arxiv.org/abs/2002.03302v1
• Date: Sun, 9 Feb 2020 06:53:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-02 14:44:32.688252
• Title: Splitting Convolutional Neural Network Structures for Efficient Inference
• Title（参考訳）: 効率的な推論のための分割畳み込みニューラルネットワーク構造
• Authors: Emad MalekHosseini, Mohsen Hajabdollahi, Nader Karimi, Shadrokh Samavi, Shahram Shirani
• Abstract要約: ネットワーク構造を、元のネットワークよりも少ないメモリを消費する小さな部分に分割する手法が提案されている。 この分割手法は、CIFAR10画像の分類のために、VGG16とResNet18のよく知られた2つのネットワーク構造でテストされている。
• 参考スコア（独自算出の注目度）: 11.031841470875571
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For convolutional neural networks (CNNs) that have a large volume of input data, memory management becomes a major concern. Memory cost reduction can be an effective way to deal with these problems that can be realized through different techniques such as feature map pruning, input data splitting, etc. Among various methods existing in this area of research, splitting the network structure is an interesting research field, and there are a few works done in this area. In this study, the problem of reducing memory utilization using network structure splitting is addressed. A new technique is proposed to split the network structure into small parts that consume lower memory than the original network. The split parts can be processed almost separately, which provides an essential role for better memory management. The split approach has been tested on two well-known network structures of VGG16 and ResNet18 for the classification of CIFAR10 images. Simulation results show that the splitting method reduces both the number of computational operations as well as the amount of memory consumption.
• Abstract（参考訳）: 大量の入力データを持つ畳み込みニューラルネットワーク(CNN)では、メモリ管理が大きな関心事となっている。 メモリコストの削減は,機能マッププルーニングや入力データ分割など,さまざまなテクニックを通じて実現可能な,これらの問題に対処するための効果的な方法だ。 この研究領域に存在する様々な手法のうち、ネットワーク構造を分割することは興味深い研究分野であり、この分野ではいくつかの研究が行われている。 本研究では,ネットワーク構造分割によるメモリ使用率の低減問題に対処する。 ネットワーク構造を、元のネットワークよりも少ないメモリを消費する小さな部分に分割する新しい手法を提案する。 分割された部分は、ほぼ別々に処理できるため、メモリ管理の改善に不可欠な役割を担います。 この分割手法は、CIFAR10画像の分類のために、VGG16とResNet18のよく知られた2つのネットワーク構造でテストされている。 シミュレーションの結果,分割法では演算量とメモリ消費量の両方を削減できることがわかった。

関連論文リスト

• An Efficient Procedure for Computing Bayesian Network Structure Learning [0.9208007322096532]
  本稿では,段階的にレベル付けされたスコアリング手法に基づいて,グローバルに最適なベイズネットワーク構造探索アルゴリズムを提案する。 実験結果から,本手法はメモリのみを使用する場合,ピークメモリ使用量を削減するだけでなく,計算効率も向上することが示された。
  論文  参考訳（メタデータ） (2024-07-24T07:59:18Z)
• Tiled Bit Networks: Sub-Bit Neural Network Compression Through Reuse of Learnable Binary Vectors [4.95475852994362]
  本稿では,バイナリ重み付きニューラルネットワークのサブビット圧縮を実現するために,ビット列を持つタイル型ニューラルネットワーク層に対する新しい量子化方式を提案する。 私たちは完全に接続された層と畳み込み層の両方にアプローチを採用しています。
  論文  参考訳（メタデータ） (2024-07-16T15:55:38Z)
• Topology-aware Embedding Memory for Continual Learning on Expanding Networks [63.35819388164267]
  本稿では,メモリリプレイ技術を用いて,メモリ爆発問題に対処する枠組みを提案する。 Topology-aware Embedding Memory (TEM) を用いたPDGNNは最先端技術よりも優れている。
  論文  参考訳（メタデータ） (2024-01-24T03:03:17Z)
• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• I-SPLIT: Deep Network Interpretability for Split Computing [11.652957867167098]
  この研究は、分割コンピューティングの分野、すなわち、ディープニューラルネットワークを分割して、その初期部分を組み込みデバイスに、残りをサーバーにホストする方法において、大きな一歩を踏み出している。 我々は、レイヤーのアーキテクチャが重要であるだけでなく、それに含まれるニューロンの重要性も示している。
  論文  参考訳（メタデータ） (2022-09-23T14:26:56Z)
• MCUNetV2: Memory-Efficient Patch-based Inference for Tiny Deep Learning [72.80896338009579]
  メモリボトルネックは畳み込みニューラルネットワーク(CNN)の設計における不均衡なメモリ分布に起因する。 本稿では,ピークメモリを大幅に削減するパッチ・バイ・パッチ・推論スケジューリングを提案する。 ニューラルアーキテクチャサーチによるプロセスを自動化し、ニューラルアーキテクチャと推論スケジューリングを共同で最適化し、MCUNetV2に導いた。
  論文  参考訳（メタデータ） (2021-10-28T17:58:45Z)
• Group Fisher Pruning for Practical Network Compression [58.25776612812883]
  本稿では,様々な複雑な構造に応用可能な汎用チャネルプルーニング手法を提案する。 我々は、単一チャネルと結合チャネルの重要性を評価するために、フィッシャー情報に基づく統一されたメトリクスを導出する。 提案手法は,結合チャネルを含む任意の構造をプルークするために利用できる。
  論文  参考訳（メタデータ） (2021-08-02T08:21:44Z)
• MAFAT: Memory-Aware Fusing and Tiling of Neural Networks for Accelerated Edge Inference [1.7894377200944507]
  機械学習ネットワークは、利用可能なメモリを容易に越えることができ、OSの過度なスワップによってレイテンシが増加する。 本稿では,メモリ使用量予測器と探索アルゴリズムを組み合わせることで,最適化されたファジングとタイリングの構成を提供する。 その結果、我々のアプローチはメモリの半分以下で実行でき、メモリの厳しい制約下では最大2.78の高速化を実現している。
  論文  参考訳（メタデータ） (2021-07-14T19:45:49Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• Decoupled and Memory-Reinforced Networks: Towards Effective Feature Learning for One-Step Person Search [65.51181219410763]
  歩行者検出と識別サブタスクを1つのネットワークで処理するワンステップ方式を開発しました。 現在のワンステップアプローチには2つの大きな課題があります。 本稿では,これらの問題を解決するために,分離メモリ強化ネットワーク(DMRNet)を提案する。
  論文  参考訳（メタデータ） (2021-02-22T06:19:45Z)
• On Power Laws in Deep Ensembles [12.739425443572202]
  1つの大きなネットワークは、同じ数のパラメータを持つ複数の中規模ネットワークのアンサンブルよりも性能が悪くなる可能性があることを示す。 検出された電力法則的依存関係を用いて、所定の構造を持つネットワークの集合から得られる利益を予測することができる。
  論文  参考訳（メタデータ） (2020-07-16T17:35:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。