Fugu-MT 論文翻訳(概要): Efficient CNN-LSTM based Image Captioning using Neural Network Compression

論文の概要: Efficient CNN-LSTM based Image Captioning using Neural Network Compression

arxiv url: http://arxiv.org/abs/2012.09708v1
Date: Thu, 17 Dec 2020 16:25:09 GMT
ステータス: 処理完了
システム内更新日: 2021-05-02 07:40:14.874319
Title: Efficient CNN-LSTM based Image Captioning using Neural Network Compression
Title（参考訳）: ニューラルネットワーク圧縮を用いた効率的なCNN-LSTM画像キャプション
Authors: Harshit Rampal, Aman Mohanty
Abstract要約: CNN-LSTMベースの画像キャプションモデルの非従来のエンドツーエンド圧縮パイプラインを紹介します。次に、異なる圧縮アーキテクチャがモデルに与える影響を検討し、73.1%のモデルサイズ削減を実現する圧縮アーキテクチャを設計する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Modern Neural Networks are eminent in achieving state of the art performance on tasks under Computer Vision, Natural Language Processing and related verticals. However, they are notorious for their voracious memory and compute appetite which further obstructs their deployment on resource limited edge devices. In order to achieve edge deployment, researchers have developed pruning and quantization algorithms to compress such networks without compromising their efficacy. Such compression algorithms are broadly experimented on standalone CNN and RNN architectures while in this work, we present an unconventional end to end compression pipeline of a CNN-LSTM based Image Captioning model. The model is trained using VGG16 or ResNet50 as an encoder and an LSTM decoder on the flickr8k dataset. We then examine the effects of different compression architectures on the model and design a compression architecture that achieves a 73.1% reduction in model size, 71.3% reduction in inference time and a 7.7% increase in BLEU score as compared to its uncompressed counterpart.
Abstract（参考訳）: 現代のニューラルネットワークは、コンピュータビジョン、自然言語処理および関連する分野のタスクにおけるアートパフォーマンスの状態を達成している。しかし、彼らは、リソース制限されたエッジデバイスへのデプロイをさらに阻害する、猛烈なメモリと計算の食欲で悪名高い。エッジデプロイメントを実現するために、研究者はネットワークの有効性を損なうことなく圧縮するプラニングと量子化アルゴリズムを開発した。このような圧縮アルゴリズムはスタンドアロンのCNNおよびRNNアーキテクチャで広く実験されているが、本研究では、CNN-LSTMベースの画像キャプチャーモデルの非従来型エンドツーエンド圧縮パイプラインを示す。このモデルは、flickr8kデータセット上のエンコーダとLSTMデコーダとしてVGG16またはResNet50を使用してトレーニングされる。次に,異なる圧縮アーキテクチャがモデルに与える影響を調べ,モデルサイズを73.1%削減し,推論時間を71.3%削減し,非圧縮アーキテクチャに比べてbleuスコアを7.7%向上させる圧縮アーキテクチャを設計する。

関連論文リスト

Computer Vision Model Compression Techniques for Embedded Systems: A Survey [75.38606213726906]
本稿では,コンピュータビジョンタスクに適用される主モデル圧縮技術について述べる。本稿では,圧縮サブ領域の特性について述べるとともに,異なるアプローチを比較し,最適な手法を選択する方法について論じる。初期の実装課題を克服する上で、研究者や新しい実践者を支援するためのコードも共有しています。
論文参考訳（メタデータ） (2024-08-15T16:41:55Z)
Dynamic Semantic Compression for CNN Inference in Multi-access Edge Computing: A Graph Reinforcement Learning-based Autoencoder [82.8833476520429]
部分オフロードにおける効果的な意味抽出と圧縮のための新しい意味圧縮手法であるオートエンコーダベースのCNNアーキテクチャ(AECNN)を提案する。セマンティックエンコーダでは、CNNのチャネルアテンション機構に基づく特徴圧縮モジュールを導入し、最も情報性の高い特徴を選択して中間データを圧縮する。セマンティックデコーダでは、受信した圧縮データから学習して中間データを再構築し、精度を向上させる軽量デコーダを設計する。
論文参考訳（メタデータ） (2024-01-19T15:19:47Z)
Attention-based Feature Compression for CNN Inference Offloading in Edge Computing [93.67044879636093]
本稿では,デバイスエッジ共振器におけるCNN推論の計算負荷について検討する。エンドデバイスにおける効率的な特徴抽出のための新しいオートエンコーダベースのCNNアーキテクチャ(AECNN)を提案する。実験の結果、AECNNは中間データを約4%の精度で256倍圧縮できることがわかった。
論文参考訳（メタデータ） (2022-11-24T18:10:01Z)
The Devil Is in the Details: Window-based Attention for Image Compression [58.1577742463617]
既存の学習画像圧縮モデルは畳み込みニューラルネットワーク(CNN)に基づいている。本稿では,複数種類の注意機構が局所特徴学習に与える影響について検討し,より単純で効果的なウィンドウベースの局所的注意ブロックを提案する。提案されたウィンドウベースのアテンションは非常に柔軟で、CNNとTransformerモデルを強化するためのプラグイン・アンド・プレイコンポーネントとして機能する可能性がある。
論文参考訳（メタデータ） (2022-03-16T07:55:49Z)
Exploring Structural Sparsity in Neural Image Compression [14.106763725475469]
本稿では,各コンボリューションチャネルの重要性を判定し,トレーニング中に空間性を導入するために,ABCM(プラグイン適応型バイナリチャネルマスキング)を提案する。推論中、重要でないチャネルをプルーニングしてスリムネットワークを得る。実験の結果,最大7倍の計算削減と3倍の加速は無視可能な性能低下で達成できることがわかった。
論文参考訳（メタデータ） (2022-02-09T17:46:49Z)
Neural JPEG: End-to-End Image Compression Leveraging a Standard JPEG Encoder-Decoder [73.48927855855219]
本稿では,エンコーダとデコーダの両端に内在するニューラル表現を強化することで,符号化性能の向上を図るシステムを提案する。実験により,提案手法はJPEGに対する速度歪み性能を,様々な品質指標で改善することを示した。
論文参考訳（メタデータ） (2022-01-27T20:20:03Z)
Toward Compact Parameter Representations for Architecture-Agnostic Neural Network Compression [26.501979992447605]
本稿では,訓練されたパラメータをコンパクトに表現・保存する観点から,圧縮について検討する。我々は、画像記述子のために発明された極端損失圧縮法である加法量子化を利用して、パラメータをコンパクトに表現する。我々は,MobileNet-v2,VGG-11,ResNet-50,Feature Pyramid Networks,および分類,検出,セグメンテーションタスクを訓練したPruned DNNの実験を行った。
論文参考訳（メタデータ） (2021-11-19T17:03:11Z)
Joint Matrix Decomposition for Deep Convolutional Neural Networks Compression [5.083621265568845]
多数のパラメータを持つディープ畳み込みニューラルネットワーク(CNN)は膨大な計算資源を必要とする。そのため,近年CNNの圧縮に分解法が用いられている。我々は,CNNを圧縮し,関節行列分解による性能劣化を軽減することを提案する。
論文参考訳（メタデータ） (2021-07-09T12:32:10Z)
Towards Compact CNNs via Collaborative Compression [166.86915086497433]
チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。 52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
論文参考訳（メタデータ） (2021-05-24T12:07:38Z)
On the Impact of Lossy Image and Video Compression on the Performance of Deep Convolutional Neural Network Architectures [17.349420462716886]
本研究では,画像と映像の圧縮技術がディープラーニングアーキテクチャの性能に与える影響について検討する。本研究では,人間のポーズ推定,セマンティックセグメンテーション,オブジェクト検出,行動認識,単眼深度推定の5つのタスクにおけるパフォーマンスへの影響について検討する。その結果,ネットワーク性能と損失圧縮のレベルとの間には,非線形および不均一な関係が認められた。
論文参考訳（メタデータ） (2020-07-28T15:37:37Z)
Compression strategies and space-conscious representations for deep neural networks [0.3670422696827526]
近年のディープラーニングの進歩により、いくつかの実世界のアプリケーションで最先端のパフォーマンスを備えた強力な畳み込みニューラルネットワーク(CNN)が利用可能になった。 CNNには数百万のパラメータがあり、リソース制限のあるプラットフォームではデプロイできない。本稿では,重み付けと量子化によるCNNの損失圧縮の影響について検討する。
論文参考訳（メタデータ） (2020-07-15T19:41:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。