論文の概要: Lightweight Convolutional Representations for On-Device Natural Language
Processing
- arxiv url: http://arxiv.org/abs/2002.01535v1
- Date: Tue, 4 Feb 2020 21:02:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-04 02:33:25.331587
- Title: Lightweight Convolutional Representations for On-Device Natural Language
Processing
- Title(参考訳): オンデバイス自然言語処理のための軽量畳み込み表現
- Authors: Shrey Desai, Geoffrey Goh, Arun Babu, Ahmed Aly
- Abstract要約: 高速で正確で軽量な畳み込み表現を提案し、任意のニューラルモデルに置き換えることができる。
Samsung Galaxy S9のリソース中心のメトリクスを考えると、リカレント表現よりも利得を示す。
- 参考スコア(独自算出の注目度): 11.565654851982568
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The increasing computational and memory complexities of deep neural networks
have made it difficult to deploy them on low-resource electronic devices (e.g.,
mobile phones, tablets, wearables). Practitioners have developed numerous model
compression methods to address these concerns, but few have condensed input
representations themselves. In this work, we propose a fast, accurate, and
lightweight convolutional representation that can be swapped into any neural
model and compressed significantly (up to 32x) with a negligible reduction in
performance. In addition, we show gains over recurrent representations when
considering resource-centric metrics (e.g., model file size, latency, memory
usage) on a Samsung Galaxy S9.
- Abstract(参考訳): ディープニューラルネットワークの計算とメモリの複雑さの増大により、低リソースの電子機器(携帯電話、タブレット、ウェアラブルなど)へのデプロイが困難になった。
これらの懸念に対処するために多くのモデル圧縮手法を開発したが、入力表現自体を凝縮したものはほとんどない。
本研究では,任意のニューラルモデルにスワップできる高速で正確で軽量な畳み込み表現法を提案する。
さらに、Samsung Galaxy S9のリソース中心のメトリクス(例えば、モデルファイルサイズ、レイテンシ、メモリ使用量)を考慮すると、リカレント表現よりも利得を示す。
関連論文リスト
- A priori compression of convolutional neural networks for wave
simulators [0.0]
現在のニューラルネットワークの設計には数百万のパラメータが含まれており、メモリに制限のあるデバイスにそのような複雑なモデルをインストールすることは困難である。
本稿では,ニューラルネットワークのトレーニングに先立って,畳み込み層を圧縮したテンソル形式,先行処理を提案する。
提案手法は,訓練可能なパラメータが少なく,メモリフットプリントも少ない古典的畳み込み層として同等の性能を発揮することを示す。
論文 参考訳(メタデータ) (2023-04-11T04:18:59Z) - Pushing the Limits of Asynchronous Graph-based Object Detection with
Event Cameras [62.70541164894224]
低計算を維持しながら、そのようなモデルの深さと複雑さを拡大できるアーキテクチャ選択をいくつか導入する。
我々の手法は、密度の高いグラフニューラルネットワークよりも3.7倍高速に動作し、前方通過はわずか8.4msである。
論文 参考訳(メタデータ) (2022-11-22T15:14:20Z) - OLLA: Decreasing the Memory Usage of Neural Networks by Optimizing the
Lifetime and Location of Arrays [6.418232942455968]
OLLAは、ニューラルネットワークのトレーニングに使用されるテンソルの寿命とメモリ位置を最適化するアルゴリズムである。
問題のエンコーディングを単純化し、最先端のニューラルネットワークのサイズにスケールするためのアプローチを可能にするために、いくつかの手法を提案する。
論文 参考訳(メタデータ) (2022-10-24T02:39:13Z) - On-Device Training Under 256KB Memory [65.76525493087847]
本稿では,256KBのメモリでデバイス上でのトレーニングを可能にするアルゴリズム・システム協調設計フレームワークを提案する。
私たちのフレームワークは、小さなIoTデバイス上での視覚認識のデバイス上での転送学習のための、最初の実用的なソリューションです。
論文 参考訳(メタデータ) (2022-06-30T17:59:08Z) - Variable Bitrate Neural Fields [75.24672452527795]
本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。
辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
論文 参考訳(メタデータ) (2022-06-15T17:58:34Z) - COIN++: Data Agnostic Neural Compression [55.27113889737545]
COIN++は、幅広いデータモダリティをシームレスに扱うニューラルネットワーク圧縮フレームワークである。
様々なデータモダリティを圧縮することで,本手法の有効性を示す。
論文 参考訳(メタデータ) (2022-01-30T20:12:04Z) - A TinyML Platform for On-Device Continual Learning with Quantized Latent
Replays [66.62377866022221]
Latent Replay-based Continual Learning (CL)技術は、原則としてオンライン、サーバレスの適応を可能にする。
10コアのFP32対応並列超低消費電力プロセッサをベースとした,エンドツーエンドCLのためのHW/SWプラットフォームを提案する。
これらの手法を組み合わせることで,64MB未満のメモリを用いて連続学習を実現することができることを示す。
論文 参考訳(メタデータ) (2021-10-20T11:01:23Z) - Compression strategies and space-conscious representations for deep
neural networks [0.3670422696827526]
近年のディープラーニングの進歩により、いくつかの実世界のアプリケーションで最先端のパフォーマンスを備えた強力な畳み込みニューラルネットワーク(CNN)が利用可能になった。
CNNには数百万のパラメータがあり、リソース制限のあるプラットフォームではデプロイできない。
本稿では,重み付けと量子化によるCNNの損失圧縮の影響について検討する。
論文 参考訳(メタデータ) (2020-07-15T19:41:19Z) - Convolutional neural networks compression with low rank and sparse
tensor decompositions [0.0]
畳み込みニューラルネットワークは、様々なコンピュータビジョンタスクにおいて顕著な結果を示す。
現実のアプリケーションでは、エッジシステムやモバイルデバイス上で走るのに十分高速で軽量なモデルを開発することが不可欠である。
本研究では,テンソル分解に基づくニューラルネットワーク圧縮手法を提案する。
論文 参考訳(メタデータ) (2020-06-11T13:53:18Z) - Neural Sparse Representation for Image Restoration [116.72107034624344]
スパース符号化に基づく画像復元モデルの堅牢性と効率に触発され,深部ネットワークにおけるニューロンの空間性について検討した。
本手法は,隠れたニューロンに対する空間的制約を構造的に強制する。
実験により、複数の画像復元タスクのためのディープニューラルネットワークではスパース表現が不可欠であることが示されている。
論文 参考訳(メタデータ) (2020-06-08T05:15:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。