Fugu-MT 論文翻訳(概要): Lightweight Convolutional Representations for On-Device Natural Language Processing

論文の概要: Lightweight Convolutional Representations for On-Device Natural Language Processing

arxiv url: http://arxiv.org/abs/2002.01535v1
Date: Tue, 4 Feb 2020 21:02:11 GMT
ステータス: 処理完了
システム内更新日: 2023-01-04 02:33:25.331587
Title: Lightweight Convolutional Representations for On-Device Natural Language Processing
Title（参考訳）: オンデバイス自然言語処理のための軽量畳み込み表現
Authors: Shrey Desai, Geoffrey Goh, Arun Babu, Ahmed Aly
Abstract要約: 高速で正確で軽量な畳み込み表現を提案し、任意のニューラルモデルに置き換えることができる。 Samsung Galaxy S9のリソース中心のメトリクスを考えると、リカレント表現よりも利得を示す。
参考スコア（独自算出の注目度）: 11.565654851982568
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The increasing computational and memory complexities of deep neural networks have made it difficult to deploy them on low-resource electronic devices (e.g., mobile phones, tablets, wearables). Practitioners have developed numerous model compression methods to address these concerns, but few have condensed input representations themselves. In this work, we propose a fast, accurate, and lightweight convolutional representation that can be swapped into any neural model and compressed significantly (up to 32x) with a negligible reduction in performance. In addition, we show gains over recurrent representations when considering resource-centric metrics (e.g., model file size, latency, memory usage) on a Samsung Galaxy S9.
Abstract（参考訳）: ディープニューラルネットワークの計算とメモリの複雑さの増大により、低リソースの電子機器(携帯電話、タブレット、ウェアラブルなど)へのデプロイが困難になった。これらの懸念に対処するために多くのモデル圧縮手法を開発したが、入力表現自体を凝縮したものはほとんどない。本研究では,任意のニューラルモデルにスワップできる高速で正確で軽量な畳み込み表現法を提案する。さらに、Samsung Galaxy S9のリソース中心のメトリクス(例えば、モデルファイルサイズ、レイテンシ、メモリ使用量)を考慮すると、リカレント表現よりも利得を示す。

関連論文リスト

Less Memory Means smaller GPUs: Backpropagation with Compressed Activations [1.7065506903618906]
深層ニューラルネットワーク(DNN)の規模は、計算リソースの要件が等しく急速に増大している。最近の多くのアーキテクチャ、特にLarge Language Modelsは、何千ものアクセラレーターを持つスーパーコンピュータを使って訓練されなければならない。このアプローチにより、より長いトレーニングスケジュールのコストで、ピークメモリ使用量を29%削減することが可能になります。
論文参考訳（メタデータ） (2024-09-18T11:57:05Z)
Efficient and accurate neural field reconstruction using resistive memory [52.68088466453264]
デジタルコンピュータにおける従来の信号再構成手法は、ソフトウェアとハードウェアの両方の課題に直面している。本稿では,スパース入力からの信号再構成のためのソフトウェア・ハードウェア協調最適化を用いた体系的アプローチを提案する。この研究は、AI駆動の信号復元技術を進歩させ、将来の効率的で堅牢な医療AIと3Dビジョンアプリケーションへの道を開く。
論文参考訳（メタデータ） (2024-04-15T09:33:09Z)
A priori compression of convolutional neural networks for wave simulators [0.0]
現在のニューラルネットワークの設計には数百万のパラメータが含まれており、メモリに制限のあるデバイスにそのような複雑なモデルをインストールすることは困難である。本稿では,ニューラルネットワークのトレーニングに先立って,畳み込み層を圧縮したテンソル形式,先行処理を提案する。提案手法は,訓練可能なパラメータが少なく,メモリフットプリントも少ない古典的畳み込み層として同等の性能を発揮することを示す。
論文参考訳（メタデータ） (2023-04-11T04:18:59Z)
Pushing the Limits of Asynchronous Graph-based Object Detection with Event Cameras [62.70541164894224]
低計算を維持しながら、そのようなモデルの深さと複雑さを拡大できるアーキテクチャ選択をいくつか導入する。我々の手法は、密度の高いグラフニューラルネットワークよりも3.7倍高速に動作し、前方通過はわずか8.4msである。
論文参考訳（メタデータ） (2022-11-22T15:14:20Z)
OLLA: Decreasing the Memory Usage of Neural Networks by Optimizing the Lifetime and Location of Arrays [6.418232942455968]
OLLAは、ニューラルネットワークのトレーニングに使用されるテンソルの寿命とメモリ位置を最適化するアルゴリズムである。問題のエンコーディングを単純化し、最先端のニューラルネットワークのサイズにスケールするためのアプローチを可能にするために、いくつかの手法を提案する。
論文参考訳（メタデータ） (2022-10-24T02:39:13Z)
On-Device Training Under 256KB Memory [62.95579393237751]
本稿では,256KBのメモリでデバイス上でのトレーニングを可能にするアルゴリズム・システム協調設計フレームワークを提案する。私たちのフレームワークは256KBと1MBのFlashで畳み込みニューラルネットワークのデバイス上での小さなトレーニングを可能にする最初のソリューションです。
論文参考訳（メタデータ） (2022-06-30T17:59:08Z)
Variable Bitrate Neural Fields [75.24672452527795]
本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
論文参考訳（メタデータ） (2022-06-15T17:58:34Z)
COIN++: Data Agnostic Neural Compression [55.27113889737545]
COIN++は、幅広いデータモダリティをシームレスに扱うニューラルネットワーク圧縮フレームワークである。様々なデータモダリティを圧縮することで,本手法の有効性を示す。
論文参考訳（メタデータ） (2022-01-30T20:12:04Z)
Convolutional neural networks compression with low rank and sparse tensor decompositions [0.0]
畳み込みニューラルネットワークは、様々なコンピュータビジョンタスクにおいて顕著な結果を示す。現実のアプリケーションでは、エッジシステムやモバイルデバイス上で走るのに十分高速で軽量なモデルを開発することが不可欠である。本研究では,テンソル分解に基づくニューラルネットワーク圧縮手法を提案する。
論文参考訳（メタデータ） (2020-06-11T13:53:18Z)
Neural Sparse Representation for Image Restoration [116.72107034624344]
スパース符号化に基づく画像復元モデルの堅牢性と効率に触発され,深部ネットワークにおけるニューロンの空間性について検討した。本手法は,隠れたニューロンに対する空間的制約を構造的に強制する。実験により、複数の画像復元タスクのためのディープニューラルネットワークではスパース表現が不可欠であることが示されている。
論文参考訳（メタデータ） (2020-06-08T05:15:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。