Fugu-MT 論文翻訳(概要): Model Blending for Text Classification

論文の概要: Model Blending for Text Classification

arxiv url: http://arxiv.org/abs/2208.02819v1
Date: Fri, 5 Aug 2022 05:07:45 GMT
ステータス: 処理完了
システム内更新日: 2022-08-08 12:10:22.674294
Title: Model Blending for Text Classification
Title（参考訳）: テキスト分類のためのモデルブレンディング
Authors: Ramit Pahwa
Abstract要約: テキスト分類などの自然言語処理におけるアートLSTMモデルの複雑性をCNNベースモデルに抽出することにより,テスト中の推論時間(あるいはレイテンシ)を短縮する。
参考スコア（独自算出の注目度）: 0.15229257192293197
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Deep neural networks (DNNs) have proven successful in a wide variety of applications such as speech recognition and synthesis, computer vision, machine translation, and game playing, to name but a few. However, existing deep neural network models are computationally expensive and memory intensive, hindering their deployment in devices with low memory resources or in applications with strict latency requirements. Therefore, a natural thought is to perform model compression and acceleration in deep networks without significantly decreasing the model performance, which is what we call reducing the complexity. In the following work, we try reducing the complexity of state of the art LSTM models for natural language tasks such as text classification, by distilling their knowledge to CNN based models, thus reducing the inference time(or latency) during testing.
Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、音声認識や合成、コンピュータビジョン、機械翻訳、ゲームプレイなど、幅広い用途で成功している。しかし、既存のディープニューラルネットワークモデルは計算コストが高く、メモリ集約的であるため、低メモリリソースのデバイスや厳格なレイテンシ要件のアプリケーションへのデプロイメントを妨げている。したがって、深層ネットワークにおけるモデル圧縮と加速を、モデル性能を著しく低下させることなく行うことが自然な考え方である。以下の研究では、テキスト分類などの自然言語タスクにおける art lstm モデルの複雑さを、知識を cnn ベースのモデルに蒸留することで低減し、テスト中の推論時間(または遅延)を削減することを試みる。

関連論文リスト

A priori compression of convolutional neural networks for wave simulators [0.0]
現在のニューラルネットワークの設計には数百万のパラメータが含まれており、メモリに制限のあるデバイスにそのような複雑なモデルをインストールすることは困難である。本稿では,ニューラルネットワークのトレーニングに先立って,畳み込み層を圧縮したテンソル形式,先行処理を提案する。提案手法は,訓練可能なパラメータが少なく,メモリフットプリントも少ない古典的畳み込み層として同等の性能を発揮することを示す。
論文参考訳（メタデータ） (2023-04-11T04:18:59Z)
Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文参考訳（メタデータ） (2022-11-19T15:44:08Z)
Go Beyond Multiple Instance Neural Networks: Deep-learning Models based on Local Pattern Aggregation [0.0]
畳み込みニューラルネットワーク(CNN)は、臨床心電図(ECG)と話者非依存音声の処理においてブレークスルーをもたらした。本稿では,局所的なパターン集約に基づくディープラーニングモデルを提案する。 LPANetと呼ばれる新しいネットワーク構造には、トリミングと集約操作が組み込まれている。
論文参考訳（メタデータ） (2022-05-28T13:18:18Z)
Learning Frequency-aware Dynamic Network for Efficient Super-Resolution [56.98668484450857]
本稿では、離散コサイン変換(dct)領域の係数に応じて入力を複数の部分に分割する新しい周波数認識動的ネットワークについて検討する。実際、高周波部は高価な操作で処理され、低周波部は計算負荷を軽減するために安価な操作が割り当てられる。ベンチマークSISRモデルおよびデータセット上での実験は、周波数認識動的ネットワークが様々なSISRニューラルネットワークに使用できることを示している。
論文参考訳（メタデータ） (2021-03-15T12:54:26Z)
Adversarially Robust and Explainable Model Compression with On-Device Personalization for Text Classification [4.805959718658541]
モバイルデバイスのコンピューティング能力の増大とコンピュータビジョン(CV)と自然言語処理(NLP)のアプリケーション数の増加により、オンデバイスディープニューラルネットワーク(DNN)が最近注目を集めている。 NLPアプリケーションでは、モデル圧縮は最初は成功したが、少なくとも3つの大きな課題が解決されている: 対向的堅牢性、説明可能性、パーソナライゼーションである。ここでは,モデル圧縮と対向ロバスト性のための新たなトレーニングスキームを設計し,説明可能な特徴マッピングの目的を最適化することによって,これらの課題に対処する。得られた圧縮モデルは、細かなデバイス上でのプライベートトレーニングデータを用いてパーソナライズされる。
論文参考訳（メタデータ） (2021-01-10T15:06:55Z)
MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。我々は精度-速度トレードオフの観点から最先端の結果を得る。
論文参考訳（メタデータ） (2020-09-29T11:56:01Z)
Reservoir Memory Machines as Neural Computers [70.5993855765376]
微分可能なニューラルネットワークは、干渉することなく明示的なメモリで人工ニューラルネットワークを拡張する。我々は、非常に効率的に訓練できるモデルを用いて、微分可能なニューラルネットワークの計算能力を実現する。
論文参考訳（メタデータ） (2020-09-14T12:01:30Z)
Neural Architecture Search For LF-MMI Trained Time Delay Neural Networks [61.76338096980383]
TDNN(State-of-the-the-art Factored Time delay Neural Network)の2種類のハイパーパラメータを自動的に学習するために、さまざまなニューラルネットワークサーチ(NAS)技術が使用されている。 DARTSメソッドはアーキテクチャ選択とLF-MMI(格子のないMMI)TDNNトレーニングを統合する。 300時間のSwitchboardコーパスで行われた実験では、自動構成システムはベースラインLF-MMI TDNNシステムより一貫して優れていることが示唆された。
論文参考訳（メタデータ） (2020-07-17T08:32:11Z)
Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文参考訳（メタデータ） (2020-07-02T15:38:44Z)
Dynamic Sparsity Neural Networks for Automatic Speech Recognition [44.352231175123215]
動的スパシティニューラルネットワーク(DSNN)は、トレーニングが完了すれば、実行時に任意の定義済みのスパシティ設定に即時に切り替えることができる。したがって、トレーニングされたDSNNモデルは、トレーニングプロセスを大幅に緩和し、リソース制約のある多様なシナリオでのデプロイを簡素化できます。
論文参考訳（メタデータ） (2020-05-16T22:08:54Z)
Efficient Synthesis of Compact Deep Neural Networks [17.362146401041528]
ディープニューラルネットワーク(DNN)は、無数の機械学習アプリケーションにデプロイされている。これらの大規模で深いモデルは、膨大な計算コスト、高いメモリ帯域幅、長いレイテンシのために、現実世界のアプリケーションには適さないことが多い。本稿では,DNN/LSTMモデルの自動合成手法について概説する。
論文参考訳（メタデータ） (2020-04-18T21:20:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。