Fugu-MT 論文翻訳(概要): Extreme Model Compression for On-device Natural Language Understanding

論文の概要: Extreme Model Compression for On-device Natural Language Understanding

arxiv url: http://arxiv.org/abs/2012.00124v1
Date: Mon, 30 Nov 2020 21:47:48 GMT
ステータス: 処理完了
システム内更新日: 2021-06-06 17:36:20.201462
Title: Extreme Model Compression for On-device Natural Language Understanding
Title（参考訳）: オンデバイス自然言語理解のためのエクストリームモデル圧縮
Authors: Kanthashree Mysore Sathyendra, Samridhi Choudhary, Leah Nicolich-Henkin
Abstract要約: 我々は,大規模かつ商業的なNLUシステムにおいて,膨大な語彙サイズを持つ多種多様な意図に基づいて学習した結果を示す。提案手法は, 予測性能が3.7%未満の圧縮速度で97.4%の圧縮性能を実現する。
参考スコア（独自算出の注目度）: 6.941609786551173
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this paper, we propose and experiment with techniques for extreme compression of neural natural language understanding (NLU) models, making them suitable for execution on resource-constrained devices. We propose a task-aware, end-to-end compression approach that performs word-embedding compression jointly with NLU task learning. We show our results on a large-scale, commercial NLU system trained on a varied set of intents with huge vocabulary sizes. Our approach outperforms a range of baselines and achieves a compression rate of 97.4% with less than 3.7% degradation in predictive performance. Our analysis indicates that the signal from the downstream task is important for effective compression with minimal degradation in performance.
Abstract（参考訳）: 本稿では,神経自然言語理解モデル(neural natural language understanding:nlu)モデルの極端な圧縮のための手法を提案し,実験を行う。 NLUタスク学習と協調して単語埋め込み圧縮を行うタスク認識エンドツーエンド圧縮手法を提案する。我々は,大語彙の多種多様なインテントで学習した大規模商用nluシステムについて,実験結果を示す。提案手法は、ベースラインの範囲を上回り、予測性能の3.7%未満で97.4%の圧縮率を達成している。解析の結果,下流タスクからの信号は,性能の低下を最小限に抑えた効率的な圧縮に重要であることが示された。

関連論文リスト

LanguaShrink: Reducing Token Overhead with Psycholinguistics [8.123272461141815]
LanguaShrinkは、大規模言語モデルの即時圧縮フレームワークである。本質的な情報を保持しながら、即時長を短縮する。既存のプロンプト圧縮手法と比較して、LanguaShrinkはエンドツーエンドのレイテンシを1.43倍改善している。
論文参考訳（メタデータ） (2024-09-01T22:09:20Z)
LLMLingua-2: Data Distillation for Efficient and Faithful Task-Agnostic Prompt Compression [43.048684907893104]
本稿では, タスク非依存のプロンプト圧縮に着目し, 一般化性と効率性の向上を図る。我々は,プロンプト圧縮をトークン分類問題として定式化し,圧縮されたプロンプトが元のプロンプトに忠実であることを保証する。提案手法は, XLM-RoBERTa-large や mBERT などの小型モデルを用いて圧縮目標を明示的に学習することにより,低レイテンシを実現する。
論文参考訳（メタデータ） (2024-03-19T17:59:56Z)
Activations and Gradients Compression for Model-Parallel Training [85.99744701008802]
モデル並列分散トレーニングセットアップにおけるアクティベーションと勾配の同時圧縮が収束に与える影響について検討する。グラデーションはアクティベーションよりも軽度な圧縮速度を必要とする。実験では、TopKでトレーニングされたモデルが、推論中に圧縮も適用された場合にのみ正常に動作することが示されている。
論文参考訳（メタデータ） (2024-01-15T15:54:54Z)
Approximating Human-Like Few-shot Learning with GPT-based Compression [55.699707962017975]
我々は、推論中にデータ圧縮を可能にする、人間のような学習能力を備えた生成事前学習モデルを提案する。本稿では,GPT(Generative Pre-trained Transformer)を用いてコルモゴロフ複雑性を近似する手法を提案する。
論文参考訳（メタデータ） (2023-08-14T05:22:33Z)
Compressing Transformer-based self-supervised models for speech processing [45.254624876127124]
本稿では,重量刈り,頭部刈り,低ランク近似,知識蒸留など,一般的な圧縮技術について検討する。ウォールクロック時間,パラメータ数,乗算演算数など,さまざまな圧縮速度でトレードオフを報告する。この結果から,最近の手法とのトレードオフを改善する圧縮手法の簡単な組み合わせが導かれる。
論文参考訳（メタデータ） (2022-11-17T23:53:52Z)
What do Compressed Large Language Models Forget? Robustness Challenges in Model Compression [68.82486784654817]
本稿では,知識蒸留とプルーニングを含む2つの一般的なモデル圧縮手法について検討する。本研究では, 圧縮モデルが, 対向テストセット上のPLMモデルよりもはるかに頑健であることを示す。サンプル不確実性に基づくモデル圧縮の正規化戦略を開発する。
論文参考訳（メタデータ） (2021-10-16T00:20:04Z)
Towards Compact CNNs via Collaborative Compression [166.86915086497433]
チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。 52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
論文参考訳（メタデータ） (2021-05-24T12:07:38Z)
Analyzing and Mitigating JPEG Compression Defects in Deep Learning [69.04777875711646]
本稿では,JPEG圧縮が共通タスクやデータセットに与える影響を統一的に検討する。高圧縮の一般的なパフォーマンス指標には大きなペナルティがあることが示される。
論文参考訳（メタデータ） (2020-11-17T20:32:57Z)
Neural Network Compression Via Sparse Optimization [23.184290795230897]
スパース最適化の最近の進歩に基づくモデル圧縮フレームワークを提案する。我々は、CIFAR10のVGG16とImageNetのResNet50で、同じレベルの精度で、最大7.2倍と2.9倍のFLOPを削減できる。
論文参考訳（メタデータ） (2020-11-10T03:03:55Z)
GAN Slimming: All-in-One GAN Compression by A Unified Optimization Framework [94.26938614206689]
本稿では,GANスライミング(GAN Slimming)と呼ばれる,GAN圧縮のための複数の圧縮手段を組み合わせた最初の統一最適化フレームワークを提案する。我々はGSを用いて、最先端のトランスファーネットワークであるCartoonGANを最大47倍圧縮し、視覚的品質を最小限に抑える。
論文参考訳（メタデータ） (2020-08-25T14:39:42Z)
End-to-end Learning of Compressible Features [35.40108701875527]
事前訓練された畳み込みニューラルネットワーク(CNN)は、市販の機能ジェネレータである。 CNNは、市販の強力な機能ジェネレータであり、様々なタスクで非常によく機能することが示されている。残念ながら、生成された機能は高次元であり、保存するのにコストがかかる。そこで本稿では, 圧縮性とタスク目標を協調的に最適化する学習手法を提案する。
論文参考訳（メタデータ） (2020-07-23T05:17:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。