論文の概要: NAS-BERT: Task-Agnostic and Adaptive-Size BERT Compression with Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2105.14444v1
• Date: Sun, 30 May 2021 07:20:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2021-06-03 12:15:07.718380
• Title: NAS-BERT: Task-Agnostic and Adaptive-Size BERT Compression with Neural Architecture Search
• Title（参考訳）: NAS-BERT:ニューラルアーキテクチャ探索によるタスク非依存かつ適応サイズBERT圧縮
• Authors: Jin Xu, Xu Tan, Renqian Luo, Kaitao Song, Jian Li, Tao Qin, Tie-Yan Liu
• Abstract要約: BERT圧縮の効率的な手法であるNAS-BERTを提案する。 NAS-BERTは、検索空間上で大きなスーパーネットをトレーニングし、適応的なサイズとレイテンシを持つ複数の圧縮モデルを出力する。 GLUEとSQuADベンチマークデータセットの実験は、NAS-BERTが以前のアプローチよりも高精度で軽量なモデルを見つけることができることを示した。
• 参考スコア（独自算出の注目度）: 100.71365025972258
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While pre-trained language models (e.g., BERT) have achieved impressive results on different natural language processing tasks, they have large numbers of parameters and suffer from big computational and memory costs, which make them difficult for real-world deployment. Therefore, model compression is necessary to reduce the computation and memory cost of pre-trained models. In this work, we aim to compress BERT and address the following two challenging practical issues: (1) The compression algorithm should be able to output multiple compressed models with different sizes and latencies, in order to support devices with different memory and latency limitations; (2) The algorithm should be downstream task agnostic, so that the compressed models are generally applicable for different downstream tasks. We leverage techniques in neural architecture search (NAS) and propose NAS-BERT, an efficient method for BERT compression. NAS-BERT trains a big supernet on a search space containing a variety of architectures and outputs multiple compressed models with adaptive sizes and latency. Furthermore, the training of NAS-BERT is conducted on standard self-supervised pre-training tasks (e.g., masked language model) and does not depend on specific downstream tasks. Thus, the compressed models can be used across various downstream tasks. The technical challenge of NAS-BERT is that training a big supernet on the pre-training task is extremely costly. We employ several techniques including block-wise search, search space pruning, and performance approximation to improve search efficiency and accuracy. Extensive experiments on GLUE and SQuAD benchmark datasets demonstrate that NAS-BERT can find lightweight models with better accuracy than previous approaches, and can be directly applied to different downstream tasks with adaptive model sizes for different requirements of memory or latency.
• Abstract（参考訳）: 事前訓練された言語モデル(例えばBERT)は、異なる自然言語処理タスクにおいて印象的な結果を得たが、多くのパラメータを持ち、計算とメモリのコストに悩まされており、現実のデプロイメントでは困難である。 したがって、事前訓練されたモデルの計算とメモリコストを低減するためにモデル圧縮が必要である。 本研究は,BERTを圧縮し,次の2つの課題に対処することを目的としている。(1) 圧縮アルゴリズムは,異なるメモリと遅延制限を持つデバイスをサポートするために,異なるサイズとレイテンシを持つ複数の圧縮モデルを出力できなければならない。 我々は、NAS(Neural Architecture Search)の手法を活用し、BERT圧縮の効率的な方法であるNAS-BERTを提案する。 NAS-BERTは、様々なアーキテクチャを含む検索空間上で大きなスーパーネットをトレーニングし、適応的なサイズとレイテンシを持つ複数の圧縮されたモデルを出力する。 さらに、NAS-BERTのトレーニングは、標準的な自己監督型事前訓練タスク(例えば、マスク付き言語モデル)で行われ、特定の下流タスクに依存しない。 したがって、圧縮されたモデルは様々な下流タスクで使用できる。 NAS-BERTの技術的課題は、トレーニング前のタスクで大きなスーパーネットをトレーニングすることは非常にコストがかかることである。 我々は,ブロックワイズ探索,探索空間の刈り取り,性能近似などの手法を用いて,探索効率と精度を向上させる。 グルーとスクワッドベンチマークデータセットに関する広範な実験は、nas-bertが以前のアプローチよりも精度の高い軽量モデルを見つけることができ、メモリやレイテンシの異なる要件に対して、適応モデルサイズを備えた下流タスクに直接適用できることを示している。

関連論文リスト

• AutoDistil: Few-shot Task-agnostic Neural Architecture Search for Distilling Large Language Models [121.22644352431199]
  ニューラルアーキテクチャサーチ (NAS) を用いて、大容量モデルから可変コストで複数の圧縮された学生を自動的に抽出する。 現在の作業では、ウェイトシェアリングを備えた数百万の作業からなる1つのSuperLMをトレーニングしています。 最先端のKDおよびNAS手法に対するGLUEベンチマーク実験は、AutoDistilが先行圧縮技術より優れていることを示す。
  論文  参考訳（メタデータ） (2022-01-29T06:13:04Z)
• UDC: Unified DNAS for Compressible TinyML Models [10.67922101024593]
  この研究は、ニューラルアークシークチャサーチ(NAS)アルゴリズムを提案することにより、NPU HW能力とNNモデル設計のギャップを埋める。 CIFAR100, ImageNet, DIV2Kスーパー解像度タスク上で, 圧縮性モデル(UDC)のための統一DNASを実証した。 ImageNetでは、1.9倍、または5.76%の精度で圧縮可能なモデルが主流である。
  論文  参考訳（メタデータ） (2022-01-15T12:35:26Z)
• Differentiable Network Pruning for Microcontrollers [14.864940447206871]
  本稿では,畳み込みニューラルネットワークのための可変構造型ネットワークプルーニング法を提案する。 モデル固有のリソース使用量とパラメータ重要度フィードバックを統合し、高度に圧縮されかつ正確な分類モデルを得る。
  論文  参考訳（メタデータ） (2021-10-15T20:26:15Z)
• You Only Compress Once: Towards Effective and Elastic BERT Compression via Exploit-Explore Stochastic Nature Gradient [88.58536093633167]
  既存のモデル圧縮アプローチでは、さまざまなハードウェアデプロイメントに対応するために、さまざまな制約にまたがる再圧縮や微調整が必要となる。 圧縮を一度行い、至るところに展開するための新しいアプローチであるYOCO-BERTを提案する。 最先端のアルゴリズムと比較すると、YOCO-BERTはよりコンパクトなモデルを提供するが、GLUEベンチマークの平均精度は2.1%-4.5%向上している。
  論文  参考訳（メタデータ） (2021-06-04T12:17:44Z)
• Binarized Neural Architecture Search for Efficient Object Recognition [120.23378346337311]
  バイナリ化されたニューラルネットワークサーチ(BNAS)は、エッジコンピューティング用の組み込みデバイスにおいて、膨大な計算コストを削減するために、極めて圧縮されたモデルを生成する。 9,6.53%対9,7.22%の精度はCIFAR-10データセットで達成されるが、かなり圧縮されたモデルで、最先端のPC-DARTSよりも40%速い検索が可能である。
  論文  参考訳（メタデータ） (2020-09-08T15:51:23Z)
• Search What You Want: Barrier Panelty NAS for Mixed Precision Quantization [51.26579110596767]
  混合精度量子化のための新しいバリアペナルティベースNAS(BP-NAS)を提案する。 BP-NASは、分類(Cifar-10, ImageNet)と検出(COCO)の両方に基づいて芸術の新たな状態を設定する
  論文  参考訳（メタデータ） (2020-07-20T12:00:48Z)
• Self-Supervised GAN Compression [32.21713098893454]
  従来の手法では,標準モデル圧縮手法であるウェイトプルーニングがGANに適用できないことを示す。 次に、訓練された判別器を用いて圧縮発電機の訓練を監督する自己教師圧縮手法を開発する。 我々は,このフレームワークが高い疎度に対して魅力的な性能を示し,新しいタスクやモデルに容易に適用できることを示し,異なるプルーニング粒度間の有意義な比較を可能にする。
  論文  参考訳（メタデータ） (2020-07-03T04:18:54Z)
• AdaBERT: Task-Adaptive BERT Compression with Differentiable Neural Architecture Search [79.98686989604164]
  既存の方法では、BERTを小さなモデルに圧縮するが、そのような圧縮はタスクに依存しない。 本稿では,タスク適応型小型モデルにBERTを自動的に圧縮する,可変ニューラルアーキテクチャ探索を利用した新しい圧縮手法AdaBERTを提案する。 我々は,複数のNLPタスクに対してAdaBERTを評価し,これらのタスク適応型圧縮モデルが推定時間でBERTよりも12.7倍から29.3倍速く,パラメータサイズで11.5倍から17.0倍小さいことを示す。
  論文  参考訳（メタデータ） (2020-01-13T14:03:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。