論文の概要: SqueezeBERT: What can computer vision teach NLP about efficient neural networks?

• arxiv url: http://arxiv.org/abs/2006.11316v1
• Date: Fri, 19 Jun 2020 18:40:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-19 03:31:53.159299
• Title: SqueezeBERT: What can computer vision teach NLP about efficient neural networks?
• Title（参考訳）: squeezebert: コンピュータビジョンは効率的なニューラルネットワークについてnlpに何を教えますか?
• Authors: Forrest N. Iandola, Albert E. Shaw, Ravi Krishna, Kurt W. Keutzer
• Abstract要約: 自己注意層における複数の操作をグループ化された畳み込みで置き換える方法を示す。 この技術は、Pixel 3のBERTベースより4.3倍高速で動作するSqueezeBERTと呼ばれる新しいネットワークアーキテクチャで使用しています。
• 参考スコア（独自算出の注目度）: 1.1943307717625151
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Humans read and write hundreds of billions of messages every day. Further, due to the availability of large datasets, large computing systems, and better neural network models, natural language processing (NLP) technology has made significant strides in understanding, proofreading, and organizing these messages. Thus, there is a significant opportunity to deploy NLP in myriad applications to help web users, social networks, and businesses. In particular, we consider smartphones and other mobile devices as crucial platforms for deploying NLP models at scale. However, today's highly-accurate NLP neural network models such as BERT and RoBERTa are extremely computationally expensive, with BERT-base taking 1.7 seconds to classify a text snippet on a Pixel 3 smartphone. In this work, we observe that methods such as grouped convolutions have yielded significant speedups for computer vision networks, but many of these techniques have not been adopted by NLP neural network designers. We demonstrate how to replace several operations in self-attention layers with grouped convolutions, and we use this technique in a novel network architecture called SqueezeBERT, which runs 4.3x faster than BERT-base on the Pixel 3 while achieving competitive accuracy on the GLUE test set. The SqueezeBERT code will be released.
• Abstract（参考訳）: 人間は毎日何十億ものメッセージを読み書きしています さらに、大規模なデータセット、大規模コンピューティングシステム、ニューラルネットワークモデルの改善により、自然言語処理(NLP)技術は、これらのメッセージの理解、証明、整理に大きく貢献している。 したがって、Webユーザやソーシャルネットワーク、ビジネスを支援するために、無数のアプリケーションにNLPをデプロイする大きな機会があります。 特に、スマートフォンや他のモバイルデバイスは、大規模にNLPモデルをデプロイするための重要なプラットフォームだと考えています。 しかし、BERTやRoBERTaといった今日の高精度なNLPニューラルネットワークモデルは、Pixel 3スマートフォンでテキストスニペットを分類するのに1.7秒を要するため、非常に計算コストが高い。 本研究では,グループ畳み込みなどの手法がコンピュータビジョンネットワークにおいて重要なスピードアップをもたらしているが,これらの手法の多くはNLPニューラルネットワーク設計者によって採用されていない。 この手法を,Pixel 3のBERTベースより4.3倍高速に動作し,GLUEテストセット上での競合精度を実現した,SqueezeBERTという新しいネットワークアーキテクチャに応用する。 SqueezeBERTコードはリリースされる。

関連論文リスト

• SNNLP: Energy-Efficient Natural Language Processing Using Spiking Neural Networks [1.9461779294968458]
  スパイキングニューラルネットワーク(SNN)はコンピュータビジョンや信号処理に用いられる。 自然言語処理(NLP)は、ニューロモルフィック・セッティングで研究されている主要な分野の1つである。 我々は,テキストをスパイクとして符号化する手法を提案し,ベンチマークNLPタスクにおいて,ポアソンレートコーディング法を約13%向上させる。
  論文  参考訳（メタデータ） (2024-01-31T15:16:25Z)
• HyBNN and FedHyBNN: (Federated) Hybrid Binary Neural Networks [0.0]
  新しいハイブリッドニューラルネットワークアーキテクチャHybrid Binary Neural Network (Hybrid Binary Neural Network, HyBNN)を導入する。 HyBNNは、タスク非依存、一般、完全精度の変動型オートエンコーダと、タスク固有のバイナリニューラルネットワークで構成されている。 提案システムは,入力バイナライゼーションにより,バニラバイナリニューラルネットワークを著しく上回る性能を有することを示す。
  論文  参考訳（メタデータ） (2022-05-19T20:27:01Z)
• FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
  本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。 この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。 分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
  論文  参考訳（メタデータ） (2022-01-18T13:59:22Z)
• CondenseNeXt: An Ultra-Efficient Deep Neural Network for Embedded Systems [0.0]
  畳み込みニューラルネットワーク(英: Convolutional Neural Network, CNN)は、画像センサが捉えた視覚画像の分析に広く用いられているディープニューラルネットワーク(DNN)のクラスである。 本稿では,組込みシステム上でのリアルタイム推論のために,既存のCNNアーキテクチャの性能を改善するために,深層畳み込みニューラルネットワークアーキテクチャの新しい変種を提案する。
  論文  参考訳（メタデータ） (2021-12-01T18:20:52Z)
• Quantized Neural Networks via {-1, +1} Encoding Decomposition and Acceleration [83.84684675841167]
  本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。 本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2021-06-18T03:11:15Z)
• Learning from Event Cameras with Sparse Spiking Convolutional Neural Networks [0.0]
  畳み込みニューラルネットワーク(CNN)は現在、コンピュータビジョン問題のデファクトソリューションとなっている。 イベントカメラとスピーキングニューラルネットワーク(SNN)を用いたエンドツーエンドの生物学的インスパイアされたアプローチを提案する。 この手法は、一般的なディープラーニングフレームワークPyTorchを使用して、イベントデータに直接スパーススパイクニューラルネットワークのトレーニングを可能にする。
  論文  参考訳（メタデータ） (2021-04-26T13:52:01Z)
• Adversarially Robust and Explainable Model Compression with On-Device Personalization for Text Classification [4.805959718658541]
  モバイルデバイスのコンピューティング能力の増大とコンピュータビジョン(CV)と自然言語処理(NLP)のアプリケーション数の増加により、オンデバイスディープニューラルネットワーク(DNN)が最近注目を集めている。 NLPアプリケーションでは、モデル圧縮は最初は成功したが、少なくとも3つの大きな課題が解決されている: 対向的堅牢性、説明可能性、パーソナライゼーションである。 ここでは,モデル圧縮と対向ロバスト性のための新たなトレーニングスキームを設計し,説明可能な特徴マッピングの目的を最適化することによって,これらの課題に対処する。 得られた圧縮モデルは、細かなデバイス上でのプライベートトレーニングデータを用いてパーソナライズされる。
  論文  参考訳（メタデータ） (2021-01-10T15:06:55Z)
• EvoPose2D: Pushing the Boundaries of 2D Human Pose Estimation using Accelerated Neuroevolution with Weight Transfer [82.28607779710066]
  生物進化にインスパイアされたニューラル・アーキテクチャー・サーチの一形態であるニューラル・エボリューションの2次元ヒューマン・ポーズ・ネットワークの設計への応用について検討する。 本手法は,最先端の手設計ネットワークよりも効率的かつ高精度なネットワーク設計を実現する。
  論文  参考訳（メタデータ） (2020-11-17T05:56:16Z)
• Binarizing MobileNet via Evolution-based Searching [66.94247681870125]
  そこで本稿では,MobileNet をバイナライズする際の構築と訓練を容易にするための進化的探索手法を提案する。 ワンショットアーキテクチャ検索フレームワークに着想を得て、グループ畳み込みのアイデアを操り、効率的な1ビット畳み込みニューラルネットワーク(CNN)を設計する。 我々の目標は、グループ畳み込みの最良の候補を探索することで、小さなが効率的なバイナリニューラルアーキテクチャを考案することである。
  論文  参考訳（メタデータ） (2020-05-13T13:25:51Z)
• The Microsoft Toolkit of Multi-Task Deep Neural Networks for Natural Language Understanding [97.85957811603251]
  MT-DNNはオープンソースの自然言語理解(NLU)ツールキットであり、研究者や開発者がカスタマイズされたディープラーニングモデルを訓練しやすくする。 PyTorchとTransformersをベースとして開発されたMT-DNNは、幅広いNLUタスクの迅速なカスタマイズを容易にするように設計されている。 MT-DNNのユニークな特徴は、対戦型マルチタスク学習パラダイムを用いた堅牢で移動可能な学習のサポートである。
  論文  参考訳（メタデータ） (2020-02-19T03:05:28Z)
• CryptoSPN: Privacy-preserving Sum-Product Network Inference [84.88362774693914]
  総生産ネットワーク(SPN)のプライバシ保護のためのフレームワークを提案する。 CryptoSPNは、中規模のSPNに対して秒の順序で高効率で正確な推論を行う。
  論文  参考訳（メタデータ） (2020-02-03T14:49:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。