論文の概要: Processing Natural Language on Embedded Devices: How Well Do Modern Models Perform?

• arxiv url: http://arxiv.org/abs/2304.11520v3
• Date: Tue, 12 Sep 2023 21:15:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-14 17:59:10.765485
• Title: Processing Natural Language on Embedded Devices: How Well Do Modern Models Perform?
• Title（参考訳）: 組み込みデバイスでの自然言語処理:現代のモデルの性能はどの程度か?
• Authors: Souvika Sarkar, Mohammad Fakhruddin Babar, Md Mahadi Hassan, Monowar Hasan, and Shubhra Kanti Karmaker Santu
• Abstract要約: 一部のユースケース(ロボティクス、自動車インフォテインメントなど)では、自然言語処理(NLP)タスクをオフラインで実行する必要がある。 BERTとその派生型は、主に計算量の多いサーバを念頭に開発されている。 本稿では,最もよく使われているBERTベースの言語モデル(例えばBERT,RoBERTa,DistilBERT,TinyBERT)が組込みシステムでどのように動作するかを検討する。
• 参考スコア（独自算出の注目度）: 7.20137300597822
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Voice-controlled systems are becoming ubiquitous in many IoT-specific applications such as home/industrial automation, automotive infotainment, and healthcare. While cloud-based voice services (\eg Alexa, Siri) can leverage high-performance computing servers, some use cases (\eg robotics, automotive infotainment) may require to execute the natural language processing (NLP) tasks offline, often on resource-constrained embedded devices. Large language models such as BERT and its variants are primarily developed with compute-heavy servers in mind. Despite the great performance of BERT models across various NLP tasks, their large size and numerous parameters pose substantial obstacles to offline computation on embedded systems. Lighter replacement of such language models (\eg DistilBERT and TinyBERT) often sacrifice accuracy, particularly for complex NLP tasks. Until now, it is still unclear \ca whether the state-of-the-art language models, \viz BERT and its variants are deployable on embedded systems with a limited processor, memory, and battery power and \cb if they do, what are the ``right'' set of configurations and parameters to choose for a given NLP task. This paper presents an \textit{exploratory study of modern language models} under different resource constraints and accuracy budgets to derive empirical observations about these resource/accuracy trade-offs. In particular, we study how the four most commonly used BERT-based language models (\eg BERT, RoBERTa, DistilBERT, and TinyBERT) perform on embedded systems. We tested them on a Raspberry Pi-based robotic platform with three hardware configurations and four datasets running various NLP tasks. Our findings can help designers to understand the deployability and performance of modern language models, especially those based on BERT architectures, thus saving a lot of time wasted in trial-and-error efforts.
• Abstract（参考訳）: 音声制御システムは、ホーム/インダストリアルオートメーション、自動車インフォテインメント、ヘルスケアなど、多くのIoT固有のアプリケーションで普及している。 クラウドベースの音声サービス(\eg Alexa、Siri)は高性能なコンピューティングサーバーを利用することができるが、いくつかのユースケース(\eg Roboticss、自動車インフォテインメント)では、自然言語処理(NLP)タスクをオフラインで実行する必要がある。 BERTなどの大規模言語モデルは、主に計算量の多いサーバを念頭に開発されている。 様々なNLPタスクにまたがるBERTモデルの優れた性能にもかかわらず、その大きなサイズと多数のパラメータは組み込みシステムにおけるオフライン計算にかなりの障害をもたらす。 このような言語モデルのより軽量な置換 (\eg DistilBERT と TinyBERT) は、特に複雑な NLP タスクの精度を犠牲にすることが多い。 これまでのところ、最先端の言語モデルである \viz bertとその変種が、プロセッサ、メモリ、バッテリパワーに制限のある組み込みシステムにデプロイ可能かどうか、もしそうであれば \cbと、所定のnlpタスクのために選択すべき設定とパラメータの ``right'' セットは何かは、まだ不明である。 本稿では,異なる資源制約と正確性予算の下で,これらの資源/正確性トレードオフに関する経験的観察を導出するために, \textit{exploratory study of modern language models} を提案する。 特に,最もよく使われているBERTベースの4つの言語モデル (\eg BERT, RoBERTa, DistilBERT, TinyBERT) が組込みシステム上でどのように動作するかを検討する。 3つのハードウェア構成と4つのデータセットがさまざまなNLPタスクを実行するRaspberry Piベースのロボットプラットフォームでテストしました。 私たちの発見は、デザイナーが現代の言語モデル、特にbertアーキテクチャに基づくモデルのデプロイ可能性とパフォーマンスを理解するのに役立ちます。

関連論文リスト

• Language Models are Universal Embedders [48.12992614723464]
  事前学習されたトランスフォーマーデコーダは、限定的な英語データに基づいて微調整された場合、普遍的に埋め込み可能であることを示す。 我々のモデルは、最小限のトレーニングデータにより、異なる埋め込みタスクにおける競争性能を達成する。 これらの結果は、強力な統合インバータを構築するための有望な道の証となる。
  論文  参考訳（メタデータ） (2023-10-12T11:25:46Z)
• XDBERT: Distilling Visual Information to BERT from Cross-Modal Systems to Improve Language Understanding [73.24847320536813]
  本研究では,事前学習したマルチモーダル変換器から事前学習した言語エンコーダへの視覚情報の蒸留について検討する。 我々のフレームワークは,NLUの言語重み特性に適応するために学習目標を変更する一方で,視覚言語タスクにおけるクロスモーダルエンコーダの成功にインスパイアされている。
  論文  参考訳（メタデータ） (2022-04-15T03:44:00Z)
• CoreLM: Coreference-aware Language Model Fine-Tuning [0.0]
  我々は、現在の事前学習言語モデルのアーキテクチャを拡張した、CoreLMというファインチューニングフレームワークを提案する。 我々は、モデルの文脈空間外で利用可能な情報を作成し、計算コストのごく一部について、よりよい言語モデルをもたらす。 提案モデルでは, GPT2 と比較した場合, GUMBY と LAMBDADA のデータセットのパープレキシティが低くなる。
  論文  参考訳（メタデータ） (2021-11-04T08:44:31Z)
• Paraphrastic Representations at Scale [134.41025103489224]
  私たちは、英語、アラビア語、ドイツ語、フランス語、スペイン語、ロシア語、トルコ語、中国語の訓練されたモデルをリリースします。 我々はこれらのモデルを大量のデータでトレーニングし、元の論文から大幅に性能を向上した。
  論文  参考訳（メタデータ） (2021-04-30T16:55:28Z)
• Bertinho: Galician BERT Representations [14.341471404165349]
  本稿ではガリシア語に対する単言語BERTモデルを提案する。 我々は、それぞれ6層と12層からなる2つのモデルをリリースする。 我々のモデル、特に12層モデルでは、ほとんどのタスクにおいてmBERTの結果よりも優れています。
  論文  参考訳（メタデータ） (2021-03-25T12:51:34Z)
• I-BERT: Integer-only BERT Quantization [78.43819756382103]
  トランスフォーマーモデルのための新しい量子化手法であるI-BERTを提案する。 I-BERTは浮動小数点演算なしでエンドツーエンドの整数のみのBERT推論を実行する。 いずれの場合も,I-BERTは全精度ベースラインと同等(かつ若干高い)精度が得られた。
  論文  参考訳（メタデータ） (2021-01-05T02:42:58Z)
• Dual-decoder Transformer for Joint Automatic Speech Recognition and Multilingual Speech Translation [71.54816893482457]
  自動音声認識(ASR)と多言語音声翻訳(ST)を共同で行う新しいモデルアーキテクチャであるデュアルデコーダトランスフォーマを導入する。 我々のモデルはオリジナルのTransformerアーキテクチャに基づいているが、2つのデコーダで構成されており、それぞれが1つのタスク(ASRまたはST)を担っている。
  論文  参考訳（メタデータ） (2020-11-02T04:59:50Z)
• ParsBERT: Transformer-based Model for Persian Language Understanding [0.7646713951724012]
  本稿ではペルシャ語用単言語BERT(ParsBERT)を提案する。 他のアーキテクチャや多言語モデルと比較すると、最先端のパフォーマンスを示している。 ParsBERTは、既存のデータセットや合成データセットを含む、すべてのデータセットでより高いスコアを取得する。
  論文  参考訳（メタデータ） (2020-05-26T05:05:32Z)
• What the [MASK]? Making Sense of Language-Specific BERT Models [39.54532211263058]
  本稿では,言語固有のBERTモデルにおける技術の現状について述べる。 本研究の目的は,言語固有のBERTモデルとmBERTモデルとの共通点と相違点について概説することである。
  論文  参考訳（メタデータ） (2020-03-05T20:42:51Z)
• TextBrewer: An Open-Source Knowledge Distillation Toolkit for Natural Language Processing [64.87699383581885]
  自然言語処理のためのオープンソースの知識蒸留ツールキットTextBrewerを紹介する。 テキスト分類、読解、シーケンスラベリングなどの教師あり学習タスクをサポートする。 ケーススタディでは、TextBrewerを使用して、いくつかの典型的なNLPタスクでBERTを蒸留する。
  論文  参考訳（メタデータ） (2020-02-28T09:44:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。