Fugu-MT 論文翻訳(概要): LIDSNet: A Lightweight on-device Intent Detection model using Deep Siamese Network

論文の概要: LIDSNet: A Lightweight on-device Intent Detection model using Deep Siamese Network

arxiv url: http://arxiv.org/abs/2110.15717v1
Date: Wed, 6 Oct 2021 18:20:37 GMT
ステータス: 処理完了
システム内更新日: 2021-11-07 12:03:06.345583
Title: LIDSNet: A Lightweight on-device Intent Detection model using Deep Siamese Network
Title（参考訳）: LIDSNet:Deep Siamese Networkを用いた軽量オンデバイスインテント検出モデル
Authors: Vibhav Agarwal, Sudeep Deepak Shivnikar, Sourav Ghosh, Himanshu Arora, Yashwant Saini
Abstract要約: LIDSNetは、デバイス上の意図を検出する新しい軽量なモデルである。我々は,Samsung Galaxy S20デバイス上でのMobileBERTよりも,推論時に少なくとも41倍,30倍高速であることを示す。
参考スコア（独自算出の注目度）: 2.624902795082451
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Intent detection is a crucial task in any Natural Language Understanding (NLU) system and forms the foundation of a task-oriented dialogue system. To build high-quality real-world conversational solutions for edge devices, there is a need for deploying intent detection model on device. This necessitates a light-weight, fast, and accurate model that can perform efficiently in a resource-constrained environment. To this end, we propose LIDSNet, a novel lightweight on-device intent detection model, which accurately predicts the message intent by utilizing a Deep Siamese Network for learning better sentence representations. We use character-level features to enrich the sentence-level representations and empirically demonstrate the advantage of transfer learning by utilizing pre-trained embeddings. Furthermore, to investigate the efficacy of the modules in our architecture, we conduct an ablation study and arrive at our optimal model. Experimental results prove that LIDSNet achieves state-of-the-art competitive accuracy of 98.00% and 95.97% on SNIPS and ATIS public datasets respectively, with under 0.59M parameters. We further benchmark LIDSNet against fine-tuned BERTs and show that our model is at least 41x lighter and 30x faster during inference than MobileBERT on Samsung Galaxy S20 device, justifying its efficiency on resource-constrained edge devices.
Abstract（参考訳）: Intent Detectionは、自然言語理解(NLU)システムにおいて重要なタスクであり、タスク指向対話システムの基盤を形成する。エッジデバイスのための高品質な現実世界の会話ソリューションを構築するには、デバイスに意図検出モデルをデプロイする必要がある。これは、リソース制約のある環境で効率的に実行できる軽量で高速で正確なモデルを必要とする。そこで本研究では,Deep Siamese Networkを用いて,より優れた文表現を学習することにより,メッセージの意図を正確に予測する,軽量なオンデバイスインテント検出モデルLIDSNetを提案する。文字レベルの特徴を利用して文レベルの表現を豊かにし,事前学習による伝達学習の利点を実証的に示す。さらに, 本アーキテクチャにおけるモジュールの有効性を検討するため, アブレーション研究を行い, 最適モデルに到達した。実験の結果、LIDSNetはSNIPSとATISの公開データセットでそれぞれ98.00%と95.97%の最先端の競合精度を0.59M以下のパラメータで達成している。さらに、細調整されたBERTに対してLIDSNetをベンチマークし、我々のモデルはSamsung Galaxy S20デバイス上でのMobileBERTよりも41倍、30倍高速であることを示す。

関連論文リスト

SlimLM: An Efficient Small Language Model for On-Device Document Assistance [60.971107009492606]
SlimLMはモバイル端末上での文書支援タスクに最適化された一連のSLMである。 SlimLMはSlimPajama-627Bで事前訓練され、DocAssistで微調整されている。我々はSlimLMを既存のSLMと比較し、同等または優れた性能を示す。
論文参考訳（メタデータ） (2024-11-15T04:44:34Z)
Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文参考訳（メタデータ） (2024-10-29T19:02:54Z)
Efficient Federated Intrusion Detection in 5G ecosystem using optimized BERT-based model [0.7100520098029439]
5Gは高度なサービスを提供し、IoT(Internet of Things)内のインテリジェントトランスポート、コネクテッドヘルスケア、スマートシティなどのアプリケーションをサポートする。これらの進歩は、ますます高度なサイバー攻撃を伴う、重大なセキュリティ上の課題をもたらす。本稿では,連合学習と大規模言語モデル(LLM)を用いた頑健な侵入検知システム(IDS)を提案する。
論文参考訳（メタデータ） (2024-09-28T15:56:28Z)
MobiLlama: Towards Accurate and Lightweight Fully Transparent GPT [87.4910758026772]
近年のLarge Language Models (LLM) 開発において,"Bigger the Better" が主流となっている。本稿では、リソース制約のあるデバイスに対して、正確かつ効率的なSLM(Small Language Models)を設計する上での課題に対処し、"less is more"パラダイムについて考察する。
論文参考訳（メタデータ） (2024-02-26T18:59:03Z)
Online Data Selection for Federated Learning with Limited Storage [53.46789303416799]
ネットワークデバイス間での分散機械学習を実現するために、フェデレートラーニング(FL)が提案されている。デバイス上のストレージがFLの性能に与える影響はまだ調査されていない。本研究では,デバイス上のストレージを限定したFLのオンラインデータ選択について検討する。
論文参考訳（メタデータ） (2022-09-01T03:27:33Z)
ESAI: Efficient Split Artificial Intelligence via Early Exiting Using Neural Architecture Search [6.316693022958222]
ディープニューラルネットワークは、多くのコンピュータビジョン関連タスクにおいて、従来の機械学習アルゴリズムよりも優れています。大部分のデバイスは、優れたディープラーニングモデルがサーバー上のデータを解析する責任を負う、クラウドコンピューティングの方法論を活用しています。本稿では、クラウドとオンデバイスモデルの両方を活用可能な、IoTデバイスにデプロイするための新しいフレームワークを提案する。
論文参考訳（メタデータ） (2021-06-21T04:47:53Z)
ALT-MAS: A Data-Efficient Framework for Active Testing of Machine Learning Algorithms [58.684954492439424]
少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
論文参考訳（メタデータ） (2021-04-11T12:14:04Z)
A character representation enhanced on-device Intent Classification [2.2625832119364153]
デバイス上で効率的に実行可能な意図分類のための新しい軽量アーキテクチャを提案する。本実験は,提案モデルが既存手法より優れ,ベンチマークデータセットの最先端結果が得られたことを実証する。我々のモデルは5MBのメモリフットプリントと2ミリ秒の低推論時間を持ち、資源制約環境においてその効率を実証する。
論文参考訳（メタデータ） (2021-01-12T13:02:05Z)
FRDet: Balanced and Lightweight Object Detector based on Fire-Residual Modules for Embedded Processor of Autonomous Driving [0.0]
本稿では, 精度, モデルサイズ, リアルタイム処理の制約をすべて満たすために, バランスのとれた軽量一段物体検出器を提案する。我々のネットワークは、YOLOv3の精度を達成または超えながら、モデルの圧縮を最大化することを目的としている。
論文参考訳（メタデータ） (2020-11-16T16:15:43Z)
Discriminative Nearest Neighbor Few-Shot Intent Detection by Transferring Natural Language Inference [150.07326223077405]
データ不足を緩和するためには、ほとんどショットラーニングが注目を集めている。深部自己注意を伴う識別的近傍分類を提示する。自然言語推論モデル(NLI)を変換することで識別能力を高めることを提案する。
論文参考訳（メタデータ） (2020-10-25T00:39:32Z)
Self-Attention Networks for Intent Detection [0.9023847175654603]
本稿では,自己注意ネットワークとBi-LSTMに基づく新たな意図検出システムを提案する。提案手法は,変圧器モデルと深層平均化ネットワークベースユニバーサル文エンコーダを用いて改善を示す。我々は,Snips,Smart Speaker,Smart Lights,およびATISデータセットを異なる評価指標で評価する。
論文参考訳（メタデータ） (2020-06-28T12:19:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。