論文の概要: Minimizing PLM-Based Few-Shot Intent Detectors

• arxiv url: http://arxiv.org/abs/2407.09943v1
• Date: Sat, 13 Jul 2024 16:47:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-16 20:08:02.911605
• Title: Minimizing PLM-Based Few-Shot Intent Detectors
• Title（参考訳）: PLMを用いたFew-Shot Intent Detectorの最小化
• Authors: Haode Zhang, Xiao-Ming Wu, Albert Y. S. Lam,
• Abstract要約: PLMをベースとしたインテント検出装置のサイズを最小化する手法について検討する。 具体的には、データ拡張に大規模言語モデル(LLM)を使用し、知識蒸留に最先端のモデル圧縮法を用い、V-Pruneと呼ばれる語彙解析機構を考案する。
• 参考スコア（独自算出の注目度）: 17.05344006236205
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent research has demonstrated the feasibility of training efficient intent detectors based on pre-trained language model~(PLM) with limited labeled data. However, deploying these detectors in resource-constrained environments such as mobile devices poses challenges due to their large sizes. In this work, we aim to address this issue by exploring techniques to minimize the size of PLM-based intent detectors trained with few-shot data. Specifically, we utilize large language models (LLMs) for data augmentation, employ a cutting-edge model compression method for knowledge distillation, and devise a vocabulary pruning mechanism called V-Prune. Through these approaches, we successfully achieve a compression ratio of 21 in model memory usage, including both Transformer and the vocabulary, while maintaining almost identical performance levels on four real-world benchmarks.
• Abstract（参考訳）: 近年の研究では、ラベル付きデータによる事前学習言語モデル~(PLM)に基づく効率的な意図検出の訓練が可能であることが実証されている。 しかし、モバイルデバイスのようなリソース制約のある環境にこれらの検出器を配置することは、そのサイズが大きいため、課題となる。 本研究では, PLM をベースとしたインテント検出装置のサイズを最小化するため, この課題に対処することを目的としている。 具体的には,大規模言語モデル(LLM)をデータ拡張に利用し,知識蒸留に最先端モデル圧縮法を用い,V-Pruneと呼ばれる語彙解析機構を考案する。 これらの手法により,トランスフォーマーとボキャブラリの両方を含むモデルメモリ使用率21の圧縮比を実現し,実世界の4つのベンチマークでほぼ同じ性能を維持した。

関連論文リスト

• A Continual and Incremental Learning Approach for TinyML On-device Training Using Dataset Distillation and Model Size Adaption [0.4345992906143838]
  Tiny Machine Learning (TinyML) の文脈における漸進学習のための新しいアルゴリズムを提案する。 低性能でエネルギー効率のよい組み込みデバイスに最適化されている。 提案アルゴリズムは,組込みデバイス上でのTinyMLインクリメンタル学習に有望なアプローチを提供することを示す。
  論文  参考訳（メタデータ） (2024-09-11T09:02:33Z)
• Efficient Meta-Learning Enabled Lightweight Multiscale Few-Shot Object Detection in Remote Sensing Images [15.12889076965307]
  YOLOv7ワンステージ検出器は、新しいメタラーニングトレーニングフレームワークが組み込まれている。 この変換により、検出器はFSODのタスクに十分対応できると同時に、その固有の軽量化の利点を活かすことができる。 提案検出器の有効性を検証するため, 現状の検出器と性能比較を行った。
  論文  参考訳（メタデータ） (2024-04-29T04:56:52Z)
• MoE-FFD: Mixture of Experts for Generalized and Parameter-Efficient Face Forgery Detection [54.545054873239295]
  ディープフェイクは、最近、国民の間で重大な信頼問題とセキュリティ上の懸念を提起した。 ViT法はトランスの表現性を生かし,優れた検出性能を実現する。 この研究は、汎用的でパラメータ効率のよいViTベースのアプローチであるFace Forgery Detection (MoE-FFD)のためのMixture-of-Expertsモジュールを導入する。
  論文  参考訳（メタデータ） (2024-04-12T13:02:08Z)
• Retrieval-based Knowledge Transfer: An Effective Approach for Extreme Large Language Model Compression [64.07696663255155]
  大規模事前学習型言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて例外的な性能を示した。 しかし、これらのモデルの巨大なサイズは、現実世界のアプリケーションに展開する上で大きな課題をもたらします。 本稿では,LLMの知識を極めて小規模なモデルに効果的に伝達するRetrieval-based Knowledge Transfer (RetriKT)と呼ばれる新しい圧縮パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-10-24T07:58:20Z)
• Quantized Transformer Language Model Implementations on Edge Devices [1.2979415757860164]
  Bidirectional Representations from Transformers (BERT) のような大規模なトランスフォーマーベースモデルは自然言語処理(NLP)アプリケーションに広く利用されている。 これらのモデルは最初、数百万のパラメータを持つ大きなコーパスで事前訓練され、下流のNLPタスクのために微調整される。 これらの大規模モデルの大きな制限の1つは、大きなモデルサイズと推論遅延の増加のため、リソース制限されたデバイスにデプロイできないことである。
  論文  参考訳（メタデータ） (2023-10-06T01:59:19Z)
• Selective In-Context Data Augmentation for Intent Detection using Pointwise V-Information [100.03188187735624]
  PLMとPVI(pointwise V-information)に基づく新しい手法を導入し,モデル学習におけるデータポイントの有用性を計測する。 提案手法はまず,学習データの小さなシード上でPLMを微調整し,与えられた意図に対応する発話を新たに生成する。 そこで本手法は,大規模言語モデルの表現力を活用し,多様な学習データを生成する。
  論文  参考訳（メタデータ） (2023-02-10T07:37:49Z)
• Incremental Online Learning Algorithms Comparison for Gesture and Visual Smart Sensors [68.8204255655161]
  本稿では,加速度センサデータに基づくジェスチャー認識と画像分類の2つの実例として,最先端の4つのアルゴリズムを比較した。 以上の結果から,これらのシステムの信頼性と小型メモリMCUへのデプロイの可能性が確認された。
  論文  参考訳（メタデータ） (2022-09-01T17:05:20Z)
• Device-Directed Speech Detection: Regularization via Distillation for Weakly-Supervised Models [13.456066434598155]
  我々は、特定のウェイクワードを含まないデバイスに向けられた音声を検出する問題に対処する。 具体的には、タッチベースの呼び出しによるオーディオに焦点を当てます。
  論文  参考訳（メタデータ） (2022-03-30T01:27:39Z)
• A Variational Information Bottleneck Based Method to Compress Sequential Networks for Human Action Recognition [9.414818018857316]
  本稿では,人間行動認識(HAR)に用いるリカレントニューラルネットワーク(RNN)を効果的に圧縮する手法を提案する。 変分情報ボトルネック(VIB)理論に基づくプルーニング手法を用いて,RNNの逐次セルを流れる情報の流れを小さなサブセットに制限する。 我々は、圧縮を大幅に改善する特定のグループ・ラッソ正規化手法とプルーニング手法を組み合わせる。 提案手法は,UCF11上での動作認識の精度に比較して,最も近い競合に比べて70倍以上の圧縮を実現する。
  論文  参考訳（メタデータ） (2020-10-03T12:41:51Z)
• One-Shot Object Detection without Fine-Tuning [62.39210447209698]
  本稿では,第1ステージのMatching-FCOSネットワークと第2ステージのStructure-Aware Relation Moduleからなる2段階モデルを提案する。 また,検出性能を効果的に向上する新たなトレーニング戦略を提案する。 提案手法は,複数のデータセット上で一貫した最先端のワンショット性能を上回る。
  論文  参考訳（メタデータ） (2020-05-08T01:59:23Z)
• Stance Detection Benchmark: How Robust Is Your Stance Detection? [65.91772010586605]
  Stance Detection (StD) は、あるトピックやクレームに対する著者の姿勢を検出することを目的としている。 マルチデータセット学習環境において、さまざまなドメインの10のStDデータセットから学習するStDベンチマークを導入する。 このベンチマーク設定では、5つのデータセットに新しい最先端結果を表示することができます。
  論文  参考訳（メタデータ） (2020-01-06T13:37:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。