論文の概要: Multitask Learning for Low Resource Spoken Language Understanding
- arxiv url: http://arxiv.org/abs/2211.13703v1
- Date: Thu, 24 Nov 2022 16:38:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-28 15:34:01.591469
- Title: Multitask Learning for Low Resource Spoken Language Understanding
- Title（参考訳）: 低資源音声言語理解のためのマルチタスク学習
- Authors: Quentin Meeus, Marie-Francine Moens, Hugo Van hamme
- Abstract要約: 我々は、自動音声認識と意図分類、感情分類を用いて、二重目的のモデルを訓練する。
我々のモデルは、控えめなサイズではあるが、意図の分類に基づいて訓練されたモデルよりも改善されている。
本研究では,低リソースシナリオにおけるモデルの性能を,クラス毎に1つの例でトレーニングすることで検討する。
- 参考スコア（独自算出の注目度）: 26.106133114838215
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We explore the benefits that multitask learning offer to speech processing as
we train models on dual objectives with automatic speech recognition and intent
classification or sentiment classification. Our models, although being of
modest size, show improvements over models trained end-to-end on intent
classification. We compare different settings to find the optimal disposition
of each task module compared to one another. Finally, we study the performance
of the models in low-resource scenario by training the models with as few as
one example per class. We show that multitask learning in these scenarios
compete with a baseline model trained on text features and performs
considerably better than a pipeline model. On sentiment classification, we
match the performance of an end-to-end model with ten times as many parameters.
We consider 4 tasks and 4 datasets in Dutch and English.
- Abstract（参考訳）: マルチタスク学習が音声処理にもたらす利点について検討し、自動音声認識や意図分類、感情分類による2つの目的のモデルを訓練する。
我々のモデルは、控えめなサイズではあるが、意図分類に基づいて訓練されたモデルよりも改善されている。
各タスクモジュールの最適な配置を見つけるために、異なる設定を比較します。
最後に,低リソースシナリオにおけるモデルの性能を,クラス毎に1つの例でトレーニングすることで検討する。
これらのシナリオにおけるマルチタスク学習は、テキスト機能に基づいて訓練されたベースラインモデルと競合し、パイプラインモデルよりもかなり優れた性能を示す。
感情分類では、エンド・ツー・エンドモデルの性能を10倍のパラメータで一致させる。
4つのタスクと4つのデータセットをオランダ語と英語で検討する。
関連論文リスト
- Towards Multi-Modal Mastery: A 4.5B Parameter Truly Multi-Modal Small Language Model [0.0]
本稿では,複数入力と出力のモダリティを扱える新しい4.5Bパラメータ小言語モデルを提案する。
モデルのサイズは小さいが、様々なタスクにおける最先端のパフォーマンスをほぼ達成している。
論文 参考訳（メタデータ） (2024-11-08T17:15:17Z) - STTATTS: Unified Speech-To-Text And Text-To-Speech Model [6.327929516375736]
マルチタスク学習目標と共有パラメータを用いて, ASR と TTS を協調的に学習するためのパラメータ効率のよい手法を提案する。
評価の結果,マルチタスクモデルの性能は,個別に訓練したモデルに匹敵することがわかった。
論文 参考訳（メタデータ） (2024-10-24T10:04:24Z) - SpeechVerse: A Large-scale Generalizable Audio Language Model [38.67969337605572]
SpeechVerseは堅牢なマルチタスクトレーニングおよびカリキュラム学習フレームワークである。
学習可能なパラメータの小さなセットを通じて、事前訓練された音声とテキスト基礎モデルを組み合わせる。
実験により、我々のマルチタスクSpeechVerseモデルは、従来のタスク固有のベースラインよりも11タスク中9タスクの方が優れていることが判明した。
論文 参考訳（メタデータ） (2024-05-14T03:33:31Z) - MiniGPT-v2: large language model as a unified interface for
vision-language multi-task learning [65.60607895153692]
MiniGPT-v2は、様々な視覚言語タスクをよりよく扱うための統一インターフェースとして扱うことができるモデルである。
モデルをトレーニングする際、異なるタスクに対してユニークな識別子を使うことを提案する。
以上の結果から,MiniGPT-v2は多くの視覚的質問応答および視覚的接地ベンチマークにおいて高い性能を達成できた。
論文 参考訳（メタデータ） (2023-10-14T03:22:07Z) - Contrastive Alignment of Vision to Language Through Parameter-Efficient
Transfer Learning [60.26952378997713]
コントラスト的視覚言語モデル(例えばCLIP)は、コントラスト的トレーニングを通じて視覚モデルと言語モデルの全てのパラメータを更新することによって作成される。
パラメータ更新の最小セット($7%)が、フルモデルトレーニングと同じパフォーマンスを実現可能であることを示す。
既存の知識がパラメータ効率のトレーニングにおいてより強く保存されていることを示す。
論文 参考訳（メタデータ） (2023-03-21T14:12:08Z) - eP-ALM: Efficient Perceptual Augmentation of Language Models [70.47962271121389]
本稿では,既存モデルの適応性を向上するための直接的な取り組みを提案し,認識を伴う言語モデルの拡張を提案する。
視覚言語タスクに事前訓練されたモデルを適用するための既存のアプローチは、その効率を妨げているいくつかの重要なコンポーネントに依存している。
総パラメータの99%以上を凍結し,1つの直線射影層のみをトレーニングし,1つのトレーニング可能なトークンのみを予測することにより,我々のアプローチ(eP-ALM)は,VQAとCaptioningの他のベースラインよりも有意に優れていることを示す。
論文 参考訳（メタデータ） (2023-03-20T19:20:34Z) - In-context Learning Distillation: Transferring Few-shot Learning Ability
of Pre-trained Language Models [55.78264509270503]
そこで本研究では,大規模モデルから小型モデルへ,文脈内数ショット学習能力を移行するために,文脈内学習蒸留を導入する。
メタ・イン・コンテクスト・タニング(Meta-ICT)とマルチタスク・イン・コンテクスト・タニング(Multitask-ICT)の2つの異なる学習パラダイムの下で、イン・コンテクスト・ラーニング・蒸留を行う。
実験と分析により,マルチタスクICTパラダイムの下で,文脈内学習の目的と言語モデリングの目的が相補的であることが明らかとなった。
論文 参考訳（メタデータ） (2022-12-20T22:11:35Z) - PaLM: Scaling Language Modeling with Pathways [180.69584031908113]
我々は,パスウェイズ言語モデル PaLM と呼ばれるトランスフォーマー言語モデルを用いて,540ビリオンのパラメータを訓練した。
我々はPathwaysという新しいMLシステムを用いて,6144 TPU v4チップ上でPaLMをトレーニングした。
数百の言語理解および生成ベンチマーク上で、最先端の数発の学習結果を達成し、スケーリングの継続的なメリットを実証する。
論文 参考訳（メタデータ） (2022-04-05T16:11:45Z) - Exploring Versatile Generative Language Model Via Parameter-Efficient
Transfer Learning [70.81910984985683]
本稿では,1つの大規模事前学習モデルを用いて,複数のダウンストリーム生成タスクを同時に微調整する効果的な方法を提案する。
5つの多様な言語生成タスクの実験は、各タスクに2-3%のパラメータを追加するだけで、モデル全体の微調整性能を維持または改善できることを示している。
論文 参考訳（メタデータ） (2020-04-08T06:18:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。