論文の概要: The Pipeline System of ASR and NLU with MLM-based Data Augmentation
toward STOP Low-resource Challenge
- arxiv url: http://arxiv.org/abs/2305.01194v1
- Date: Tue, 2 May 2023 04:03:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-03 15:25:23.020063
- Title: The Pipeline System of ASR and NLU with MLM-based Data Augmentation
toward STOP Low-resource Challenge
- Title(参考訳): STOP低リソースチャレンジに向けたMLMデータ拡張によるASRとNLUのパイプラインシステム
- Authors: Hayato Futami, Jessica Huynh, Siddhant Arora, Shih-Lun Wu, Yosuke
Kashiwagi, Yifan Peng, Brian Yan, Emiru Tsunoo, Shinji Watanabe
- Abstract要約: 本稿では,Spoken Language Understanding Grand Challengeにおける低リソース領域適応トラック(Track 3)について述べる。
トラックでは、ASRとNLUのパイプラインアプローチを採用しています。
その結果、リマインダー/ウェザードメインの精度63.3/75.0(平均69.15)を達成し、挑戦で1位を獲得した。
- 参考スコア(独自算出の注目度): 33.89616011003973
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper describes our system for the low-resource domain adaptation track
(Track 3) in Spoken Language Understanding Grand Challenge, which is a part of
ICASSP Signal Processing Grand Challenge 2023. In the track, we adopt a
pipeline approach of ASR and NLU. For ASR, we fine-tune Whisper for each domain
with upsampling. For NLU, we fine-tune BART on all the Track3 data and then on
low-resource domain data. We apply masked LM (MLM) -based data augmentation,
where some of input tokens and corresponding target labels are replaced using
MLM. We also apply a retrieval-based approach, where model input is augmented
with similar training samples. As a result, we achieved exact match (EM)
accuracy 63.3/75.0 (average: 69.15) for reminder/weather domain, and won the
1st place at the challenge.
- Abstract(参考訳): 本稿では,ICASSP 信号処理グランドチャレンジ 2023 の一部である Spoken Language Understanding Grand Challenge における低リソース領域適応トラック (Track 3) について述べる。
トラックでは、ASRとNLUのパイプラインアプローチを採用しています。
ASRでは、アップサンプリングで各ドメインに対してWhisperを微調整します。
NLUでは、すべてのTrack3データと低リソースのドメインデータに基づいてBARTを微調整します。
マスク付きLM(MLM)ベースのデータ拡張を適用し、入力トークンと対応するターゲットラベルのいくつかをMLMで置き換える。
また,モデル入力に類似したトレーニングサンプルを追加する,検索ベースのアプローチも適用する。
その結果、リマインダー/ウェザードメインの精度63.3/75.0(平均69.15)を達成し、挑戦で1位を獲得した。
関連論文リスト
- PointCloud-Text Matching: Benchmark Datasets and a Baseline [32.03710715584587]
PointCloud-Text Matchingは、指定されたポイントクラウドクエリやテキストクエリにマッチする正確なクロスモーダルインスタンスを見つけることを目的としている。
3D2T-SR, 3D2T-NR, 3D2T-QAという3つの新しいベンチマークデータセットを構築した。
これらの課題に対処するため,Robost PointCloud-Text Matching Method (RoMa) というPTMベースラインを提案する。
論文 参考訳(メタデータ) (2024-03-28T12:51:15Z) - LLMs Instruct LLMs:An Extraction and Editing Method [12.017822691367705]
複雑な文脈からの知識を大規模言語モデル(LLM)に組み込む逐次融合法を提案する。
提案手法では,質問応答の精度は71.69%であった。
論文 参考訳(メタデータ) (2024-03-23T06:03:36Z) - Single-Model and Any-Modality for Video Object Tracking [85.83753760853142]
任意のモダリティに対して単一のパラメータセットの統一トラッカーUn-Trackを導入する。
任意のモダリティを扱うために,低ランク因子化および再構成手法を用いて,それらの共通潜時空間を学習する。
我々のUn-Trackは、+6.6M(93M以上)のパラメータを持つ+2.14(21.50以上)のGFLOPを導入することで、DepthTrackデータセット上で、+8.1絶対Fスコアゲインを達成する。
論文 参考訳(メタデータ) (2023-11-27T14:17:41Z) - MLLM-DataEngine: An Iterative Refinement Approach for MLLM [62.30753425449056]
本稿では,データ生成,モデルトレーニング,評価を橋渡しする新しいクローズドループシステムを提案する。
各ループ内で、MLLM-DataEngineはまず評価結果に基づいてモデルの弱点を分析する。
ターゲットとして,異なる種類のデータの比率を調整する適応型バッドケースサンプリングモジュールを提案する。
品質については、GPT-4を用いて、各データタイプで高品質なデータを生成する。
論文 参考訳(メタデータ) (2023-08-25T01:41:04Z) - A Win-win Deal: Towards Sparse and Robust Pre-trained Language Models [53.87983344862402]
大規模言語モデル(PLM)はメモリフットプリントと計算の点で非効率である。
PLMはデータセットバイアスに頼り、アウト・オブ・ディストリビューション(OOD)データへの一般化に苦慮する傾向にある。
最近の研究では、スパースワークはパフォーマンスを損なうことなくスパースワークに置き換えることができることが示されている。
論文 参考訳(メタデータ) (2022-10-11T07:26:34Z) - Bi-level Alignment for Cross-Domain Crowd Counting [113.78303285148041]
現在の手法は、補助的なタスクを訓練したり、高価な粗大な見積もりを適用したりするための外部データに依存している。
そこで我々は, 簡易かつ効率的に適用可能な, 逆学習に基づく新しい手法を開発した。
実世界の5つのクラウドカウントベンチマークに対するアプローチを評価し、既存のアプローチを大きなマージンで上回ります。
論文 参考訳(メタデータ) (2022-05-12T02:23:25Z) - Filter-enhanced MLP is All You Need for Sequential Recommendation [89.0974365344997]
オンラインプラットフォームでは、ログされたユーザの行動データはノイズを含まないことは避けられない。
周波数領域の雑音を減衰させる信号処理から,フィルタアルゴリズムのアイデアを借用する。
逐次レコメンデーションタスクのための学習可能なフィルタを備えたオールMLPモデルである textbfFMLP-Rec を提案する。
論文 参考訳(メタデータ) (2022-02-28T05:49:35Z) - Improved Aggregating and Accelerating Training Methods for Spatial Graph
Neural Networks on Fraud Detection [0.0]
本稿では,CARE-GNNをResidual Layered CARE-GNN(RLC-GNN)と呼ばれるディープモデルに拡張する改良されたディープアーキテクチャを提案する。
RLC-GNNの3つの課題は、近隣情報の利用が制限に達すること、訓練の難しさ、およびノードの特徴や外部パターンに関する包括的な考慮の欠如である。
YelpとAmazonのデータセットで実験が行われる。
論文 参考訳(メタデータ) (2022-02-14T09:51:35Z) - Federated Learning for Channel Estimation in Conventional and
RIS-Assisted Massive MIMO [12.487990897680422]
機械学習によるチャネル推定では、通常、受信したパイロット信号を入力として、チャネルデータを出力として含むデータセットのモデルトレーニングが必要となる。
以前の研究では、モデルトレーニングは主に中央集権学習(CL)を通じて行われ、トレーニングデータセット全体がベースステーション(BS)のユーザから収集される。
チャネル推定のためのフェデレートラーニング(FL)フレームワークを提案する。BSに送信することなく、ユーザのローカルデータセットに基づいてトレーニングされた畳み込みニューラルネットワーク(CNN)を設計する。
雑音および量子化モデル伝送の性能評価を行い,提案手法がCLの約16倍のオーバヘッドを提供することを示す。
論文 参考訳(メタデータ) (2020-08-25T06:51:18Z) - Multi-Domain Learning and Identity Mining for Vehicle Re-Identification [38.35753364518881]
本稿では,AI City Challenge 2020(AICITY20)におけるTrack2のソリューションについて紹介する。
Track2は、現実世界のデータと合成データの両方で車両を再識別するタスクである。
マルチモデルアンサンブルでは,mAPスコアの0.7322が達成され,コンペでは3位となった。
論文 参考訳(メタデータ) (2020-04-22T13:03:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。