論文の概要: CIF-PT: Bridging Speech and Text Representations for Spoken Language Understanding via Continuous Integrate-and-Fire Pre-Training

• arxiv url: http://arxiv.org/abs/2305.17499v1
• Date: Sat, 27 May 2023 15:39:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-30 18:46:22.054194
• Title: CIF-PT: Bridging Speech and Text Representations for Spoken Language Understanding via Continuous Integrate-and-Fire Pre-Training
• Title（参考訳）: CIF-PT:連続的統合と火災予報による音声理解のためのブリッジ音声とテキスト表現
• Authors: Linhao Dong, Zhecheng An, Peihao Wu, Jun Zhang, Lu Lu, Zejun Ma
• Abstract要約: 我々はCIF-PT(Continuous Integrate-and-Fire Pre-Training)と呼ばれる新しい事前学習パラダイムを提案する。 音声とテキストの表現をブリッジするために、CIF(Continuous Integration-and-fire)という、シンプルだが効果的なフレーム・ツー・トーケンアライメントに依存している。 CIF-PTは、意図分類とスロットフィリングのタスクにおいて、最先端モデルの精度を1.94%、SLU-F1の2.71%で上回る。
• 参考スコア（独自算出の注目度）: 16.361505093510665
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Speech or text representation generated by pre-trained models contains modal-specific information that could be combined for benefiting spoken language understanding (SLU) tasks. In this work, we propose a novel pre-training paradigm termed Continuous Integrate-and-Fire Pre-Training (CIF-PT). It relies on a simple but effective frame-to-token alignment: continuous integrate-and-fire (CIF) to bridge the representations between speech and text. It jointly performs speech-to-text training and language model distillation through CIF as the pre-training (PT). Evaluated on SLU benchmark SLURP dataset, CIF-PT outperforms the state-of-the-art model by 1.94% of accuracy and 2.71% of SLU-F1 on the tasks of intent classification and slot filling, respectively. We also observe the cross-modal representation extracted by CIF-PT obtains better performance than other neural interfaces for the tasks of SLU, including the dominant speech representation learned from self-supervised pre-training.
• Abstract（参考訳）: 事前訓練されたモデルによって生成された音声やテキストの表現は、音声言語理解(SLU)タスクに役立てることができる、モーダル固有の情報を含んでいる。 本研究では,CIF-PT(Continuous Integrate-and-Fire Pre-Training)と呼ばれる新しい事前学習パラダイムを提案する。 音声とテキスト間の表現を橋渡しするために、cif(continuous integrated-and-fire)という、単純だが効果的なフレーム間アライメントに依存している。 cifをプリトレーニング(pt)として、音声対テキストの訓練と言語モデル蒸留を共同で行う。 SLUベンチマークのSLURPデータセットで評価すると、CIF-PTは、意図分類とスロットフィリングのタスクにおいて、それぞれ1.94%の精度と2.71%のSLU-F1よりも優れていた。 また、CIF-PTによって抽出されたクロスモーダル表現は、自己教師付き事前学習から学習した支配的な音声表現を含む、SLUのタスクにおける他の神経インタフェースよりも優れた性能を得る。

関連論文リスト

• Improving Audio-Visual Speech Recognition by Lip-Subword Correlation Based Visual Pre-training and Cross-Modal Fusion Encoder [58.523884148942166]
  本稿では,事前学習および微調整訓練の枠組みの下で,音声視覚音声認識(AVSR)を改善するための2つの新しい手法を提案する。 まず, マンダリンにおける口唇形状と音節レベルサブワード単位の相関について検討し, 口唇形状から良好なフレームレベル音節境界を確立する。 次に,音声誘導型クロスモーダルフュージョンエンコーダ(CMFE)ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2023-08-14T08:19:24Z)
• Improving Textless Spoken Language Understanding with Discrete Units as Intermediate Target [58.59044226658916]
  Spoken Language Understanding (SLU) は、音声音声から意味情報を抽出することを目的としたタスクである。 本研究では,テキストレスSLUの性能向上のための中間ガイダンスとして離散単位を用いることを提案する。
  論文  参考訳（メタデータ） (2023-05-29T14:00:24Z)
• VATLM: Visual-Audio-Text Pre-Training with Unified Masked Prediction for Speech Representation Learning [119.49605266839053]
  VATLM (Visual-Audio-Text Language Model) を用いたクロスモーダル表現学習フレームワークを提案する。 提案したVATLMは、モダリティに依存しない情報をモデル化するために、統一されたバックボーンネットワークを使用する。 これら3つのモダリティを1つの共有セマンティック空間に統合するために、VATLMは統一トークンのマスク付き予測タスクで最適化される。
  論文  参考訳（メタデータ） (2022-11-21T09:10:10Z)
• Bridging Speech and Textual Pre-trained Models with Unsupervised ASR [70.61449720963235]
  この研究は、音声とテキストによる事前学習モデルを結ぶ、シンプルで効率的な教師なしのパラダイムを提案する。 教師なし自動音声認識(ASR)は、音声自己教師モデルから表現を改善することができることを示す。 特に、音声による質問応答では、挑戦的なNMSQAベンチマークよりも最先端の結果に到達しています。
  論文  参考訳（メタデータ） (2022-11-06T04:50:37Z)
• WaBERT: A Low-resource End-to-end Model for Spoken Language Understanding and Speech-to-BERT Alignment [2.7505260301752763]
  本稿では,SLUタスクのための音声モデルと言語モデルを組み合わせた,新しいエンドツーエンドモデルを提案する。 WaBERTは事前訓練された音声と言語モデルに基づいているため、スクラッチからのトレーニングは必要ない。
  論文  参考訳（メタデータ） (2022-04-22T02:14:40Z)
• SLAM: A Unified Encoder for Speech and Language Modeling via Speech-Text Joint Pre-Training [33.02912456062474]
  我々は、ラベルなしテキストのBERT目的とラベルなし音声のw2v-BERT目的とを併用した単一のエンコーダを構築する。 プレトレーニング中に音声データとテキストデータの両方を組み込むことで、CoVoST2音声翻訳における下流品質が大幅に向上することが実証された。
  論文  参考訳（メタデータ） (2021-10-20T00:59:36Z)
• Pre-training for Spoken Language Understanding with Joint Textual and Phonetic Representation Learning [4.327558819000435]
  音声表現を学習するための新しいテキスト音声前訓練手法を提案する。 音声言語理解ベンチマークであるFluent Speech CommandsとSNIPSの実験結果から,提案手法は強いベースラインモデルよりも有意に優れていることが示された。
  論文  参考訳（メタデータ） (2021-04-21T05:19:13Z)
• Speak or Chat with Me: End-to-End Spoken Language Understanding System with Flexible Inputs [21.658650440278063]
  本稿では, 音声, ASR 転写文, あるいはその両方から, フレキシブルな入力から意図を予測できる新しいシステムを提案する。 本実験は,これらの事前学習および微調整戦略に有意な優位性を示し,競争目的分類性能を実現するシステムを実現した。
  論文  参考訳（メタデータ） (2021-04-07T20:48:08Z)
• Semi-Supervised Spoken Language Understanding via Self-Supervised Speech and Language Model Pretraining [64.35907499990455]
  そこで本稿では,音声から意味論を直接学習するフレームワークを提案する。 我々のフレームワークは、事前訓練されたエンドツーエンド(E2E)ASRとBERTのような自己教師型言語モデルに基づいて構築されている。 並行して,SLUモデルを評価するための重要な基準として,環境騒音汚染度とE2Eセマンティクス評価の2つがあげられる。
  論文  参考訳（メタデータ） (2020-10-26T18:21:27Z)
• ST-BERT: Cross-modal Language Model Pre-training For End-to-end Spoken Language Understanding [23.367329217151084]
  エンドツーエンドの音声言語理解タスクに対処するために,Speech-Text BERT (ST-BERT) と呼ばれる,モーダルな事前学習言語モデルを導入する。 ST-BERTは、音素の後方テキストとサブワードレベルのテキストを入力として、文脈化されたクロスモーダルアライメントを学習する。 提案手法は,ドメイン固有音声テキストペアデータを用いたドメイン適応型事前学習により,さらなるSLU性能向上を示す。
  論文  参考訳（メタデータ） (2020-10-23T10:28:20Z)
• SPLAT: Speech-Language Joint Pre-Training for Spoken Language Understanding [61.02342238771685]
  音声理解には、入力音響信号を解析してその言語内容を理解し、予測するモデルが必要である。 大規模無注釈音声やテキストからリッチな表現を学習するために,様々な事前学習手法が提案されている。 音声と言語モジュールを協調的に事前学習するための,新しい半教師付き学習フレームワークであるSPLATを提案する。
  論文  参考訳（メタデータ） (2020-10-05T19:29:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。