論文の概要: End-to-end spoken language understanding using transformer networks and self-supervised pre-trained features

• arxiv url: http://arxiv.org/abs/2011.08238v1
• Date: Mon, 16 Nov 2020 19:30:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-25 01:01:26.269645
• Title: End-to-end spoken language understanding using transformer networks and self-supervised pre-trained features
• Title（参考訳）: トランスフォーマネットワークと自己教師付き事前学習特徴を用いたエンドツーエンド音声理解
• Authors: Edmilson Morais, Hong-Kwang J. Kuo, Samuel Thomas, Zoltan Tuske and Brian Kingsbury
• Abstract要約: トランスフォーマーネットワークと自己教師型事前学習は、自然言語処理(NLP)分野における最先端の成果を一貫して提供してきた。 本稿では,自己教師付き事前学習音響特徴の活用が可能なモジュール型End-to-End (E2E) SLUトランスフォーマーネットワークアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 17.407912171579852
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Transformer networks and self-supervised pre-training have consistently delivered state-of-art results in the field of natural language processing (NLP); however, their merits in the field of spoken language understanding (SLU) still need further investigation. In this paper we introduce a modular End-to-End (E2E) SLU transformer network based architecture which allows the use of self-supervised pre-trained acoustic features, pre-trained model initialization and multi-task training. Several SLU experiments for predicting intent and entity labels/values using the ATIS dataset are performed. These experiments investigate the interaction of pre-trained model initialization and multi-task training with either traditional filterbank or self-supervised pre-trained acoustic features. Results show not only that self-supervised pre-trained acoustic features outperform filterbank features in almost all the experiments, but also that when these features are used in combination with multi-task training, they almost eliminate the necessity of pre-trained model initialization.
• Abstract（参考訳）: トランスフォーマーネットワークと自己教師型事前学習は、自然言語処理(NLP)分野における最先端の成果を一貫して提供してきたが、音声言語理解(SLU)分野における彼らのメリットは、まださらなる調査が必要である。 本稿では,自己教師付き事前学習音響特徴,事前学習モデルの初期化,マルチタスクトレーニングを実現するモジュール型エンドツーエンド(e2e)sluトランスフォーマネットワークアーキテクチャを提案する。 ATISデータセットを用いて意図と実体のラベル/値を予測するためのSLU実験を行った。 これらの実験は,事前学習モデルの初期化とマルチタスク訓練と従来のフィルタバンクと自己指導型事前学習音響特性の相互作用について検討した。 その結果, 自己教師付き事前学習音響特性は, ほぼすべての実験においてフィルタバンク特性より優れるだけでなく, マルチタスクトレーニングと組み合わせて使用する場合, 事前学習モデル初期化の必要性をほとんど排除できることがわかった。

関連論文リスト

• Pretraining Data Mixtures Enable Narrow Model Selection Capabilities in Transformer Models [9.340409961107955]
  トランスフォーマーモデルには、コンテキスト内学習(ICL)を実行する驚くべき能力がある 本研究は, トランスフォーマーが事前学習データ混合物間の橋渡しを効果的に行う方法について検討する。 以上の結果から,高容量シーケンスモデルの印象的なICL能力は,インダクティブバイアスよりも事前学習データ混合のカバレッジに密接に関係している可能性が示唆された。
  論文  参考訳（メタデータ） (2023-11-01T21:41:08Z)
• An Emulator for Fine-Tuning Large Language Models using Small Language Models [91.02498576056057]
  本研究では,異なるスケールでの事前学習と微調整の結果を近似する分布から,エミュレート・ファインチューニング(EFT)を原理的かつ実用的なサンプリング法として導入する。 EFTは、追加トレーニングを伴わずに、有益性や無害性といった競合する行動特性をテスト時間で調整できることを示す。 最後に、LMアップスケーリングと呼ばれるエミュレートされたファインチューニングの特殊な場合において、小さなファインチューニングモデルと組み合わせることで、大きな事前学習モデルのリソース集約的なファインチューニングを回避する。
  論文  参考訳（メタデータ） (2023-10-19T17:57:16Z)
• Statistical Foundations of Prior-Data Fitted Networks [0.7614628596146599]
  近年,機械学習の新しいパラダイムとしてPFNが提案されている。 本稿では,PFNの理論的基盤を確立し,その挙動を制御している統計的メカニズムを照らす。
  論文  参考訳（メタデータ） (2023-05-18T16:34:21Z)
• Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
  我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。 画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2022-09-30T02:25:12Z)
• Effective Adaptation in Multi-Task Co-Training for Unified Autonomous Driving [103.745551954983]
  本稿では,3つの下流タスクにおけるMoCoやSimCLRなど,多種多様な自己監督手法の転送性能について検討する。 彼らのパフォーマンスは、サブ最適か、あるいはシングルタスクベースラインよりもはるかに遅れていることに気付きました。 汎用マルチタスクトレーニングのための,単純かつ効果的な事前訓練-適応-ファインチューンパラダイムを提案する。
  論文  参考訳（メタデータ） (2022-09-19T12:15:31Z)
• On the Transferability of Pre-trained Language Models: A Study from Artificial Datasets [74.11825654535895]
  大規模未ラベルテキストデータ上での事前学習言語モデル(LM)により、ダウンストリームのパフォーマンスが極めて容易になる。 我々は,事前学習データに含まれる特定の特徴について,セマンティクス以外では,下流タスクのスクラッチからトレーニングしたデータよりも,事前学習したLMを優れているか検討した。
  論文  参考訳（メタデータ） (2021-09-08T10:39:57Z)
• Pretrained Transformers as Universal Computation Engines [105.00539596788127]
  自然言語で事前学習したトランスフォーマーを,最小限の微調整で他のモダリティに一般化する能力について検討する。 本研究では, 数値計算, 視覚, タンパク質折り畳み予測にまたがる様々なシーケンス分類タスクについて, 微調整を行った。 このようなプリトレーニングにより、FPTはこれらのモダリティにゼロショットで一般化することができ、これらのタスクで完全に訓練されたトランスのパフォーマンスと一致します。
  論文  参考訳（メタデータ） (2021-03-09T06:39:56Z)
• The Lottery Tickets Hypothesis for Supervised and Self-supervised Pre-training in Computer Vision Models [115.49214555402567]
  事前訓練された重量は、しばしば分類、検出、セグメンテーションを含む幅広い下流タスクを増加させる。 最近の研究は、巨大モデル能力による事前学習の利点を示唆している。 本稿では,抽選券仮説(LTH)のレンズを用いて,教師付きおよび自己指導型事前学習モデルについて検討する。
  論文  参考訳（メタデータ） (2020-12-12T21:53:55Z)
• Training Production Language Models without Memorizing User Data [7.004279935788177]
  本稿では,Federated Learning (FL) を用いて学習した最初のコンシューマスケール次世代単語予測(NWP)モデルを提案する。 本研究では、FLにおける生産型ニューラルネットワークのトレーニングのための、微分プライベートなメカニズムの展開を実演する。
  論文  参考訳（メタデータ） (2020-09-21T17:12:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。