論文の概要: Adaptive Knowledge Distillation between Text and Speech Pre-trained Models

• arxiv url: http://arxiv.org/abs/2303.03600v1
• Date: Tue, 7 Mar 2023 02:31:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-08 16:45:30.207708
• Title: Adaptive Knowledge Distillation between Text and Speech Pre-trained Models
• Title（参考訳）: テキストと音声事前学習モデル間の適応的知識蒸留
• Authors: Jinjie Ni, Yukun Ma, Wen Wang, Qian Chen, Dianwen Ng, Han Lei, Trung Hieu Nguyen, Chong Zhang, Bin Ma, Erik Cambria
• Abstract要約: 先行インフォームド・アダプティブ・ナレッジ蒸留(PAD)は他のメートル法に基づく蒸留法よりも言語知識の伝達に効果的である。 本稿では,テキストと音声の埋め込み空間を少量のデータで整列させるため,メートル法に基づく蒸留について検討する。 我々は,3つの音声言語理解ベンチマークを用いて,PADが他のメートル法に基づく蒸留法よりも言語知識の伝達に有効であることを示す。
• 参考スコア（独自算出の注目度）: 30.125690848883455
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning on a massive amount of speech corpus leads to the recent success of many self-supervised speech models. With knowledge distillation, these models may also benefit from the knowledge encoded by language models that are pre-trained on rich sources of texts. The distillation process, however, is challenging due to the modal disparity between textual and speech embedding spaces. This paper studies metric-based distillation to align the embedding space of text and speech with only a small amount of data without modifying the model structure. Since the semantic and granularity gap between text and speech has been omitted in literature, which impairs the distillation, we propose the Prior-informed Adaptive knowledge Distillation (PAD) that adaptively leverages text/speech units of variable granularity and prior distributions to achieve better global and local alignments between text and speech pre-trained models. We evaluate on three spoken language understanding benchmarks to show that PAD is more effective in transferring linguistic knowledge than other metric-based distillation approaches.
• Abstract（参考訳）: 大量の音声コーパスの学習は、近年多くの自己教師型音声モデルの成功につながっている。 知識蒸留により、これらのモデルは、豊富なテキストソースで事前訓練された言語モデルによって符号化された知識の恩恵を受けることができる。 しかし, 蒸留過程は, 音声埋め込み空間と音声埋め込み空間の様相の相違により困難である。 本稿では, モデル構造を変更することなく, テキストと音声の埋め込み空間を少量のデータで整列させるため, メートル法に基づく蒸留について検討する。 テキストと音声間の意味的・粒度のギャップは, 蒸留の障害となる文献では省略されているため, 可変粒度のテキスト/音声単位と先行分布を適応的に活用し, テキストと音声の事前学習モデル間のグローバルおよび局所的なアライメントを向上する事前情報適応的知識蒸留(PAD)を提案する。 我々は,3つの言語理解ベンチマークを用いて,PADが他のメートル法に基づく蒸留法よりも言語知識の伝達に有効であることを示す。

関連論文リスト

• Improving Spoken Language Modeling with Phoneme Classification: A Simple Fine-tuning Approach [14.5696754689252]
  音声言語モデリングの最近の進歩は、音声から直接言語を学ぶことが可能であることを示している。 音素分類に基づく微調整音声表現モデルにより、より文脈不変な表現が得られることを示す。
  論文  参考訳（メタデータ） (2024-09-16T10:29:15Z)
• Few-Shot Spoken Language Understanding via Joint Speech-Text Models [18.193191170754744]
  テキストと協調的に事前学習した音声表現モデルに関する最近の研究は、音声表現の改善の可能性を示している。 このような共有表現を活用して、音声言語理解タスクにおける限られたデータ可用性の持続的課題に対処する。 事前訓練された音声テキストモデルを用いることで、テキスト上で微調整されたモデルを音声テストデータに効果的に転送できることが分かる。
  論文  参考訳（メタデータ） (2023-10-09T17:59:21Z)
• Towards Language Modelling in the Speech Domain Using Sub-word Linguistic Units [56.52704348773307]
  音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。 限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。 補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
  論文  参考訳（メタデータ） (2021-10-31T22:48:30Z)
• Dependency Induction Through the Lens of Visual Perception [81.91502968815746]
  本稿では,単語の具体性を利用した教師なし文法帰納モデルと,構成的視覚に基づく構成的文法を共同学習する手法を提案する。 実験により,提案した拡張は,文法的サイズが小さい場合でも,現在最先端の視覚的接地モデルよりも優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-09-20T18:40:37Z)
• Wav-BERT: Cooperative Acoustic and Linguistic Representation Learning for Low-Resource Speech Recognition [159.9312272042253]
  Wav-BERTは、協調的な音響および言語表現学習法である。 我々は、事前訓練された音響モデル(wav2vec 2.0)と言語モデル(BERT)をエンドツーエンドのトレーニング可能なフレームワークに統合する。
  論文  参考訳（メタデータ） (2021-09-19T16:39:22Z)
• Distilling Linguistic Context for Language Model Compression [27.538080564616703]
  計算コストが高く、メモリ集約型ニューラルネットワークは、最近の言語表現学習の成功の背後にある。 本稿では,2種類の関係を通して文脈知識を伝達する言語表現学習のための新しい知識蒸留目標を提案する。 言語理解タスクの挑戦的ベンチマークにおいて,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2021-09-17T05:51:45Z)
• Leveraging Pre-trained Language Model for Speech Sentiment Analysis [58.78839114092951]
  本研究では、事前学習された言語モデルを用いて、文章の感情情報を学習し、音声の感情分析を行う。 本稿では,言語モデルを用いた擬似ラベルに基づく半教師付き訓練戦略を提案する。
  論文  参考訳（メタデータ） (2021-06-11T20:15:21Z)
• Bridging the Modality Gap for Speech-to-Text Translation [57.47099674461832]
  エンド・ツー・エンドの音声翻訳は、ある言語における音声を、エンド・ツー・エンドの方法で他の言語におけるテキストに変換することを目的としている。 既存のほとんどの手法では、音響表現と意味情報を同時に学習するために、単一のエンコーダを持つエンコーダ・デコーダ構造を用いる。 本稿では,音声とテキスト間のモダリティギャップを埋めることで,エンドツーエンドのモデル性能を向上させることを目的とした音声翻訳モデルのための音声テキスト適応手法を提案する。
  論文  参考訳（メタデータ） (2020-10-28T12:33:04Z)
• SPLAT: Speech-Language Joint Pre-Training for Spoken Language Understanding [61.02342238771685]
  音声理解には、入力音響信号を解析してその言語内容を理解し、予測するモデルが必要である。 大規模無注釈音声やテキストからリッチな表現を学習するために,様々な事前学習手法が提案されている。 音声と言語モジュールを協調的に事前学習するための,新しい半教師付き学習フレームワークであるSPLATを提案する。
  論文  参考訳（メタデータ） (2020-10-05T19:29:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。