論文の概要: Seal: Advancing Speech Language Models to be Few-Shot Learners

• arxiv url: http://arxiv.org/abs/2407.14875v1
• Date: Sat, 20 Jul 2024 13:28:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-23 20:32:23.188927
• Title: Seal: Advancing Speech Language Models to be Few-Shot Learners
• Title（参考訳）: シール: 音声学習者のための言語モデルの改善
• Authors: Shuyu Lei, Lingen Liu, Jiaolong Yang, Yasen Jiao, Yuxiang Yang, Yushu Yang, Xiang Guo,
• Abstract要約: 本稿では,音声モデルの略語であるシールモデルを紹介する。 フリーズ言語モデルデコーダでフリーズ音声学習者をブリッジするプロジェクタを訓練するために、Kulback-Leibler分散損失を行う新しいアライメント手法が組み込まれている。 結果のSealモデルは、2つの音声理解タスクで数ショットのエンコーダとして頑健な性能を示す。
• 参考スコア（独自算出の注目度）: 17.03216447533895
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing auto-regressive language models have demonstrated a remarkable capability to perform a new task with just a few examples in prompt, without requiring any additional training. In order to extend this capability to a multi-modal setting (i.e. speech and language), this paper introduces the Seal model, an abbreviation for speech language model. It incorporates a novel alignment method, in which Kullback-Leibler divergence loss is performed to train a projector that bridges a frozen speech encoder with a frozen language model decoder. The resulting Seal model exhibits robust performance as a few-shot learner on two speech understanding tasks. Additionally, consistency experiments are conducted to validate its robustness on different pre-trained language models.
• Abstract（参考訳）: 既存の自動回帰言語モデルは、追加のトレーニングを必要とせずに、即座にいくつかの例で新しいタスクを実行する驚くべき能力を示している。 この能力を多モーダル・セッティング(音声と言語)に拡張するために,本研究では,音声モデルの省略形であるシールモデルを提案する。 これは、凍結した音声エンコーダを凍結した言語モデルデコーダでブリッジするプロジェクタを訓練するために、Kulback-Leibler分散損失を行う新しいアライメント手法を含む。 結果のSealモデルは、2つの音声理解タスクにおいて、数ショットの学習者として頑健なパフォーマンスを示す。 さらに、様々な事前訓練された言語モデル上で、一貫性実験を行い、その堅牢性を検証する。

関連論文リスト

• SpeechPrompt: Prompting Speech Language Models for Speech Processing Tasks [94.10497337235083]
  我々はまず,音声処理分野における音声 LM の促進の可能性を探る。 音声処理タスクを音声単位生成タスクに再構成する。 提案手法は, 強い微調整法と比較して, 競争性能を向上できることを示す。
  論文  参考訳（メタデータ） (2024-08-23T13:00:10Z)
• SLM: Bridge the thin gap between speech and text foundation models [45.319071954143325]
  音声・言語モデル (SLM) は、事前訓練された基礎言語モデルと言語モデルを利用するマルチタスク、多言語、二重モーダルモデルである。 我々は、SLMは訓練に効率的であるが、異なるモダリティの基盤モデルで既に獲得されている強力な能力を継承することを示した。
  論文  参考訳（メタデータ） (2023-09-30T02:27:45Z)
• CoLLD: Contrastive Layer-to-layer Distillation for Compressing Multilingual Pre-trained Speech Encoders [19.32466171141613]
  大規模自己教師型事前学習音声エンコーダは、音声認識や翻訳タスクにおいて従来の手法よりも優れていた。 新しいタスクのための新しいエンコーダを構築し、デバイス上のアプリケーションにデプロイすることは不可能である。 本研究では,事前学習した音声エンコーダを圧縮する新しい知識蒸留法であるContrastive Layer-to-layer Distillation (CoLLD)を提案する。
  論文  参考訳（メタデータ） (2023-09-14T13:38:02Z)
• DistilXLSR: A Light Weight Cross-Lingual Speech Representation Model [16.31307448314024]
  蒸留言語間音声表現モデルであるDistilXLSRを提案する。 既存の音声の音素をランダムにシャッフルすることにより、言語情報を減らし、英語データのみを用いて言語間モデルを蒸留する。 本手法は,様々な言語/教師モデルに対して一般化可能であることが証明され,英語事前学習モデルの言語間性能を向上させる可能性がある。
  論文  参考訳（メタデータ） (2023-06-02T07:03:06Z)
• Bridging Speech and Textual Pre-trained Models with Unsupervised ASR [70.61449720963235]
  この研究は、音声とテキストによる事前学習モデルを結ぶ、シンプルで効率的な教師なしのパラダイムを提案する。 教師なし自動音声認識(ASR)は、音声自己教師モデルから表現を改善することができることを示す。 特に、音声による質問応答では、挑戦的なNMSQAベンチマークよりも最先端の結果に到達しています。
  論文  参考訳（メタデータ） (2022-11-06T04:50:37Z)
• Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
  そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。 実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
  論文  参考訳（メタデータ） (2022-10-23T00:37:08Z)
• Multimodal Knowledge Alignment with Reinforcement Learning [103.68816413817372]
  ESPERは言語のみのゼロショットモデルを拡張して、画像や音声のキャプションといったマルチモーダルタスクを未確認にする。 我々の重要な新規性は、強化学習を使用することで、直接監督することなく、多モーダル入力を言語モデル世代に整列させることである。 実験の結果、ESPERはベースラインと様々なゼロショットタスクの事前作業より優れていることが示された。
  論文  参考訳（メタデータ） (2022-05-25T10:12:17Z)
• WAVPROMPT: Towards Few-Shot Spoken Language Understanding with Frozen Language Models [57.557319372969495]
  大量のテキストで事前訓練された大規模自動回帰言語モデルは、新しい自然言語タスクを実行するという印象的な能力を示している。 近年の研究では、エンコーダを訓練し、画像のエンコードを埋め込みにすることで、このような数発の学習能力をテキスト画像設定にまで拡張できることが示されている。 そこで我々は,wav2vecモデルを微調整して,言語モデルによって理解された音声埋め込みのシーケンスを生成する,新しい音声理解フレームワークWavPromptを提案する。
  論文  参考訳（メタデータ） (2022-03-29T19:08:55Z)
• Lightweight Cross-Lingual Sentence Representation Learning [57.9365829513914]
  メモリ効率のよい言語間文表現を生成するために,2層のみの軽量なデュアルトランスフォーマーアーキテクチャを導入する。 本稿では,既存のシングルワードマスキング言語モデルと,新たに提案されたクロスランガルトークンレベルの再構築タスクを組み合わせた,新しい言語間言語モデルを提案する。
  論文  参考訳（メタデータ） (2021-05-28T14:10:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。