論文の概要: In-Context Adaptation of Encoder-Decoder Models in Speech Recognition

• arxiv url: http://arxiv.org/abs/2609.33865v1
• Date: Sun, 27 Sep 2026 19:34:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 16:07:42.454103
• Title: In-Context Adaptation of Encoder-Decoder Models in Speech Recognition
• Title（参考訳）: 音声認識におけるエンコーダ・デコーダモデルの文脈適応
• Abstract要約: 本研究は,すべてのエンコーダ・デコーダモデルに対して,コンテキスト内適応が固有の能力であるかどうかを考察する。 語彙情報と話者情報の両方が順応に寄与することを示す。 この結果から,ASRのコンテキスト内適応は,特定のアーキテクチャやトレーニング,実証的なアプローチに特有のものではないことが示唆された。
• 参考スコア（独自算出の注目度）: 17.766103769074086
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In-context learning offers an appealing approach to adapt automatic speech recognition (ASR) models to new speakers, accents, and domains by providing speech-text pairs as demonstrations at inference time. Recent work shows that some LLM-based speech models are capable of ASR in-context adaptation, when providing interleaved speech-text demonstrations. In this work, we ask whether in-context adaptation is an inherent ability for all encoder-decoder models. We study two forms of demonstration, collated and interleaved demonstration, across six encoder-decoder models, spanning conventional cross-attention-based and LLM-based architectures. We find that all tested models are able to perform in-context adaptation out of the box, achieving up to 30% relative improvement in the oracle experiments and up to 23% using first-pass hypotheses. Through controlled experiments on three English datasets, we show that lexical and speaker information both contribute to successful adaptation. While interleaved demonstration is effective in certain cases, collated demonstration brings consistent adaptation across the board. Our results suggest that in-context adaptation for ASR is not unique to specific architectures, training, or demonstration approaches.
• Abstract（参考訳）: In-context Learningは、新しい話者、アクセント、ドメインに自動音声認識(ASR)モデルを適用するための魅力的なアプローチを提供する。 最近の研究は、LLMベースの音声モデルでは、インターリーブされた音声テキストのデモを提供する際に、ASRの文脈適応が可能であることを示している。 本研究では,すべてのエンコーダ・デコーダモデルに対して,コンテキスト内適応が固有の能力であるかどうかを問う。 従来のクロスアテンションベースアーキテクチャとLCMベースのアーキテクチャにまたがる6つのエンコーダデコーダモデルにまたがって,コラートとインターリーブの2種類のデモについて検討した。 実験では,すべてのモデルがボックスからテキスト内適応が可能であり,オラクル実験で最大30%,ファーストパス仮説で最大23%の相対的な改善が達成できることがわかった。 3つの英語データセットの制御実験を通して、語彙情報と話者情報の両方が順応に寄与することを示した。 インターリーブされたデモはいくつかのケースで有効であるが、コラーブされたデモはボード全体に一貫した適応をもたらす。 この結果から,ASRのコンテキスト内適応は,特定のアーキテクチャやトレーニング,実証的なアプローチに特有のものではないことが示唆された。

関連論文リスト

• Solla: Towards a Speech-Oriented LLM That Hears Acoustic Context [45.56363286769136]
  本稿では,音声に基づく質問を理解し,そのコンテキストを同時に聴くように設計された新しいフレームワークであるSollaを紹介する。 Sollaには、音声イベントを効果的に識別し表現するためのオーディオタグモジュールと、音声コンテンツの理解を改善するためのASR支援予測手法が組み込まれている。 本稿では,音声イベント分類,音声キャプション,音声質問応答の3つのタスクを含むSA-Evalというベンチマークデータセットを提案する。
  論文  参考訳（メタデータ） (2025-03-19T15:34:21Z)
• Investigating Decoder-only Large Language Models for Speech-to-text Translation [39.17113782374464]
  大規模言語モデル (LLM) は、様々なドメインにまたがる例外的な推論能力、一般化可能性、およびレイテンシで知られている。 我々は,LLMが直接符号化された音声表現を消費し,テキスト翻訳を生成することができるデコーダのみのアーキテクチャを提案する。 本モデルでは,プロプライエタリなデータを必要としないモデル間で,CoVoST 2およびFLEURSの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-07-03T14:42:49Z)
• Integrating Pre-Trained Speech and Language Models for End-to-End Speech Recognition [12.77573161345651]
  本稿では,E2E ASRのための事前学習された音声表現モデルと大規模言語モデル(LLM)を統合することを提案する。 提案モデルは,音響特徴抽出や音響・言語モデリングを含む,ASRプロセス全体の最適化を可能にする。
  論文  参考訳（メタデータ） (2023-12-06T18:34:42Z)
• Lip2Vec: Efficient and Robust Visual Speech Recognition via Latent-to-Latent Visual to Audio Representation Mapping [4.271091833712731]
  従来のモデルから学習するシンプルなアプローチであるLip2Vecを提案する。 提案手法は LRS3 データセット上で26 WER を達成する完全教師付き学習法と比較した。 我々は、VSRをASRタスクとして再プログラムすることで、両者のパフォーマンスギャップを狭め、より柔軟な唇読解法を構築することができると考えている。
  論文  参考訳（メタデータ） (2023-08-11T12:59:02Z)
• AVFormer: Injecting Vision into Frozen Speech Models for Zero-Shot AV-ASR [79.21857972093332]
  本稿では,視覚情報を用いた音声のみのモデル拡張手法であるAVFormerについて述べる。 最小限のトレーニング時間とパラメータで、弱ラベル付き動画データを少量でトレーニングできることが示される。 また、トレーニング中に簡単なカリキュラム方式を導入し、モデルが音声と視覚情報を効果的に処理できることを示します。
  論文  参考訳（メタデータ） (2023-03-29T07:24:28Z)
• AV-data2vec: Self-supervised Learning of Audio-Visual Speech Representations with Contextualized Target Representations [88.30635799280923]
  AV-data2vecを導入し、文脈化表現の予測に基づいて音声・視覚表現を構築する。 LRS3の結果は、AV-data2vecが、同じ量のデータとモデルサイズで既存のメソッドを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2023-02-10T02:55:52Z)
• VATLM: Visual-Audio-Text Pre-Training with Unified Masked Prediction for Speech Representation Learning [119.49605266839053]
  VATLM (Visual-Audio-Text Language Model) を用いたクロスモーダル表現学習フレームワークを提案する。 提案したVATLMは、モダリティに依存しない情報をモデル化するために、統一されたバックボーンネットワークを使用する。 これら3つのモダリティを1つの共有セマンティック空間に統合するために、VATLMは統一トークンのマスク付き予測タスクで最適化される。
  論文  参考訳（メタデータ） (2022-11-21T09:10:10Z)
• End-to-end Audio-visual Speech Recognition with Conformers [65.30276363777514]
  ResNet-18とConvolution-augmented Transformer(Conformer)に基づくハイブリッドCTC/Attentionモデルを提案する。 特に、オーディオおよびビジュアルエンコーダは、生のピクセルとオーディオ波形から直接特徴を抽出することを学びます。 提案手法は, 音声のみ, 視覚のみ, および視聴覚実験において, 最先端の性能を高めることを実証する。
  論文  参考訳（メタデータ） (2021-02-12T18:00:08Z)
• SPLAT: Speech-Language Joint Pre-Training for Spoken Language Understanding [61.02342238771685]
  音声理解には、入力音響信号を解析してその言語内容を理解し、予測するモデルが必要である。 大規模無注釈音声やテキストからリッチな表現を学習するために,様々な事前学習手法が提案されている。 音声と言語モジュールを協調的に事前学習するための,新しい半教師付き学習フレームワークであるSPLATを提案する。
  論文  参考訳（メタデータ） (2020-10-05T19:29:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。