論文の概要: Instituto de Telecomunicações at IWSLT 2025: Aligning Small-Scale Speech and Language Models for Speech-to-Text Learning

• arxiv url: http://arxiv.org/abs/2506.17019v1
• Date: Fri, 20 Jun 2025 14:17:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-23 19:00:05.482473
• Title: Instituto de Telecomunicações at IWSLT 2025: Aligning Small-Scale Speech and Language Models for Speech-to-Text Learning
• Title（参考訳）: Instituto de Telecomunicaçes at IWSLT 2025: Aligning Small-Scale Speech and Language Models for Speech-to-Text Learning (英語)
• Authors: Giuseppe Attanasio, Sonal Sannigrahi, Ben Peters, André F. T. Martins,
• Abstract要約: 我々はショートトラック、すなわち音声認識、翻訳、および音声質問応答の結果を提出する。 我々のモデルは、事前訓練された連続音声エンコーダとテキストデコーダを統合した統一音声テキストモデルである。
• 参考スコア（独自算出の注目度）: 25.99138889026822
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents the IT-IST submission to the IWSLT 2025 Shared Task on Instruction Following Speech Processing. We submit results for the Short Track, i.e., speech recognition, translation, and spoken question answering. Our model is a unified speech-to-text model that integrates a pre-trained continuous speech encoder and text decoder through a first phase of modality alignment and a second phase of instruction fine-tuning. Crucially, we focus on using small-scale language model backbones (< 2B) and restrict to high-quality, CC-BY data along with synthetic data generation to supplement existing resources.
• Abstract（参考訳）: 本稿では,IT-IST による IWSLT 2025 Shared Task on Instruction following Speech Processing について述べる。 我々はショートトラック、すなわち音声認識、翻訳、および音声質問応答の結果を提出する。 本モデルは,事前学習された連続音声エンコーダとテキストデコーダを,モータリティアライメントの第1フェーズと命令微調整の第2フェーズで統合した統合音声-テキストモデルである。 重要な点として、我々は、小規模言語モデルバックボーン(2B)の使用に焦点を当て、既存のリソースを補うための合成データ生成とともに、高品質なCC-BYデータに制限する。

関連論文リスト

• Scaling Speech-Text Pre-training with Synthetic Interleaved Data [31.77653849518526]
  音声言語モデル(SpeechLM)は音声入力を受け入れ、音声出力を生成し、より自然な人間とコンピュータの相互作用を可能にする。 従来のSpeechLMの開発手法は、教師なし音声データとパラレル音声テキストデータの可用性の制限によって制約されている。 本稿では,テキストコーパスから得られた大規模合成インターリーブデータを活用することによって,音声テキスト事前学習のスケールアップを行う手法を提案する。
  論文  参考訳（メタデータ） (2024-11-26T17:19:09Z)
• Learning Speech Representation From Contrastive Token-Acoustic Pretraining [57.08426714676043]
  本研究では、2つのエンコーダを用いて音素と音声を複数モーダル空間に導入するCTAP(Contrastive Token-Acoustic Pretraining)を提案する。 提案したCTAPモデルは、210k音声と音素ペアで訓練され、最小教師付きTS、VC、ASRを実現する。
  論文  参考訳（メタデータ） (2023-09-01T12:35:43Z)
• ComSL: A Composite Speech-Language Model for End-to-End Speech-to-Text Translation [79.66359274050885]
  公的な事前訓練された音声のみのモデルと言語のみのモデルからなる複合アーキテクチャ上に構築された音声言語モデルであるComSLを提案する。 提案手法は,エンドツーエンドの音声-テキスト翻訳タスクにおいて有効であることを示す。
  論文  参考訳（メタデータ） (2023-05-24T07:42:15Z)
• SpeechUT: Bridging Speech and Text with Hidden-Unit for Encoder-Decoder Based Speech-Text Pre-training [106.34112664893622]
  本稿では,音声エンコーダとテキストデコーダの表現を共有単位エンコーダに接続する,統一モーダル音声単位テキスト事前学習モデルであるSpeechUTを提案する。 提案するSpeechUTは,自動音声認識(ASR)と音声翻訳(ST)タスクに基づいて微調整および評価を行う。
  論文  参考訳（メタデータ） (2022-10-07T17:57:45Z)
• SLAM: A Unified Encoder for Speech and Language Modeling via Speech-Text Joint Pre-Training [33.02912456062474]
  我々は、ラベルなしテキストのBERT目的とラベルなし音声のw2v-BERT目的とを併用した単一のエンコーダを構築する。 プレトレーニング中に音声データとテキストデータの両方を組み込むことで、CoVoST2音声翻訳における下流品質が大幅に向上することが実証された。
  論文  参考訳（メタデータ） (2021-10-20T00:59:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。