論文の概要: NAVER LABS Europe Submission to the Instruction-following 2026 Short Track
- arxiv url: http://arxiv.org/abs/2607.01960v1
- Date: Thu, 02 Jul 2026 09:52:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-03 19:45:08.779225
- Title: NAVER LABS Europe Submission to the Instruction-following 2026 Short Track
- Title（参考訳）: NAVER LABS Europeが2026年のショートトラックに出場
- Abstract要約: IWSLT 2026における命令追従音声処理ショートトラックへのNAVER LABS Europeの提出について述べる。
我々は、英語音声から中国語、イタリア語、ドイツ語へのASR、ST、SQAを共同で実行可能なシステムを開発する。
今年の結果、私たちのシステムはショートトラックランキングで1位にランクインした。
- 参考スコア（独自算出の注目度）: 12.471740115082126
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we describe NAVER LABS Europe's submission to the instruction-following speech processing short track at IWSLT 2026. We participate again in the constrained setting, developing systems capable of jointly performing ASR, ST, and SQA from English speech into Chinese, Italian, and German. Building on our previous submission, ranked first in last year's short track, we update our multi-stage training pipeline by replacing the speech projector with SpeechMapper, a method for learning a speech-to-LLM embedding projector using only ASR data. In addition, we introduce a synthetic SQA dataset, fakACL, composed of artificially generated scientific presentations. This dataset is built by prompting the LLM backbone, segmenting the generated talks, and synthesizing speech with SeamlessM4T-large-v2. The combination of an improved speech projection mechanism and domain-specific synthetic data allows our model to outperform last year's best short-track system, while being considerably more compact and relying on a weaker LLM backbone. This year's results place our system tied for first place in the overall short track ranking.
- Abstract（参考訳）: 本稿では,IWSLT 2026における命令追従音声処理ショートトラックへのNAVER LABS Europeの提出について述べる。
我々は、英語の音声から中国語、イタリア語、ドイツ語へのASR、ST、SQAを共同で実行できるシステムを開発する、制約された設定に再び参加する。
昨年のショートトラックで第1位にランクインした前回の投稿に基づいて、音声プロジェクタをSpeechMapperに置き換えることで、多段階トレーニングパイプラインを更新しました。
さらに、人工的に生成された科学的プレゼンテーションからなる合成SQAデータセットfakACLを紹介する。
このデータセットは、LLMバックボーンのプロンプト、生成された講演のセグメント化、SeamlessM4T-large-v2による音声合成によって構築される。
改良された音声投影機構とドメイン固有合成データを組み合わせることで、昨年のベストショートトラックシステムより優れ、よりコンパクトで、より弱いLCMバックボーンに依存している。
今年の結果、私たちのシステムはショートトラックランキングで1位にランクインした。
関連論文リスト
- Adapting Text LLMs to Speech via Multimodal Depth Up-Scaling [52.02344262645619]
本稿では,新しいトランス層を凍結テキストLLMに挿入し,付加層のみを音声データに基づいて訓練するマルチモーダル深さアップスケーリングを提案する。
SmolLM2-360MとSmolLM2-1.7Bによる48k時間の英語自動音声認識(ASR)データによる実験により、深度アップスケーリングは完全な微調整に匹敵するASRを実現することが示された。
さらに,テキストの劣化を75%以上低減し,トレーニング可能なパラメータを60%少なく抑えながら,大規模モデルの完全微調整に適合あるいは超越したASRを実現するために,音声認識用に設計されたアーキテクチャであるE-Branchformerを組み込むことが示される。
論文 参考訳（メタデータ） (2026-04-01T05:16:06Z) - Bridging the gap: A comparative exploration of Speech-LLM and end-to-end architecture for multilingual conversational ASR [16.090902570653803]
本稿では、細調整されたWhisperとmHuBERTエンコーダをLLMと組み合わせたLLMベースのASRフレームワークを提案する。
CER/WERは10.69%で、上位1位にランクインしている。
論文 参考訳（メタデータ） (2026-01-04T10:08:53Z) - NAVER LABS Europe Submission to the Instruction-following Track [25.9221252675616]
We describe NAVER LABS Europe submit to the instruction-following speech processing short track at IWSLT 2025。
ASR,ST,SQAタスクを英語の音声入力から中国語,イタリア語,ドイツ語の3言語に同時実行可能なシステムを開発した。
論文 参考訳（メタデータ） (2025-06-02T15:52:57Z) - KIT's Low-resource Speech Translation Systems for IWSLT2025: System Enhancement with Synthetic Data and Model Regularization [64.1520245849231]
本稿では,KIT の低リソーストラック IWSLT 2025 への提出について述べる。
ケースドシステムとエンド・ツー・エンド(E2E)音声翻訳システムを開発した。
事前訓練されたモデルに基づいて、リソースを効率的に活用するためのさまざまな戦略でシステムを微調整します。
論文 参考訳（メタデータ） (2025-05-26T08:38:02Z) - KIT's Offline Speech Translation and Instruction Following Submission for IWSLT 2025 [56.61209412965054]
本稿では、カールスルーエ工科大学のオフラインSTとインストラクションフォロー(IF)トラックへの提出について紹介する。
文書レベルの文脈を持つLLMを用いて出力を融合した複数の自動音声認識システムを用いたパイプラインを提案する。
IFトラックでは,音声エンコーダとLLMを統合し,幅広い命令追従タスクを実行するエンド・ツー・エンド・モデルを開発した。
論文 参考訳（メタデータ） (2025-05-19T12:21:29Z) - Zero-resource Speech Translation and Recognition with LLMs [38.11535502039386]
我々は,ペア音声テキストデータを見たことのない言語において,多言語大言語モデル(LLM)を用いてSTとASRを実行することを提案する。
我々は、事前訓練された多言語音声エンコーダ、多言語LLM、およびLLMのトークン埋め込み空間に音声表現をマッピングする軽量適応モジュールを用いて、これを実現する。
論文 参考訳（メタデータ） (2024-12-24T17:37:11Z) - Blending LLMs into Cascaded Speech Translation: KIT's Offline Speech Translation System for IWSLT 2024 [61.189875635090225]
大規模言語モデル (LLM) は現在,自動音声認識 (ASR) や機械翻訳 (MT) ,さらにはエンドツーエンド音声翻訳 (ST) など,さまざまなタスクを探索中である。
論文 参考訳（メタデータ） (2024-06-24T16:38:17Z) - Speech Translation with Large Language Models: An Industrial Practice [64.5419534101104]
LLM-STは,事前学習型大言語モデル(LLM)に基づいて構築された,新規で効果的な音声翻訳モデルである。
大規模言語モデル(LLM)を音声エンコーダと統合し、マルチタスクの命令チューニングを利用することで、LLM-STは正確なタイムスタンプと翻訳を生成することができる。
英語と中国語のデータセットの厳密な実験を通じて,LLM-STの異常な性能を示す。
論文 参考訳（メタデータ） (2023-12-21T05:32:49Z) - ON-TRAC Consortium Systems for the IWSLT 2022 Dialect and Low-resource
Speech Translation Tasks [8.651248939672769]
本稿では,IWSLT 2022の評価キャンペーンにおける2つの課題トラックに対して開発されたON-TRACコンソーシアム翻訳システムについて述べる。
ASRの大規模微調整wav2vec 2.0モデルを利用するカスケードモデルと比較した。
この結果から,小型のターゲットデータを用いた自己教師型モデルの方が,大規模な市販モデルに比べて低リソースのSTファインチューニングに有効であることが示唆された。
論文 参考訳（メタデータ） (2022-05-04T10:36:57Z) - The USYD-JD Speech Translation System for IWSLT 2021 [85.64797317290349]
本稿では,シドニー大学とJDが共同でIWSLT 2021低リソース音声翻訳タスクを提出したことを述べる。
私たちは、公式に提供されたASRとMTデータセットでモデルをトレーニングしました。
翻訳性能の向上を目的として, バック翻訳, 知識蒸留, 多機能再構成, トランスダクティブファインタニングなど, 最新の効果的な手法について検討した。
論文 参考訳（メタデータ） (2021-07-24T09:53:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。