論文の概要: ESPnet-ST-v2: Multipurpose Spoken Language Translation Toolkit
- arxiv url: http://arxiv.org/abs/2304.04596v2
- Date: Tue, 11 Apr 2023 17:44:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2023-04-12 11:12:40.473637
- Title: ESPnet-ST-v2: Multipurpose Spoken Language Translation Toolkit
- Title（参考訳）: ESPnet-ST-v2:多目的音声翻訳ツールキット
- Abstract要約: ESPnet-ST-v2はオープンソースのESPnet-STツールキットを改良したものである。
本稿では,ESPnet-ST-v2の裏側における全体的な設計,各タスクのサンプルモデル,パフォーマンスベンチマークについて述べる。
- 参考スコア（独自算出の注目度）: 61.52122386938913
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: ESPnet-ST-v2 is a revamp of the open-source ESPnet-ST toolkit necessitated by
the broadening interests of the spoken language translation community.
ESPnet-ST-v2 supports 1) offline speech-to-text translation (ST), 2)
simultaneous speech-to-text translation (SST), and 3) offline speech-to-speech
translation (S2ST) -- each task is supported with a wide variety of approaches,
differentiating ESPnet-ST-v2 from other open source spoken language translation
toolkits. This toolkit offers state-of-the-art architectures such as
transducers, hybrid CTC/attention, multi-decoders with searchable
intermediates, time-synchronous blockwise CTC/attention, Translatotron models,
and direct discrete unit models. In this paper, we describe the overall design,
example models for each task, and performance benchmarking behind ESPnet-ST-v2,
which is publicly available at https://github.com/espnet/espnet.
- Abstract（参考訳）: ESPnet-ST-v2はオープンソースのESPnet-STツールキットを改良したものである。
ESPnet-ST-v2 のサポート
1)オフライン音声テキスト翻訳(ST)
2)同時音声テキスト翻訳(SST)、及び
3) オフライン音声音声翻訳(S2ST) -- 各タスクは、ESPnet-ST-v2と他のオープンソースの音声翻訳ツールキットを区別して、幅広いアプローチでサポートされている。
このツールキットはトランスデューサ、ハイブリッドCTC/アテンション、検索可能な中間子を持つマルチデコーダ、時間同期ブロックワイドCTC/アテンション、トランスラトトロンモデル、直接離散単位モデルなどの最先端アーキテクチャを提供する。
本稿では,https://github.com/espnet/espnetで公開されているespnet-st-v2の背後にある全体的な設計,各タスクのモデル,パフォーマンスベンチマークについて述べる。
関連論文リスト
- From Flat Language Labels to Typological Priors: Structured Language Conditioning for Multilingual Speech-to-Speech Translation [18.4879882820322]
音声から音声への翻訳システムは、ソース言語情報を無視したり、言語・アズ・レーベルのパラダイムでエンコードすることが多い。
S2ST-Omni 2は,平易な言語ラベルから定型型的先行詞への多言語条件付けを再構成する多言語合成S2STフレームワークである。
論文 参考訳（メタデータ） (2026-05-15T15:01:45Z) - MahaTTS: A Unified Framework for Multilingual Text-to-Speech Synthesis [0.0]
MahaTTS-v2は多言語対応の多言語テキスト音声合成システムである。
提案手法では,意味抽出にWav2Vec2.0トークン,テキストからセマンティック・モデリングにLanguage Model(LM)を利用する。
論文 参考訳（メタデータ） (2025-08-05T20:49:04Z) - Joint Training And Decoding for Multilingual End-to-End Simultaneous Speech Translation [43.53370615449918]
エンドツーエンド音声翻訳(ST)に関する最近の研究は,複数言語間STとエンドツーエンド同時STの探索を円滑に進めている。
実シナリオにおけるアプリケーションに近い一対多の多言語設定におけるエンドツーエンドの同時音声翻訳について検討する。
論文 参考訳（メタデータ） (2025-03-14T04:45:46Z) - Towards Real-World Streaming Speech Translation for Code-Switched Speech [7.81154319203032]
コードスイッチング(CS)は通信において一般的な現象であり、多くの自然言語処理(NLP)環境では困難である。
我々は、現実のCS音声翻訳に欠かせない2つの領域、すなわちストリーミング設定と第3言語への翻訳に焦点を当てた。
論文 参考訳（メタデータ） (2023-10-19T11:15:02Z) - Enhancing Speech-to-Speech Translation with Multiple TTS Targets [62.18395387305803]
直接S2STモデルに対する合成対象音声の変更の効果を解析する。
異なるTSシステムから複数のターゲットを持つS2STシステムを協調的に最適化するマルチタスクフレームワークを提案する。
論文 参考訳（メタデータ） (2023-04-10T14:33:33Z) - End-to-End Speech Translation for Code Switched Speech [13.97982457879585]
コードスイッチング(英: Code switch, CS)とは、異なる言語の単語やフレーズを相互に使用する現象である。
我々は,音声翻訳作業(ST)における英語とスペイン語の会話の文脈において,CSに着目し,書き起こしと翻訳の両方を生成・評価する。
我々のSTアーキテクチャ、特に双方向のエンドツーエンドアーキテクチャは、CS訓練データを使用しなくても、CS音声でよく機能することを示す。
論文 参考訳（メタデータ） (2022-04-11T13:25:30Z) - ESPnet-SLU: Advancing Spoken Language Understanding through ESPnet [95.39817519115394]
ESPnet-SLUは、エンドツーエンドの音声処理ツールキットであるESPnetのプロジェクトである。
単一のフレームワークによる音声言語理解の迅速な開発を目的として設計されている。
論文 参考訳（メタデータ） (2021-11-29T17:05:49Z) - ESPnet2-TTS: Extending the Edge of TTS Research [62.92178873052468]
ESPnet2-TTSは、E2E-TTS(E2E-TTS)ツールキットである。
新機能としては、オンザフライフレキシブルプリプロセッシング、ニューラルボコーダとのジョイントトレーニング、フルバンドE2Eテキスト・トゥ・ウェーブフォームモデリングのような拡張を備えた最先端のTSモデルなどがある。
論文 参考訳（メタデータ） (2021-10-15T03:27:45Z) - Dual-decoder Transformer for Joint Automatic Speech Recognition and
Multilingual Speech Translation [71.54816893482457]
自動音声認識(ASR)と多言語音声翻訳(ST)を共同で行う新しいモデルアーキテクチャであるデュアルデコーダトランスフォーマを導入する。
我々のモデルはオリジナルのTransformerアーキテクチャに基づいているが、2つのデコーダで構成されており、それぞれが1つのタスク(ASRまたはST)を担っている。
論文 参考訳（メタデータ） (2020-11-02T04:59:50Z) - ESPnet-ST: All-in-One Speech Translation Toolkit [57.76342114226599]
ESPnet-STは、エンドツーエンドの音声処理ツールキットであるESPnet内の新しいプロジェクトである。
音声認識、機械翻訳、音声翻訳のための音声合成機能を実装する。
データ前処理、特徴抽出、トレーニング、デコードパイプラインを含むオールインワンのレシピを提供します。
論文 参考訳（メタデータ） (2020-04-21T18:38:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。