論文の概要: Towards Real-World Streaming Speech Translation for Code-Switched Speech

• arxiv url: http://arxiv.org/abs/2310.12648v2
• Date: Mon, 23 Oct 2023 11:47:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 11:33:40.866776
• Title: Towards Real-World Streaming Speech Translation for Code-Switched Speech
• Title（参考訳）: コードスイッチ音声のリアルタイムストリーミング音声翻訳に向けて
• Authors: Belen Alastruey, Matthias Sperber, Christian Gollan, Dominic Telaar, Tim Ng, Aashish Agarwal
• Abstract要約: コードスイッチング(CS)は通信において一般的な現象であり、多くの自然言語処理(NLP)環境では困難である。 我々は、現実のCS音声翻訳に欠かせない2つの領域、すなわちストリーミング設定と第3言語への翻訳に焦点を当てた。
• 参考スコア（独自算出の注目度）: 7.81154319203032
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Code-switching (CS), i.e. mixing different languages in a single sentence, is a common phenomenon in communication and can be challenging in many Natural Language Processing (NLP) settings. Previous studies on CS speech have shown promising results for end-to-end speech translation (ST), but have been limited to offline scenarios and to translation to one of the languages present in the source (\textit{monolingual transcription}). In this paper, we focus on two essential yet unexplored areas for real-world CS speech translation: streaming settings, and translation to a third language (i.e., a language not included in the source). To this end, we extend the Fisher and Miami test and validation datasets to include new targets in Spanish and German. Using this data, we train a model for both offline and streaming ST and we establish baseline results for the two settings mentioned earlier.
• Abstract（参考訳）: コードスイッチング(cs、英: code-switching)とは、コミュニケーションにおいて一般的な現象であり、多くの自然言語処理(nlp)環境では困難である。 cs音声に関するこれまでの研究では、エンドツーエンドの音声翻訳(st)に有望な結果を示しているが、オフラインのシナリオとソースに存在する言語への翻訳に限定されている(\textit{monolingual transcription})。 本稿では,実世界のcs音声翻訳において必須かつ未検討の領域であるストリーミング設定と,第3言語(つまり,ソースに含まれない言語)への翻訳に注目する。 この目的のために、我々はフィッシャーとマイアミのテストと検証データセットを拡張し、スペイン語とドイツ語の新しいターゲットを含める。 このデータを用いて、オフラインおよびストリーミングSTのモデルをトレーニングし、前述した2つの設定のベースライン結果を確立する。

関連論文リスト

• CoSTA: Code-Switched Speech Translation using Aligned Speech-Text Interleaving [61.73180469072787]
  インド語から英語のテキストへのコード変更音声の音声翻訳(ST)の問題に焦点をあてる。 本稿では、事前訓練された自動音声認識(ASR)と機械翻訳(MT)モジュールを足場として、新しいエンドツーエンドモデルアーキテクチャCOSTAを提案する。 COSTAは、多くの競合するカスケードおよびエンドツーエンドのマルチモーダルベースラインを3.5BLEUポイントまで上回っている。
  論文  参考訳（メタデータ） (2024-06-16T16:10:51Z)
• End-to-End Speech Translation of Arabic to English Broadcast News [2.375764121997739]
  音声翻訳(英: speech translation, ST)とは、ソース言語の音声信号を外国語のテキストに翻訳する作業である。 本稿では,最初のアラビア語から英語への翻訳システムであるブロードキャストニュースの開発に向けた取り組みについて述べる。
  論文  参考訳（メタデータ） (2022-12-11T11:35:46Z)
• Speech-to-Speech Translation For A Real-world Unwritten Language [62.414304258701804]
  本研究では、ある言語から別の言語に音声を翻訳する音声音声翻訳(S2ST)について研究する。 我々は、トレーニングデータ収集、モデル選択、ベンチマークデータセットのリリースからエンドツーエンドのソリューションを提示します。
  論文  参考訳（メタデータ） (2022-11-11T20:21:38Z)
• Joint Pre-Training with Speech and Bilingual Text for Direct Speech to Speech Translation [94.80029087828888]
  直接音声音声翻訳 (S2ST) は, カスケードされたS2STと比較して, 優れた研究課題である。 直接S2STは、ソース言語の音声からターゲット言語の音声へのコーパスが非常に稀であるため、データ不足の問題に悩まされる。 本稿では,音声から音声への直接翻訳タスクのための音声とバイリンガルのテキストデータとを事前学習したSpeech2Sモデルを提案する。
  論文  参考訳（メタデータ） (2022-10-31T02:55:51Z)
• Code-Switching without Switching: Language Agnostic End-to-End Speech Translation [68.8204255655161]
  我々は音声認識と翻訳を一貫したエンドツーエンドの音声翻訳問題として扱う。 LASTを両方の入力言語で訓練することにより、入力言語に関係なく、音声を1つのターゲット言語にデコードする。
  論文  参考訳（メタデータ） (2022-10-04T10:34:25Z)
• End-to-End Speech Translation for Code Switched Speech [13.97982457879585]
  コードスイッチング(英: Code switch, CS)とは、異なる言語の単語やフレーズを相互に使用する現象である。 我々は,音声翻訳作業(ST)における英語とスペイン語の会話の文脈において,CSに着目し,書き起こしと翻訳の両方を生成・評価する。 我々のSTアーキテクチャ、特に双方向のエンドツーエンドアーキテクチャは、CS訓練データを使用しなくても、CS音声でよく機能することを示す。
  論文  参考訳（メタデータ） (2022-04-11T13:25:30Z)
• Textless Speech-to-Speech Translation on Real Data [49.134208897722246]
  本研究では、ある言語から別の言語への翻訳が可能なテキストなし音声音声翻訳システム(S2ST)を提案する。 マルチ話者ターゲット音声をモデル化し、実世界のS2STデータを用いてシステムを訓練する際の課題に対処する。
  論文  参考訳（メタデータ） (2021-12-15T18:56:35Z)
• Consecutive Decoding for Speech-to-text Translation [51.155661276936044]
  COnSecutive Transcription and Translation (COSTT)は、音声からテキストへの翻訳に不可欠な手法である。 鍵となるアイデアは、ソースの書き起こしとターゲットの翻訳テキストを1つのデコーダで生成することである。 本手法は3つの主流データセットで検証する。
  論文  参考訳（メタデータ） (2020-09-21T10:10:45Z)
• Style Variation as a Vantage Point for Code-Switching [54.34370423151014]
  Code-Switching (CS) は、複数のバイリンガルコミュニティや多言語コミュニティでよく見られる現象である。 両言語間のスタイルのバリエーションとして,CSの新たな特徴点を提示する。 本稿では,第1段階がCSの競合負例を生成し,第2段階がより現実的なCS文を生成する2段階生成逆トレーニング手法を提案する。
  論文  参考訳（メタデータ） (2020-05-01T15:53:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。