論文の概要: Long-form Simultaneous Speech Translation: Thesis Proposal
- arxiv url: http://arxiv.org/abs/2310.11141v1
- Date: Tue, 17 Oct 2023 10:44:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-18 16:31:59.500220
- Title: Long-form Simultaneous Speech Translation: Thesis Proposal
- Title（参考訳）: 長文同時音声翻訳:論文提案
- Authors: Peter Pol\'ak
- Abstract要約: 同時音声翻訳 (SST) は, 話者が文を終了する前であっても, 発話言語をリアルタイムに翻訳することを目的としている。
ディープラーニングはエンドツーエンド(E2E)システムに大きな関心を呼んだ。
この論文の提案は、特にロングフォーム設定において、エンドツーエンドの同時音声翻訳に対処する。
- 参考スコア（独自算出の注目度）: 3.252719444437546
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Simultaneous speech translation (SST) aims to provide real-time translation
of spoken language, even before the speaker finishes their sentence.
Traditionally, SST has been addressed primarily by cascaded systems that
decompose the task into subtasks, including speech recognition, segmentation,
and machine translation. However, the advent of deep learning has sparked
significant interest in end-to-end (E2E) systems. Nevertheless, a major
limitation of most approaches to E2E SST reported in the current literature is
that they assume that the source speech is pre-segmented into sentences, which
is a significant obstacle for practical, real-world applications. This thesis
proposal addresses end-to-end simultaneous speech translation, particularly in
the long-form setting, i.e., without pre-segmentation. We present a survey of
the latest advancements in E2E SST, assess the primary obstacles in SST and its
relevance to long-form scenarios, and suggest approaches to tackle these
challenges.
- Abstract（参考訳）: 同時音声翻訳 (SST) は, 話者が文を終了する前であっても, 発話言語をリアルタイムに翻訳することを目的としている。
伝統的に、SSTは主に、タスクを音声認識、セグメンテーション、機械翻訳を含むサブタスクに分解するカスケードシステムによって対処されてきた。
しかし、ディープラーニングの出現はエンド・ツー・エンド(E2E)システムに大きな関心を呼んだ。
しかしながら、現在の文献で報告されているE2E SSTに対するほとんどのアプローチの最大の制限は、原文が文に事前分割されていると仮定していることである。
この論文の提案は、特に長文設定において、特に事前分割なしで、エンドツーエンドの同時音声翻訳に対処する。
本稿では、E2E SSTの最近の進歩について調査を行い、SSTの主な障害とその長期シナリオとの関連性を評価し、これらの課題に取り組むためのアプローチを提案する。
関連論文リスト
- Speech is More Than Words: Do Speech-to-Text Translation Systems Leverage Prosody? [7.682929772871941]
韻律は音声からテキストへの翻訳システムの中ではほとんど研究されない。
エンドツーエンド(E2E)システムは、翻訳決定を行う際に音声信号に直接アクセスする。
主な課題は、翻訳における韻律認識を評価することの難しさである。
論文 参考訳（メタデータ） (2024-10-31T15:20:50Z) - TransVIP: Speech to Speech Translation System with Voice and Isochrony Preservation [97.54885207518946]
カスケード方式で多様なデータセットを活用する新しいモデルフレームワークTransVIPを提案する。
本稿では、話者の音声特性と、翻訳過程における音源音声からの等時性を維持するために、2つの分離エンコーダを提案する。
フランス語と英語のペアに関する実験により、我々のモデルは、現在最先端の音声音声翻訳モデルよりも優れていることを示した。
論文 参考訳（メタデータ） (2024-05-28T04:11:37Z) - Prior-agnostic Multi-scale Contrastive Text-Audio Pre-training for Parallelized TTS Frontend Modeling [13.757256085713571]
本稿では,新たな2段階予測パイプラインであるTAP-FMを提案する。
具体的には,マルチスケールコントラストテキストオーディオ事前学習プロトコル(MC-TAP)を提案する。
本フレームワークは,グローバル・ローカル・テキスト・オーディオ・セマンティクスと音響表現の両方を深く掘り下げる機能を示す。
論文 参考訳（メタデータ） (2024-04-14T08:56:19Z) - Enhancing End-to-End Conversational Speech Translation Through Target
Language Context Utilization [73.85027121522295]
E2E-STにターゲット言語コンテキストを導入し,コヒーレンスを高め,拡張された音声セグメントのメモリ制約を克服する。
提案した文脈的E2E-STは、孤立発話に基づくE2E-STアプローチよりも優れている。
論文 参考訳（メタデータ） (2023-09-27T14:32:30Z) - Enhancing Speech-to-Speech Translation with Multiple TTS Targets [62.18395387305803]
直接S2STモデルに対する合成対象音声の変更の効果を解析する。
異なるTSシステムから複数のターゲットを持つS2STシステムを協調的に最適化するマルチタスクフレームワークを提案する。
論文 参考訳（メタデータ） (2023-04-10T14:33:33Z) - Textless Direct Speech-to-Speech Translation with Discrete Speech
Representation [27.182170555234226]
本研究では,テキストの監督なしにエンドツーエンドの直接S2STモデルをトレーニングするための新しいモデルであるTextless Translatotronを提案する。
教師なし音声データで事前訓練された音声エンコーダを両方のモデルに使用すると、提案モデルはトランスラトトロン2とほぼ同等の翻訳品質が得られる。
論文 参考訳（メタデータ） (2022-10-31T19:48:38Z) - Joint Pre-Training with Speech and Bilingual Text for Direct Speech to
Speech Translation [94.80029087828888]
直接音声音声翻訳 (S2ST) は, カスケードされたS2STと比較して, 優れた研究課題である。
直接S2STは、ソース言語の音声からターゲット言語の音声へのコーパスが非常に稀であるため、データ不足の問題に悩まされる。
本稿では,音声から音声への直接翻訳タスクのための音声とバイリンガルのテキストデータとを事前学習したSpeech2Sモデルを提案する。
論文 参考訳（メタデータ） (2022-10-31T02:55:51Z) - Revisiting End-to-End Speech-to-Text Translation From Scratch [48.203394370942505]
E2E (End-to-end speech-to-text translation) はしばしば、音声認識やテキスト翻訳タスクを通じて、そのエンコーダおよび/またはデコーダをソース転写を用いて事前訓練することに依存する。
本稿では,音声翻訳対だけで訓練したE2E STの品質をどの程度改善できるかを考察する。
論文 参考訳（メタデータ） (2022-06-09T15:39:19Z) - TranSpeech: Speech-to-Speech Translation With Bilateral Perturbation [61.564874831498145]
TranSpeechは、両側摂動を伴う音声から音声への翻訳モデルである。
我々は,非自己回帰S2ST手法を構築し,繰り返しマスキングを行い,単位選択を予測する。
TranSpeechは推論遅延を大幅に改善し、自動回帰技術よりも最大21.4倍のスピードアップを実現している。
論文 参考訳（メタデータ） (2022-05-25T06:34:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。