論文の概要: From Speech-to-Speech Translation to Automatic Dubbing

• arxiv url: http://arxiv.org/abs/2001.06785v3
• Date: Sun, 2 Feb 2020 21:54:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-08 12:46:46.741926
• Title: From Speech-to-Speech Translation to Automatic Dubbing
• Title（参考訳）: 音声から音声への翻訳から自動ダビングへ
• Authors: Marcello Federico, Robert Enyedi, Roberto Barra-Chicote, Ritwik Giri, Umut Isik, Arvindh Krishnaswamy and Hassan Sawaf
• Abstract要約: 自動ダビングを行うために,音声から音声への翻訳パイプラインの拡張を提案する。 本アーキテクチャでは,所望の長さの出力を生成するニューラル機械翻訳,元の音声セグメントとの韻律的アライメント,各発話の持続時間を微調整したニューラルテキスト・トゥ・音声を特徴とする。
• 参考スコア（独自算出の注目度）: 28.95595497865406
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present enhancements to a speech-to-speech translation pipeline in order to perform automatic dubbing. Our architecture features neural machine translation generating output of preferred length, prosodic alignment of the translation with the original speech segments, neural text-to-speech with fine tuning of the duration of each utterance, and, finally, audio rendering to enriches text-to-speech output with background noise and reverberation extracted from the original audio. We report on a subjective evaluation of automatic dubbing of excerpts of TED Talks from English into Italian, which measures the perceived naturalness of automatic dubbing and the relative importance of each proposed enhancement.
• Abstract（参考訳）: 自動ダビングを行うために,音声から音声への翻訳パイプラインの拡張を提案する。 本アーキテクチャは、好みの長さの出力を生成するニューラルマシン翻訳、原音声セグメントとの翻訳の韻律的アライメント、各発話の持続時間を微調整したニューラルテキストから音声への変換、そして最後に、原音声から抽出された背景雑音と残響によってテキストから音声への出力を豊かにするオーディオレンダリングを特徴とする。 本報告では, TEDトークからイタリア語への抜粋の自動ダビングの主観評価を行い, 自動ダビングの自然な認識と, 提案した拡張の相対的重要性を計測した。

関連論文リスト

• TransVIP: Speech to Speech Translation System with Voice and Isochrony Preservation [97.54885207518946]
  カスケード方式で多様なデータセットを活用する新しいモデルフレームワークTransVIPを提案する。 本稿では、話者の音声特性と、翻訳過程における音源音声からの等時性を維持するために、2つの分離エンコーダを提案する。 フランス語と英語のペアに関する実験により、我々のモデルは、現在最先端の音声音声翻訳モデルよりも優れていることを示した。
  論文  参考訳（メタデータ） (2024-05-28T04:11:37Z)
• ContextSpeech: Expressive and Efficient Text-to-Speech for Paragraph Reading [65.88161811719353]
  本研究は、軽量で効果的なテキスト音声合成システムであるContextSpeechを開発する。 まず,グローバルテキストと音声コンテキストを文エンコーディングに組み込むメモリキャッシュ再帰機構を設計する。 我々は,グローバルな文脈拡張の範囲を広げるため,階層的に構造化されたテキストセマンティクスを構築した。 実験の結果,ContextSpeechは段落読解における音質と韻律を競争モデル効率で著しく改善することがわかった。
  論文  参考訳（メタデータ） (2023-07-03T06:55:03Z)
• High-Quality Automatic Voice Over with Accurate Alignment: Supervision through Self-Supervised Discrete Speech Units [69.06657692891447]
  本稿では,自己教師付き離散音声単位予測の学習目的を活用した新しいAVO手法を提案する。 実験結果から,提案手法は有意な唇音声同期と高音質を実現することが示された。
  論文  参考訳（メタデータ） (2023-06-29T15:02:22Z)
• Jointly Optimizing Translations and Speech Timing to Improve Isochrony in Automatic Dubbing [71.02335065794384]
  生成した翻訳の翻訳時間と発話時間を直接最適化するモデルを提案する。 本システムでは,システムアーキテクチャを簡素化しつつ,前処理よりも発話のタイミングによく適合する音声を生成する。
  論文  参考訳（メタデータ） (2023-02-25T04:23:25Z)
• VideoDubber: Machine Translation with Speech-Aware Length Control for Video Dubbing [73.56970726406274]
  ビデオダビングは、映画やテレビ番組のオリジナルスピーチをターゲット言語の音声に変換することを目的としている。 翻訳された音声が対応するビデオと適切に一致するようにするためには、翻訳された音声の長さ/順を元の音声にできるだけ近づけるべきである。 本稿では,ビデオダビング作業に適した機械翻訳システムを提案する。
  論文  参考訳（メタデータ） (2022-11-30T12:09:40Z)
• Machine Translation Verbosity Control for Automatic Dubbing [11.85772502779967]
  本稿では,機械翻訳出力の冗長性を制御する新しい手法を提案する。 実験では、公開データセットを使用して、英語のスピーチをフランス語、イタリア語、ドイツ語、スペイン語にダブします。 MT冗長性制御がビデオクリップの最終的な品質に与える影響を広範囲にわたる主観的テストで評価した。
  論文  参考訳（メタデータ） (2021-10-08T01:19:10Z)
• Zero-Shot Text-to-Speech for Text-Based Insertion in Audio Narration [62.75234183218897]
  話者の訓練データなしで自然かつ一貫性のあるターゲット音声を生成する一段階の文脈認識フレームワークを提案する。 変換器をベースとしたデコーダを用いて,編集音声のメルスペクトルを生成する。 これは最近のゼロショット TTS エンジンを大きなマージンで上回っている。
  論文  参考訳（メタデータ） (2021-09-12T04:17:53Z)
• Text-to-speech for the hearing impaired [0.0]
  テキスト音声(TTS)システムは、受信端で補正するのではなく、音源の聴覚損失を補うことができる。 本研究では,高分解能時間,周波数,レベルにおいて,音質を正常な知覚に復元するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-03T18:52:03Z)
• SkinAugment: Auto-Encoding Speaker Conversions for Automatic Speech Translation [12.292167129361825]
  自動音声翻訳における訓練データ拡張のための自動符号化話者変換を提案する。 この技術は直接音声シーケンスを変換し、その結果、他の話者の声に似た音声が合成される。 提案手法は,英語$to$ Frenchと英語$to$Romanian Automatic Speech Translation (AST)タスクのSpecAugmentと比較した。
  論文  参考訳（メタデータ） (2020-02-27T16:22:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。