論文の概要: TRAVID: An End-to-End Video Translation Framework

• arxiv url: http://arxiv.org/abs/2309.11338v1
• Date: Wed, 20 Sep 2023 14:13:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-21 12:47:38.592118
• Title: TRAVID: An End-to-End Video Translation Framework
• Title（参考訳）: TRAVID: エンドツーエンドのビデオ翻訳フレームワーク
• Authors: Prottay Kumar Adhikary, Bandaru Sugandhi, Subhojit Ghimire, Santanu Pal and Partha Pakray
• Abstract要約: 本稿では、音声言語を翻訳するだけでなく、翻訳された音声と話者の唇の動きを同期するエンドツーエンドのビデオ翻訳システムを提案する。 本システムは,インド諸言語における教育講義の翻訳に重点を置いており,低リソースのシステム設定においても有効であるように設計されている。
• 参考スコア（独自算出の注目度）: 1.6131714685439382
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In today's globalized world, effective communication with people from diverse linguistic backgrounds has become increasingly crucial. While traditional methods of language translation, such as written text or voice-only translations, can accomplish the task, they often fail to capture the complete context and nuanced information conveyed through nonverbal cues like facial expressions and lip movements. In this paper, we present an end-to-end video translation system that not only translates spoken language but also synchronizes the translated speech with the lip movements of the speaker. Our system focuses on translating educational lectures in various Indian languages, and it is designed to be effective even in low-resource system settings. By incorporating lip movements that align with the target language and matching them with the speaker's voice using voice cloning techniques, our application offers an enhanced experience for students and users. This additional feature creates a more immersive and realistic learning environment, ultimately making the learning process more effective and engaging.
• Abstract（参考訳）: 今日のグローバル化の世界では、多様な言語背景を持つ人々との効果的なコミュニケーションがますます重要になっている。 文章や音声のみの翻訳のような伝統的な言語翻訳の方法は、そのタスクを達成できるが、顔の表情や唇の動きのような非言語的な手がかりを通じて伝達される完全な文脈やニュアンス情報を捕捉できないことが多い。 本稿では,音声言語を翻訳するだけでなく,翻訳音声と話者の唇の動きを同期させるエンド・ツー・エンドのビデオ翻訳システムを提案する。 本システムは,インド諸言語における教育講義の翻訳に重点を置いており,低リソースのシステム設定においても有効であるように設計されている。 対象言語に合わせた唇の動きを取り入れ,音声クローニング技術を用いて話者の音声と一致させることで,学生やユーザに対してさらなる体験を提供する。 この追加機能は、より没入的で現実的な学習環境を生み出し、最終的には学習プロセスをより効果的かつ活発にします。

関連論文リスト

• TransVIP: Speech to Speech Translation System with Voice and Isochrony Preservation [97.54885207518946]
  カスケード方式で多様なデータセットを活用する新しいモデルフレームワークTransVIPを提案する。 本稿では、話者の音声特性と、翻訳過程における音源音声からの等時性を維持するために、2つの分離エンコーダを提案する。 フランス語と英語のペアに関する実験により、我々のモデルは、現在最先端の音声音声翻訳モデルよりも優れていることを示した。
  論文  参考訳（メタデータ） (2024-05-28T04:11:37Z)
• CLARA: Multilingual Contrastive Learning for Audio Representation Acquisition [5.520654376217889]
  CLARAはラベル付きデータへの依存を最小限に抑え、言語間の一般化を強化する。 我々のアプローチは、主観的評価問題を克服し、音声における感情的ニュアンスを十分に捉えている。 低リソース言語に適応し、多言語音声表現学習の進歩を示す。
  論文  参考訳（メタデータ） (2023-10-18T09:31:56Z)
• Enhancing expressivity transfer in textless speech-to-speech translation [0.0]
  既存の最先端システムは、様々な言語で正確に表現力の取得と転送に関して不足している。 本研究では,個別音声単位レベルで動作し,多言語感情の埋め込みを利用する新しい手法を提案する。 対象言語における音声単位のピッチと持続時間を効果的に予測するために,これらの埋め込みがどのように使用できるかを示す。
  論文  参考訳（メタデータ） (2023-10-11T08:07:22Z)
• Textless Unit-to-Unit training for Many-to-Many Multilingual Speech-to-Speech Translation [65.13824257448564]
  本稿では,多言語多言語音声音声合成のためのテキストレス学習手法を提案する。 音声単位を擬似テキストとして扱うことにより、音声の言語内容に焦点を合わせることができる。 提案するUTUTモデルは,音声音声合成(S2ST)だけでなく,多言語音声合成(T2S)やテキスト音声合成(T2ST)にも有効であることを示す。
  論文  参考訳（メタデータ） (2023-08-03T15:47:04Z)
• EC^2: Emergent Communication for Embodied Control [72.99894347257268]
  エージェントはマルチモーダル・プレトレーニングを活用して、新しい環境でどのように振る舞うかを素早く学ぶ必要がある。 本稿では,数発のエンボディドコントロールのためのビデオ言語表現を事前学習するための新しいスキームであるEmergent Communication for Embodied Control (EC2)を提案する。 EC2は、タスク入力としてビデオとテキストの両方の従来のコントラスト学習手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2023-04-19T06:36:02Z)
• MixSpeech: Cross-Modality Self-Learning with Audio-Visual Stream Mixup for Visual Speech Translation and Recognition [51.412413996510814]
  視覚音声の訓練を正規化するために音声音声を利用する多目的自己学習フレームワークであるMixSpeechを提案する。 MixSpeechは雑音の多い環境での音声翻訳を強化し、AVMuST-TED上でのBLEUスコアを+1.4から+4.2に改善した。
  論文  参考訳（メタデータ） (2023-03-09T14:58:29Z)
• Talking Face Generation with Multilingual TTS [0.8229645116651871]
  音声合成システムと音声合成システムを組み合わせたシステムを提案する。 本システムは,話者の発声性を保ちながら,自然な多言語音声を合成することができる。 デモでは、事前処理ステージに翻訳APIを追加して、ニューラルダバーの形式で提示しています。
  論文  参考訳（メタデータ） (2022-05-13T02:08:35Z)
• Self-Supervised Representations Improve End-to-End Speech Translation [57.641761472372814]
  自己教師付き事前学習機能により,翻訳性能が一貫的に向上することを示す。 言語間の変換は、チューニングの必要なく、あるいはほとんどチューニングすることなく、さまざまな言語に拡張することができる。
  論文  参考訳（メタデータ） (2020-06-22T10:28:38Z)
• CSTNet: Contrastive Speech Translation Network for Self-Supervised Speech Representation Learning [11.552745999302905]
  7000の言語のうち、半数以上が絶滅の危機にさらされている。 音声に対応するテキスト翻訳は比較的容易である。 音声から言語表現を抽出できる畳み込みニューラルネットワークオーディオエンコーダを構築する。
  論文  参考訳（メタデータ） (2020-06-04T12:21:48Z)
• That Sounds Familiar: an Analysis of Phonetic Representations Transfer Across Languages [72.9927937955371]
  我々は、他言語に存在するリソースを用いて、多言語自動音声認識モデルを訓練する。 我々は,多言語設定における全言語間での大幅な改善と,多言語設定におけるスターク劣化を観察した。 分析の結果、ひとつの言語に固有の電話でさえ、他の言語からのトレーニングデータを追加することで大きなメリットがあることがわかった。
  論文  参考訳（メタデータ） (2020-05-16T22:28:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。