論文の概要: Enhancing expressivity transfer in textless speech-to-speech translation

• arxiv url: http://arxiv.org/abs/2310.07279v1
• Date: Wed, 11 Oct 2023 08:07:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-13 07:36:10.090496
• Title: Enhancing expressivity transfer in textless speech-to-speech translation
• Title（参考訳）: テキストなし音声から音声への翻訳における表現力伝達の促進
• Authors: Jarod Duret (LIA), Benjamin O'Brien (LIA), Yannick Est\`eve (LIA), Titouan Parcollet (CAM)
• Abstract要約: 既存の最先端システムは、様々な言語で正確に表現力の取得と転送に関して不足している。 本研究では,個別音声単位レベルで動作し,多言語感情の埋め込みを利用する新しい手法を提案する。 対象言語における音声単位のピッチと持続時間を効果的に予測するために,これらの埋め込みがどのように使用できるかを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Textless speech-to-speech translation systems are rapidly advancing, thanks to the integration of self-supervised learning techniques. However, existing state-of-the-art systems fall short when it comes to capturing and transferring expressivity accurately across different languages. Expressivity plays a vital role in conveying emotions, nuances, and cultural subtleties, thereby enhancing communication across diverse languages. To address this issue this study presents a novel method that operates at the discrete speech unit level and leverages multilingual emotion embeddings to capture language-agnostic information. Specifically, we demonstrate how these embeddings can be used to effectively predict the pitch and duration of speech units in the target language. Through objective and subjective experiments conducted on a French-to-English translation task, our findings highlight the superior expressivity transfer achieved by our approach compared to current state-of-the-art systems.
• Abstract（参考訳）: 自己教師型学習技術の統合により,テキストから音声への翻訳システムが急速に進歩している。 しかし、既存の最先端のシステムは、表現力を正確に異なる言語に取り込み、転送する場合に不足している。 表現力は感情、ニュアンス、文化的微妙さの伝達において重要な役割を担い、様々な言語間のコミュニケーションを強化する。 そこで本研究では,音声単位レベルで動作し,多言語感情埋め込みを活用し,言語非依存な情報を取り込む新しい手法を提案する。 具体的には、これらの埋め込みを用いて、ターゲット言語における音声単位のピッチと持続時間を効果的に予測する方法を示す。 フランス語から英語への翻訳課題における客観的・主観的実験により,現状のシステムと比較して,本手法による表現力の伝達が優れていることを浮き彫りにした。

関連論文リスト

• Analyzing Speech Unit Selection for Textless Speech-to-Speech Translation [23.757896930482342]
  本研究は、下流タスクの研究を通して選択プロセスについて考察する。 再生性能のよいユニットは、翻訳効率を高めるユニットと必ずしも相関しない。
  論文  参考訳（メタデータ） (2024-07-08T08:53:26Z)
• Controlling Emotion in Text-to-Speech with Natural Language Prompts [29.013577423045255]
  本稿では,感情に富んだテキストの繰り返しから派生した埋め込みを前提としたシステムを提案する。 話者とプロンプト埋め込みの合同表現は、トランスフォーマーベースアーキテクチャ内のいくつかの点で統合される。 本手法は感情音声とテキストデータセットを融合して学習し,モデルの一般化能力を高めるため,各訓練におけるプロンプトを変化させる。
  論文  参考訳（メタデータ） (2024-06-10T15:58:42Z)
• TransVIP: Speech to Speech Translation System with Voice and Isochrony Preservation [97.54885207518946]
  カスケード方式で多様なデータセットを活用する新しいモデルフレームワークTransVIPを提案する。 本稿では、話者の音声特性と、翻訳過程における音源音声からの等時性を維持するために、2つの分離エンコーダを提案する。 フランス語と英語のペアに関する実験により、我々のモデルは、現在最先端の音声音声翻訳モデルよりも優れていることを示した。
  論文  参考訳（メタデータ） (2024-05-28T04:11:37Z)
• CLARA: Multilingual Contrastive Learning for Audio Representation Acquisition [5.520654376217889]
  CLARAはラベル付きデータへの依存を最小限に抑え、言語間の一般化を強化する。 我々のアプローチは、主観的評価問題を克服し、音声における感情的ニュアンスを十分に捉えている。 低リソース言語に適応し、多言語音声表現学習の進歩を示す。
  論文  参考訳（メタデータ） (2023-10-18T09:31:56Z)
• TRAVID: An End-to-End Video Translation Framework [1.6131714685439382]
  本稿では、音声言語を翻訳するだけでなく、翻訳された音声と話者の唇の動きを同期するエンドツーエンドのビデオ翻訳システムを提案する。 本システムは,インド諸言語における教育講義の翻訳に重点を置いており,低リソースのシステム設定においても有効であるように設計されている。
  論文  参考訳（メタデータ） (2023-09-20T14:13:05Z)
• Textless Unit-to-Unit training for Many-to-Many Multilingual Speech-to-Speech Translation [65.13824257448564]
  本稿では,多言語多言語音声音声合成のためのテキストレス学習手法を提案する。 音声単位を擬似テキストとして扱うことにより、音声の言語内容に焦点を合わせることができる。 提案するUTUTモデルは,音声音声合成(S2ST)だけでなく,多言語音声合成(T2S)やテキスト音声合成(T2ST)にも有効であることを示す。
  論文  参考訳（メタデータ） (2023-08-03T15:47:04Z)
• Learning Multilingual Expressive Speech Representation for Prosody Prediction without Parallel Data [0.0]
  本稿では,個別音声単位のレベルで音声から音声への感情翻訳を行う手法を提案する。 この埋め込みは、対象言語における音声単位のピッチと持続時間を予測するのに有効であることを示す。 我々は、英語とフランス語の音声信号に対する我々のアプローチを評価し、ベースライン法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-29T08:06:54Z)
• BabySLM: language-acquisition-friendly benchmark of self-supervised spoken language models [56.93604813379634]
  音声表現を学習するための自己指導技術は、人間のラベルを必要とせずに、音声への露出から言語能力を高めることが示されている。 語彙および構文レベルで音声言語モデルを探索するために,言語習得に親しみやすいベンチマークを提案する。 テキストと音声のギャップを埋めることと、クリーンな音声とその内話のギャップを埋めることである。
  論文  参考訳（メタデータ） (2023-06-02T12:54:38Z)
• Cross-lingual Transfer for Speech Processing using Acoustic Language Similarity [81.51206991542242]
  言語間の移動は、このデジタル分割を橋渡しする魅力的な方法を提供する。 現在の言語間アルゴリズムは、テキストベースのタスクや音声関連タスクを低リソース言語で実現している。 本稿では,数百の言語をまたがる音響的言語間移動対を効率的に同定する言語類似性手法を提案する。
  論文  参考訳（メタデータ） (2021-11-02T01:55:17Z)
• Bridging the Modality Gap for Speech-to-Text Translation [57.47099674461832]
  エンド・ツー・エンドの音声翻訳は、ある言語における音声を、エンド・ツー・エンドの方法で他の言語におけるテキストに変換することを目的としている。 既存のほとんどの手法では、音響表現と意味情報を同時に学習するために、単一のエンコーダを持つエンコーダ・デコーダ構造を用いる。 本稿では,音声とテキスト間のモダリティギャップを埋めることで,エンドツーエンドのモデル性能を向上させることを目的とした音声翻訳モデルのための音声テキスト適応手法を提案する。
  論文  参考訳（メタデータ） (2020-10-28T12:33:04Z)
• Self-Supervised Representations Improve End-to-End Speech Translation [57.641761472372814]
  自己教師付き事前学習機能により,翻訳性能が一貫的に向上することを示す。 言語間の変換は、チューニングの必要なく、あるいはほとんどチューニングすることなく、さまざまな言語に拡張することができる。
  論文  参考訳（メタデータ） (2020-06-22T10:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。