論文の概要: Language translation, and change of accent for speech-to-speech task using diffusion model

• arxiv url: http://arxiv.org/abs/2505.04639v1
• Date: Sun, 04 May 2025 23:23:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-09 21:43:49.594639
• Title: Language translation, and change of accent for speech-to-speech task using diffusion model
• Title（参考訳）: 拡散モデルを用いた音声合成作業における言語翻訳とアクセントの変化
• Authors: Abhishek Mishra, Ritesh Sur Chowdhury, Vartul Bahuguna, Isha Pandey, Ganesh Ramakrishnan,
• Abstract要約: 音声音声変換(S2ST)は、ある言語における音声入力を別の言語における音声出力に変換することを目的としている。 本稿では,アクセントの同時翻訳とアクセント変化のための統一的なアプローチを提案する。
• 参考スコア（独自算出の注目度）: 16.436756456803774
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Speech-to-speech translation (S2ST) aims to convert spoken input in one language to spoken output in another, typically focusing on either language translation or accent adaptation. However, effective cross-cultural communication requires handling both aspects simultaneously - translating content while adapting the speaker's accent to match the target language context. In this work, we propose a unified approach for simultaneous speech translation and change of accent, a task that remains underexplored in current literature. Our method reformulates the problem as a conditional generation task, where target speech is generated based on phonemes and guided by target speech features. Leveraging the power of diffusion models, known for high-fidelity generative capabilities, we adapt text-to-image diffusion strategies by conditioning on source speech transcriptions and generating Mel spectrograms representing the target speech with desired linguistic and accentual attributes. This integrated framework enables joint optimization of translation and accent adaptation, offering a more parameter-efficient and effective model compared to traditional pipelines.
• Abstract（参考訳）: 音声音声変換(S2ST)は、ある言語における音声入力を別の言語における音声出力に変換することを目的としており、典型的には言語翻訳またはアクセント適応に重点を置いている。 しかし、効果的な異文化間コミュニケーションには、両方の側面を同時に扱う必要がある。 そこで本研究では,現代文献において未解明の課題であるアクセントの同時翻訳と変化に対する統一的なアプローチを提案する。 本手法は,音素に基づいてターゲット音声が生成され,ターゲット音声特徴によって誘導される条件生成タスクとして問題を再構成する。 高忠実度生成能力で知られた拡散モデルのパワーを活用し、音源音声の書き起こしを条件付け、所望の言語特性とアクセント特性を持つターゲット音声を表すメルスペクトルを生成することで、テキスト・画像拡散戦略を適用する。 この統合フレームワークは翻訳とアクセント適応を共同で最適化し、従来のパイプラインに比べてパラメータ効率が高く効果的なモデルを提供する。

関連論文リスト

• SeamlessExpressiveLM: Speech Language Model for Expressive Speech-to-Speech Translation with Chain-of-Thought [12.54786997634534]
  本研究は,S2STのための単一言語モデルであるSeamlessExpressiveLMを提案する。 我々は、複雑なソースからターゲットへの音声マッピングを、チェーン・オブ・シークレット・プロンプトで中間生成ステップに分解する。 モデルはまずターゲットのセマンティックコンテンツを翻訳し、次に話者スタイルをマルチストリーム音響ユニットに転送する。
  論文  参考訳（メタデータ） (2024-05-30T18:28:31Z)
• TransVIP: Speech to Speech Translation System with Voice and Isochrony Preservation [97.54885207518946]
  カスケード方式で多様なデータセットを活用する新しいモデルフレームワークTransVIPを提案する。 本稿では、話者の音声特性と、翻訳過程における音源音声からの等時性を維持するために、2つの分離エンコーダを提案する。 フランス語と英語のペアに関する実験により、我々のモデルは、現在最先端の音声音声翻訳モデルよりも優れていることを示した。
  論文  参考訳（メタデータ） (2024-05-28T04:11:37Z)
• Textless Unit-to-Unit training for Many-to-Many Multilingual Speech-to-Speech Translation [65.13824257448564]
  本稿では,多言語多言語音声音声合成のためのテキストレス学習手法を提案する。 音声単位を擬似テキストとして扱うことにより、音声の言語内容に焦点を合わせることができる。 提案するUTUTモデルは,音声音声合成(S2ST)だけでなく,多言語音声合成(T2S)やテキスト音声合成(T2ST)にも有効であることを示す。
  論文  参考訳（メタデータ） (2023-08-03T15:47:04Z)
• ComSL: A Composite Speech-Language Model for End-to-End Speech-to-Text Translation [79.66359274050885]
  公的な事前訓練された音声のみのモデルと言語のみのモデルからなる複合アーキテクチャ上に構築された音声言語モデルであるComSLを提案する。 提案手法は,エンドツーエンドの音声-テキスト翻訳タスクにおいて有効であることを示す。
  論文  参考訳（メタデータ） (2023-05-24T07:42:15Z)
• Direct Speech-to-speech Translation without Textual Annotation using Bottleneck Features [13.44542301438426]
  テキストの注釈やコンテンツ情報なしに訓練できる音声音声合成モデルを提案する。 Mandarin-Cantonese音声翻訳実験は,提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2022-12-12T10:03:10Z)
• Cross-lingual Text-To-Speech with Flow-based Voice Conversion for Improved Pronunciation [11.336431583289382]
  本稿では,エンドツーエンドの言語間テキスト合成手法を提案する。 本来の話者の言語によらず、対象言語の発音を維持することを目的としている。
  論文  参考訳（メタデータ） (2022-10-31T12:44:53Z)
• Bridging the Modality Gap for Speech-to-Text Translation [57.47099674461832]
  エンド・ツー・エンドの音声翻訳は、ある言語における音声を、エンド・ツー・エンドの方法で他の言語におけるテキストに変換することを目的としている。 既存のほとんどの手法では、音響表現と意味情報を同時に学習するために、単一のエンコーダを持つエンコーダ・デコーダ構造を用いる。 本稿では,音声とテキスト間のモダリティギャップを埋めることで,エンドツーエンドのモデル性能を向上させることを目的とした音声翻訳モデルのための音声テキスト適応手法を提案する。
  論文  参考訳（メタデータ） (2020-10-28T12:33:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。