論文の概要: Holistic Parallel Supervision for Expressive Speech to Speech Translation

• arxiv url: http://arxiv.org/abs/2611.06010v1
• Date: Wed, 04 Nov 2026 06:02:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:57.994289
• Title: Holistic Parallel Supervision for Expressive Speech to Speech Translation
• Title（参考訳）: 表現型音声から音声への変換のためのホロスティック・パラレル・スーパービジョン
• Abstract要約: 本稿では,プロのダビングを組み合わせたトレーニングデータ構築戦略を提案する。 本研究は,既存の表現型S2STシステムとDirectS2STを用いて,エンド・ツー・エンドの手法であるDirectS2STの評価を行う。
• 参考スコア（独自算出の注目度）: 28.859610729887496
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Expressiveness is central to speech-to-speech translation (S2ST), yet existing datasets rarely align source and target speech jointly in content, prosody, timing, and speaker identity. Consequently, current systems often rely on indirect conditioning or transfer mechanisms. To obtain this supervision, we introduce a training-data construction strategy that combines professional dubbing, which provides human-performed correspondence in content, prosody, and timing, with multilingual voice conversion to reduce speaker mismatch. We evaluate this supervision using existing expressive S2ST systems and DirectS2ST, an end-to-end method developed in this work that predicts the complete target-speech representation directly from source speech. Experiments on English-German and English-Spanish show that holistic parallel supervision improves expressive realization across all evaluated systems. DirectS2ST exhibits the largest gains in content, prosody, timing, speaker similarity, and human-rated expressiveness. To our knowledge, this work provides the first systematic investigation of holistic parallel supervision for expressive S2ST.
• Abstract（参考訳）: 表現性は音声から音声への翻訳(S2ST)の中心であるが、既存のデータセットは、内容、韻律、タイミング、話者のアイデンティティにおいて、ソースとターゲットの音声を協調的に調整することは滅多にない。 そのため、現在のシステムは間接的な条件付けや転送機構に依存していることが多い。 そこで,本研究では,人間による内容・韻律・タイミングの対応と多言語音声変換を併用し,話者のミスマッチを低減する訓練データ構築手法を提案する。 本研究では,既存の表現型S2STシステムとDirectS2STを用いて,音源音声から直接ターゲット音声の完全な表現を予測するエンド・ツー・エンド・エンドの手法について検討する。 英語・ドイツ語・英語・スペイン語の実験では、総合的な並列監視が全ての評価システムにおける表現的実現を改善することが示されている。 DirectS2STは、内容、韻律、タイミング、話者類似性、人格表現性において最大の向上を示している。 我々の知る限り、本研究は、S2STの総合的並列監視に関する最初の体系的な研究を提供する。

関連論文リスト

• UniSS: Unified Expressive Speech-to-Speech Translation with Your Voice [33.43869151508715]
  表現型S2STのための新しい単一ステージフレームワークUniSSを紹介する。 提案手法は、注意深く設計された音声意味とスタイルモデリングを特徴とする。 我々は44.8k時間のデータからなる大規模で高品質な表現型S2STデータセットUniSTをリリースする。
  論文  参考訳（メタデータ） (2025-09-25T13:30:46Z)
• Direct Speech to Speech Translation: A Review [0.0]
  音声音声翻訳(S2ST)は,グローバル通信ギャップを埋める変換技術である。 自動音声認識(ASR)、機械翻訳(MT)、テキスト・トゥ・スピーチ(TTS)コンポーネントに依存する従来のカスケードモデルは、エラーの伝搬、遅延の増加、韻律の喪失に悩まされている。 直接S2STモデルは話者識別を保持し、レイテンシを低減し、発声特性と韻律を保存することにより翻訳自然性を改善する。
  論文  参考訳（メタデータ） (2025-03-03T06:48:22Z)
• TransVIP: Speech to Speech Translation System with Voice and Isochrony Preservation [97.54885207518946]
  カスケード方式で多様なデータセットを活用する新しいモデルフレームワークTransVIPを提案する。 本稿では、話者の音声特性と、翻訳過程における音源音声からの等時性を維持するために、2つの分離エンコーダを提案する。 フランス語と英語のペアに関する実験により、我々のモデルは、現在最先端の音声音声翻訳モデルよりも優れていることを示した。
  論文  参考訳（メタデータ） (2024-05-28T04:11:37Z)
• A Holistic Cascade System, benchmark, and Human Evaluation Protocol for Expressive Speech-to-Speech Translation [45.47457657122893]
  表現型音声音声合成(S2ST)は,翻訳精度を維持しつつ,音源音声の韻律的属性を対象音声に伝達することを目的としている。 既存のS2STの研究は限定的であり、通常は一度に1つの表現性に焦点をあてる。 そこで本稿では,S2ST表現のための包括的カスケードシステムを提案する。
  論文  参考訳（メタデータ） (2023-01-25T14:27:00Z)
• Textless Direct Speech-to-Speech Translation with Discrete Speech Representation [27.182170555234226]
  本研究では,テキストの監督なしにエンドツーエンドの直接S2STモデルをトレーニングするための新しいモデルであるTextless Translatotronを提案する。 教師なし音声データで事前訓練された音声エンコーダを両方のモデルに使用すると、提案モデルはトランスラトトロン2とほぼ同等の翻訳品質が得られる。
  論文  参考訳（メタデータ） (2022-10-31T19:48:38Z)
• Joint Pre-Training with Speech and Bilingual Text for Direct Speech to Speech Translation [94.80029087828888]
  直接音声音声翻訳 (S2ST) は, カスケードされたS2STと比較して, 優れた研究課題である。 直接S2STは、ソース言語の音声からターゲット言語の音声へのコーパスが非常に稀であるため、データ不足の問題に悩まされる。 本稿では,音声から音声への直接翻訳タスクのための音声とバイリンガルのテキストデータとを事前学習したSpeech2Sモデルを提案する。
  論文  参考訳（メタデータ） (2022-10-31T02:55:51Z)
• Simple and Effective Unsupervised Speech Translation [68.25022245914363]
  ラベル付きデータなしで音声翻訳システムを構築するための,シンプルで効果的な手法について検討する。 事前学習された音声モデルに対する教師なし領域適応手法を提案する。 実験により、教師なし音声からテキストへの翻訳は、それまでの教師なし状態よりも優れていたことが示されている。
  論文  参考訳（メタデータ） (2022-10-18T22:26:13Z)
• TranSpeech: Speech-to-Speech Translation With Bilateral Perturbation [61.564874831498145]
  TranSpeechは、両側摂動を伴う音声から音声への翻訳モデルである。 我々は,非自己回帰S2ST手法を構築し,繰り返しマスキングを行い,単位選択を予測する。 TranSpeechは推論遅延を大幅に改善し、自動回帰技術よりも最大21.4倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2022-05-25T06:34:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。