論文の概要: X-Translator: A Real-Time Multilingual Speaker-Aware Speech-to-Speech Translation System

• arxiv url: http://arxiv.org/abs/2607.17544v1
• Date: Mon, 20 Jul 2026 04:42:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.125962
• Title: X-Translator: A Real-Time Multilingual Speaker-Aware Speech-to-Speech Translation System
• Title（参考訳）: X-Translator: リアルタイム多言語話者対応音声音声合成システム
• Abstract要約: 本稿では,ストリーミングASR,機械翻訳,プロンプトコンディショニングTTSを組み合わせた低コストなモジュール型S2STシステムであるX-Translatorを提案する。 X-Translatorは、デプロイ指向のS2STの実践的なトレードオフを理解するためのオープンなプラットフォームを提供する。
• 参考スコア（独自算出の注目度）: 21.211562977914177
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Real-time speech-to-speech translation (S2ST) systems must balance translation quality, latency, speech naturalness, and speaker consistency. Publicly documented S2ST systems have advanced direct, multilingual, streaming, and expressive modeling, while proprietary products and APIs increasingly expose real-time translation capabilities to users. However, practical deployment remains challenging for open and reproducible systems, especially in long-form and multi-speaker conversations where partial ASR hypotheses are unstable, turn boundaries are ambiguous, and target speech must be generated with an appropriate speaker prompt. We present X-Translator, a low-cost modular cascaded S2ST system that combines streaming ASR, machine translation, and prompt-conditioned TTS through a session-level runtime controller. The system uses incremental segment commitment to convert unstable ASR streams into translation-ready units, and an online speaker prompt manager to bind source speech spans to speaker-specific voice prompts for synthesis. We evaluate translation, speech quality, and latency with OpenSTBench, compare against proprietary speech translation APIs as behavioral baselines, measure long-form voice stability, evaluate speaker preservation in multi-speaker conversations, and assess multilingual translation quality. X-Translator provides an open platform for understanding the practical trade-offs of deployment-oriented S2ST. Code and demo are available at https://github.com/zhaoyx239/X-Translator.
• Abstract（参考訳）: リアルタイム音声音声変換(S2ST)システムは、翻訳品質、レイテンシ、音声の自然性、話者の一貫性のバランスをとる必要がある。 公開文書化されたS2STシステムは、高度なダイレクト、マルチ言語、ストリーミング、表現力のあるモデリングを備えており、プロプライエタリな製品やAPIは、ユーザにリアルタイム翻訳機能を公開している。 しかし、特に、部分的なASR仮説が不安定であり、ターン境界が曖昧であり、ターゲット音声を適切な話者プロンプトで生成する必要があるという長文・多話者会話において、オープンで再現可能なシステムにおいて、実践的な展開は依然として困難である。 本稿では,ストリーミングASR,機械翻訳,即時条件付きTSをセッションレベルランタイムコントローラで組み合わせた,低コストなモジュール型S2STシステムであるX-Translatorを提案する。 このシステムは、不安定なASRストリームを変換可能な単位に変換するためにインクリメンタルセグメントのコミットメントを使用し、オンライン話者プロンプトマネージャは、ソース音声を話者固有の音声プロンプトに結合して合成する。 我々は,OpenSTBenchを用いて翻訳,音声品質,レイテンシを評価し,プロプライエタリな音声翻訳APIを行動ベースラインとして比較し,長文音声の安定性を測定し,複数話者会話における話者の保存を評価し,多言語翻訳品質を評価する。 X-Translatorは、デプロイ指向のS2STの実践的なトレードオフを理解するためのオープンなプラットフォームを提供する。 コードとデモはhttps://github.com/zhaoyx239/X-Translator.comで公開されている。

関連論文リスト

• OpenSTBench: Beyond Semantic Evaluation for Speech Translation [21.510335535772146]
  音声翻訳システムは、音声からテキストへの翻訳(S2TT)、音声から音声への翻訳(S2ST)、オフライン翻訳、ストリーミング生成など多岐にわたる。 既存の評価実践は、翻訳品質、音声品質、時間的品質などの重要な側面を評価するが、これらの側面は、しばしば別々のプロトコルで評価される。 異質な音声翻訳出力を共有評価形式に整理する統合多次元評価フレームワークOpenSTBenchを提案する。
  論文  参考訳（メタデータ） (2026-05-29T03:31:04Z)
• Direct Speech to Speech Translation: A Review [0.0]
  音声音声翻訳(S2ST)は,グローバル通信ギャップを埋める変換技術である。 自動音声認識(ASR)、機械翻訳(MT)、テキスト・トゥ・スピーチ(TTS)コンポーネントに依存する従来のカスケードモデルは、エラーの伝搬、遅延の増加、韻律の喪失に悩まされている。 直接S2STモデルは話者識別を保持し、レイテンシを低減し、発声特性と韻律を保存することにより翻訳自然性を改善する。
  論文  参考訳（メタデータ） (2025-03-03T06:48:22Z)
• StreamSpeech: Simultaneous Speech-to-Speech Translation with Multi-task Learning [48.84039953531356]
  StreamSpeechは、翻訳と同時ポリシーを共同で学習するSimul-S2STモデルである。 CVSSベンチマークの実験では、StreamSpeechはオフラインS2STタスクとSimul-S2STタスクの両方で最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-06-05T08:24:22Z)
• TransVIP: Speech to Speech Translation System with Voice and Isochrony Preservation [97.54885207518946]
  カスケード方式で多様なデータセットを活用する新しいモデルフレームワークTransVIPを提案する。 本稿では、話者の音声特性と、翻訳過程における音源音声からの等時性を維持するために、2つの分離エンコーダを提案する。 フランス語と英語のペアに関する実験により、我々のモデルは、現在最先端の音声音声翻訳モデルよりも優れていることを示した。
  論文  参考訳（メタデータ） (2024-05-28T04:11:37Z)
• DiariST: Streaming Speech Translation with Speaker Diarization [53.595990270899414]
  本稿では,最初のストリーミングSTとSDソリューションであるDiariSTを提案する。 ニューラルトランスデューサベースのストリーミングSTシステム上に構築され、トークンレベルのシリアライズされた出力トレーニングとtベクタを統合している。 重なり合う音声のストリーミング推論を行いながら,Whisperに基づくオフラインシステムと比較して強いSTとSD能力を実現する。
  論文  参考訳（メタデータ） (2023-09-14T19:33:27Z)
• Speech-to-Speech Translation with Discrete-Unit-Based Style Transfer [53.72998363956454]
  個別の自己教師付き表現を用いた音声音声合成(S2ST)は顕著な精度を達成している。 高品質な話者並列データの不足は、翻訳中にスタイル転送を学習する上での課題となる。 我々は、個別の自己教師付き音声表現と音色単位に基づいて、スタイル変換機能を備えたS2STパイプラインを設計する。
  論文  参考訳（メタデータ） (2023-09-14T09:52:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。