Fugu-MT 論文翻訳(概要): Learning Timeline-Preserving Speech-to-Speech Translation

論文の概要: Learning Timeline-Preserving Speech-to-Speech Translation

arxiv url: http://arxiv.org/abs/2611.00690v1
Date: Sat, 31 Oct 2026 06:39:04 GMT
ステータス: 翻訳完了
システム内更新日: 2026-11-04 23:36:30.42641
Title: Learning Timeline-Preserving Speech-to-Speech Translation
Title（参考訳）: 時系列保存音声音声翻訳の学習
Abstract要約: 音声から音声への翻訳(S2ST)は、言葉や沈黙が生じたときに、その声や音がどう聞こえるかがますます保存されるが、必ずしも音声や沈黙が生じるわけではない。 S2STは、ソースの終端を保存し、絶対的な時間的時間的時間的時間的時間的時間的時間的時間的時間的時間的時間的時間的時間的時間的時間的時間的時間的時間的時間的時間的時間的時間的時間的時間的時間的時間的時間的時間的時間的時間的時間的時間的時間的時間的時間的時間的時間的時間的時間的時間的時間的時間的時間的時間的時間的時間的時間本稿では,この時間構造を直接学習するエンドツーエンド自動回帰システムであるTransDubberについて述べる。
参考スコア（独自算出の注目度）: 30.318347935883143
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Speech-to-speech translation (S2ST) increasingly preserves what is said and how it sounds, but not necessarily when speech and silence occur. For dubbing and other temporally grounded applications, matching total duration is not enough: speech and pauses must also occur at corresponding moments. We formulate timeline-preserving S2ST, which aims to preserve the source endpoint and salient internal pauses on a shared absolute timeline. We present TransDubber, an end-to-end autoregressive system that learns this temporal structure directly from aligned target waveforms, without inference-time frame-level timing control or post-hoc temporal correction. To provide this supervision, we construct 642K exactly duration-matched English-Chinese speech pairs by translating and synthesizing target speech on source-defined temporal scaffolds. Training combines a progressive supervised curriculum with verifier-guided reinforcement learning to balance translation quality and temporal alignment. On a 4,353-utterance test set spanning read and spontaneous speech, TransDubber increases the proportion of translations within 2% of the source duration from 25.6% to 61.5% and pause-alignment F1 from 0.118 to 0.550 compared with UniSS, while maintaining competitive translation quality. Our analysis shows that aligned supervision establishes timeline following, while reinforcement learning refines temporal precision and partially offsets the translation-quality cost of strict synchronization. Together, these results demonstrate the effectiveness of our data and training framework for timeline-preserving S2ST. Audio samples, code, datasets, and pretrained models are available at https://zhishengzheng.com/transdubber/.
Abstract（参考訳）: 音声から音声への翻訳(S2ST)は、言葉や沈黙が生じたときに、その声や音がどう聞こえるかがますます保存されるが、必ずしも音声や沈黙が生じるわけではない。ダビングやその他の時間的接地されたアプリケーションでは、全期間の一致が不十分である: 音声と一時停止も対応する瞬間に発生する必要がある。 S2ST を定式化し,ソースの終端を保存し,内部停止を絶対時間内に適切に行うことを目的としている。本稿では,この時間構造を,フレームレベルの時間制御やポストホック時間補正を使わずに,協調対象波形から直接学習する,エンドツーエンドの自己回帰システムTransDubberを提案する。この監視のために、ソース定義の時間的足場上でターゲット音声を翻訳・合成することにより、642Kの精度で英語と中国語の音声ペアを構築した。訓練は、翻訳品質と時間的アライメントのバランスをとるために、プログレッシブ・教師付きカリキュラムと検証者指導強化学習を組み合わせる。可読音声と自発音声にまたがる4,353発の音声テストセットでは、TransDubberはソースの2%の翻訳率を25.6%から61.5%に、停止調整F1は0.118から0.550に増加し、競合翻訳の品質を維持している。分析の結果、協調した監督がタイムラインを定め、強化学習は時間的精度を向上し、厳密な同期の翻訳品質コストを部分的に相殺することがわかった。これらの結果は,時系列保存S2STにおけるデータとトレーニングフレームワークの有効性を示すものである。オーディオサンプル、コード、データセット、事前訓練済みモデルはhttps://zhishengzheng.com/transdubber/.comで入手できる。

関連論文リスト

DuraS2ST: Chain-of-Thought and Reinforcement Learning for Duration-Aligned Speech-to-Speech Translation [45.84065100740775]
ビデオダビングのような時間に敏感なアプリケーションにおける音声音声変換(S2ST)は、厳密な持続時間一貫性を必要とする。 DuraS2STは1つの言語モデルで最初に明確な連鎖を生成できる、持続時間に整合した推論フレームワークである。 CVSS-Tの実験では、DuraS2STは翻訳品質と持続時間一貫性のバランスが強いことが示されている。
論文参考訳（メタデータ） (2026-09-27T16:42:53Z)
When Speech Meets Lips: Interpretable Audio-Visual Synchronization for L2 Pronunciation Assessment [12.51525565225002]
本稿では,音声-リップの時間的アライメントを明示的にモデル化する,解釈可能な音声-視覚同期フレームワークを提案する。 10名のインストラクター,20名の学生を対象に質問紙調査を行い,その有効性について検討した。
論文参考訳（メタデータ） (2026-09-06T19:11:33Z)
Simultaneous Speech-to-Speech Translation Without Aligned Data [52.467808474293605]
同時音声翻訳では、ソース音声を対象言語にリアルタイムで翻訳する必要がある。単語レベルのアライメントを完全に不要にするヒビキゼロを提案する。 Hibiki-Zeroは5つのX-英語タスクの翻訳精度、レイテンシ、音声転送、自然性において最先端のパフォーマンスを実現している。
論文参考訳（メタデータ） (2026-02-11T17:41:01Z)
RosettaSpeech: Zero-Shot Speech-to-Speech Translation from Monolingual Data [30.27234062544891]
本稿では,ゼロショット音声音声翻訳(S2ST)のための新規かつ簡易なフレームワークであるRosettaSpeechを紹介する。本手法はテキストベースのNMTモデルに固有の言語知識を活用するが,パラレル音声対の必要性を極端に排除する。我々のモデルは、トレーニング中にテキストを中間ブリッジとして使用するが、推論時に直接エンドツーエンドの音声合成モデルとして機能する。
論文参考訳（メタデータ） (2025-11-26T02:02:20Z)
Dub-S2ST: Textless Speech-to-Speech Translation for Seamless Dubbing [15.134076873312809]
言語間ダビングシステムは、継続時間、話者識別、発話速度といった重要な特徴を保ちながら、ある言語から別の言語に音声を翻訳する。本稿では,時間順変換が可能な時間長制御付き離散拡散に基づく音声-単位間翻訳モデルを提案する。次に,予測単位とソースの同一性に基づいて,条件付きフローマッチングモデルを用いて音声を合成する。
論文参考訳（メタデータ） (2025-05-27T08:43:28Z)
SyncSpeech: Low-Latency and Efficient Dual-Stream Text-to-Speech based on Temporal Masked Transformer [68.78023656892319]
本稿では、ストリーミング音声を同時に生成しながら、上流モデルからストリーミングテキスト入力を受信できる、双方向ストリームテキスト音声(TTS)モデルSyncSpeechを提案する。 SyncSpeechには次のような利点がある: 低レイテンシ、第2のテキストトークンの受信時にストリーミング音声を生成し始めるとき、高効率、そして、受信したテキストトークンに対応するすべての音声トークンを1ステップでデコードするとき、。
論文参考訳（メタデータ） (2025-02-16T12:14:17Z)
Isochrony-Controlled Speech-to-Text Translation: A study on translating from Sino-Tibetan to Indo-European Languages [33.5772006275197]
エンドツーエンド音声翻訳(ST)は、ソース言語音声を直接ターゲット言語テキストに変換する。多くのSTアプリケーションは、翻訳期間がソースオーディオの長さと一致することを保証するために、厳密な長さ制御を必要とする。本稿では,シーケンス・ツー・シーケンスSTモデルの時間的アライメント特性の改善について述べる。
論文参考訳（メタデータ） (2024-11-11T21:39:21Z)
VideoDubber: Machine Translation with Speech-Aware Length Control for Video Dubbing [73.56970726406274]
ビデオダビングは、映画やテレビ番組のオリジナルスピーチをターゲット言語の音声に変換することを目的としている。翻訳された音声が対応するビデオと適切に一致するようにするためには、翻訳された音声の長さ/順を元の音声にできるだけ近づけるべきである。本稿では,ビデオダビング作業に適した機械翻訳システムを提案する。
論文参考訳（メタデータ） (2022-11-30T12:09:40Z)
TranSpeech: Speech-to-Speech Translation With Bilateral Perturbation [61.564874831498145]
TranSpeechは、両側摂動を伴う音声から音声への翻訳モデルである。我々は,非自己回帰S2ST手法を構築し,繰り返しマスキングを行い,単位選択を予測する。 TranSpeechは推論遅延を大幅に改善し、自動回帰技術よりも最大21.4倍のスピードアップを実現している。
論文参考訳（メタデータ） (2022-05-25T06:34:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。