論文の概要: DuraS2ST: Chain-of-Thought and Reinforcement Learning for Duration-Aligned Speech-to-Speech Translation

• arxiv url: http://arxiv.org/abs/2609.33742v1
• Date: Sun, 27 Sep 2026 16:42:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 17:11:20.556575
• Title: DuraS2ST: Chain-of-Thought and Reinforcement Learning for Duration-Aligned Speech-to-Speech Translation
• Title（参考訳）: DuraS2ST: 音声音声翻訳におけるチェーン・オブ・ソートと強化学習
• Abstract要約: ビデオダビングのような時間に敏感なアプリケーションにおける音声音声変換(S2ST)は、厳密な持続時間一貫性を必要とする。 DuraS2STは1つの言語モデルで最初に明確な連鎖を生成できる、持続時間に整合した推論フレームワークである。 CVSS-Tの実験では、DuraS2STは翻訳品質と持続時間一貫性のバランスが強いことが示されている。
• 参考スコア（独自算出の注目度）: 45.84065100740775
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Speech-to-speech translation (S2ST) in time-sensitive applications such as video dubbing requires not only semantic fidelity and speaker preservation, but also strict duration consistency to avoid audio-visual misalignment. However, existing S2ST systems largely generate target speech without explicit temporal planning, making duration control an unresolved challenge. We introduce DuraS2ST, a duration-aligned reasoning framework that enables a single speech language model to first generate an explicit chain-of-thought (CoT) for planning target wording and phonetic length, and then synthesize the corresponding speech tokens. To support this paradigm, we construct DuraSet-440K, a high-quality duration-aligned CoT corpus for supervised initialization. We further optimize the model with multi-modal multi-dimensional reinforcement learning, using a Duration Margin Reward to balance translation quality and duration consistency, and Modality-Aware Reward Attribution to assign rewards to appropriate token spans. Experiments on CVSS-T show that DuraS2ST achieves a strong balance between translation quality and duration consistency, outperforming competitive open-source and commercial baselines. Project page: https://github.com/Mia11939/DuraS2ST.
• Abstract（参考訳）: ビデオダビングのような時間に敏感なアプリケーションにおける音声から音声への翻訳(S2ST)は、意味的忠実度や話者の保存だけでなく、音声の視覚的不一致を避けるための厳密な持続性も必要である。 しかし,既存のS2STシステムは時間的計画を立てることなくターゲット音声を生成するため,時間的制御は未解決の課題となる。 DuraS2STは、単一の音声言語モデルで、まずターゲット語と音声長を計画するための明示的連鎖(CoT)を生成し、それに対応する音声トークンを合成する、持続的整合推論フレームワークである。 このパラダイムをサポートするために、教師付き初期化のための高品質な持続時間整合CoTコーパスであるDuraSet-440Kを構築した。 さらに、Duration Margin Rewardを用いて、翻訳品質と持続時間一貫性のバランスをとるとともに、Modality-Aware Reward Attributionを用いて、適切なトークンスパンに報酬を割り当てるマルチモーダルな多次元強化学習を用いてモデルをさらに最適化する。 CVSS-Tの実験では、DuraS2STは翻訳品質と継続時間の一貫性のバランスを保ち、競合するオープンソースと商用のベースラインを上回っている。 プロジェクトページ:https://github.com/Mia11939/DuraS2ST。

関連論文リスト

• Leveraging Audio-LLMs to Filter Speech-to-Speech Training Data [5.0319300412852765]
  本研究では,音声から直接ペア音声の保存/ドロップ決定を行うために,音声モデルの訓練方法について検討する。 軽量なランク付け器は、ノイズの多い音声ペアから保持/ドロップ擬似ラベルを生成し、その後、音声大言語モデルを訓練して、保持/ドロップを予測する。 CVSS-CとSpeechMatrixの実験では、非フィルタリングトレーニングよりも一貫した改善が見られ、エンドツーエンドのS2STでは最大1.4のASR-BLEUが得られる。
  論文  参考訳（メタデータ） (2026-06-11T15:55:23Z)
• TagSpeech: End-to-End Multi-Speaker ASR and Diarization with Fine-Grained Temporal Grounding [15.908533215017059]
  本稿では,テンポラルアンカーグラウンドを用いた統合フレームワークTagSpeechについて述べる。 本フレームワークは,(1)SOT(Serialized Output Training)を用いて微調整されたセマンティックストリームと話者ストリームを分離してターンテイクダイナミクスを学習し,(2)セマンティック理解と話者追跡の同期信号として機能するインターリーブ時間アンカー機構である。
  論文  参考訳（メタデータ） (2026-01-11T12:40:07Z)
• Towards Efficient Speech-Text Jointly Decoding within One Speech Language Model [76.06585781346601]
  音声言語モデル(Speech LMs)は、単一のモデル内でエンドツーエンドの音声テキストモデリングを可能にする。 音声テキストの共同復号パラダイムの選択は、性能、効率、アライメント品質において重要な役割を担っている。
  論文  参考訳（メタデータ） (2025-06-04T23:53:49Z)
• Dub-S2ST: Textless Speech-to-Speech Translation for Seamless Dubbing [15.134076873312809]
  言語間ダビングシステムは、継続時間、話者識別、発話速度といった重要な特徴を保ちながら、ある言語から別の言語に音声を翻訳する。 本稿では,時間順変換が可能な時間長制御付き離散拡散に基づく音声-単位間翻訳モデルを提案する。 次に,予測単位とソースの同一性に基づいて,条件付きフローマッチングモデルを用いて音声を合成する。
  論文  参考訳（メタデータ） (2025-05-27T08:43:28Z)
• SyncSpeech: Low-Latency and Efficient Dual-Stream Text-to-Speech based on Temporal Masked Transformer [68.78023656892319]
  本稿では、ストリーミング音声を同時に生成しながら、上流モデルからストリーミングテキスト入力を受信できる、双方向ストリームテキスト音声(TTS)モデルSyncSpeechを提案する。 SyncSpeechには次のような利点がある: 低レイテンシ、第2のテキストトークンの受信時にストリーミング音声を生成し始めるとき、高効率、そして、受信したテキストトークンに対応するすべての音声トークンを1ステップでデコードするとき、。
  論文  参考訳（メタデータ） (2025-02-16T12:14:17Z)
• A Non-autoregressive Generation Framework for End-to-End Simultaneous Speech-to-Speech Translation [48.84039953531355]
  同時音声翻訳のための新しい非自己回帰生成フレームワーク(NAST-S2X)を提案する。 NAST-S2Xは、音声テキストと音声音声タスクを統合エンドツーエンドフレームワークに統合する。 3秒未満の遅延で高品質な同時解釈を実現し、オフライン生成において28倍のデコードスピードアップを提供する。
  論文  参考訳（メタデータ） (2024-06-11T04:25:48Z)
• TranSpeech: Speech-to-Speech Translation With Bilateral Perturbation [61.564874831498145]
  TranSpeechは、両側摂動を伴う音声から音声への翻訳モデルである。 我々は,非自己回帰S2ST手法を構築し,繰り返しマスキングを行い,単位選択を予測する。 TranSpeechは推論遅延を大幅に改善し、自動回帰技術よりも最大21.4倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2022-05-25T06:34:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。