論文の概要: DIAL-S2ST: Learning Latency Control for Simultaneous Speech-to-Speech Translation

• arxiv url: http://arxiv.org/abs/2610.32214v1
• Date: Fri, 23 Oct 2026 06:10:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.405314
• Title: DIAL-S2ST: Learning Latency Control for Simultaneous Speech-to-Speech Translation
• Title（参考訳）: DIAL-S2ST:同時音声音声合成のための学習遅延制御
• Abstract要約: DIAL-S2STは、同時音声音声合成モデルにおいて、推論時間遅延制御を学習するための後学習手法である。 提案手法は,ルックアヘッド予測からの自己蒸留により,事前学習した翻訳機能を再利用する。 ヒビキによるフランス語と英語の翻訳実験では、この適応は10時間しか経っていないことが示されている。
• 参考スコア（独自算出の注目度）: 45.37505439567661
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose DIAL-S2ST, a post-training method for learning inference-time latency control in simultaneous speech-to-speech translation models. Our approach reuses pretrained translation capabilities through self-distillation from lookahead predictions, while limiting the influence of large text distillation losses to account for the imitation gap. This provides supervision for earlier emission without paired target data or reward computation. To make the learned timing adjustable at inference, we jointly train a single LoRA adapter across scales with matched lookahead guidance. Experiments on French-to-English translation with Hibiki demonstrate that only 10 hours of source speech enable this adaptation, providing flexible latency control with a favorable quality-latency trade-off.
• Abstract（参考訳）: DIAL-S2STは、同時音声音声合成モデルにおいて、推論時間遅延制御を学習するための後学習法である。 提案手法は, 模擬ギャップを考慮に入れた大規模なテキスト蒸留損失の影響を抑えつつ, ルックアヘッド予測からの自己蒸留による事前学習翻訳機能を再利用する。 これにより、ペア化されたターゲットデータや報酬計算を使わずに、早期の排出を監視できる。 推論時に学習タイミングを調整できるようにするため,一致したルックアヘッドガイダンスを用いて1つのLoRAアダプタを複数スケールで共同で訓練する。 Hibikiによるフランス語と英語の翻訳実験では、ソーススピーチの10時間だけがこの適応を可能にし、良好な品質とレイテンシのトレードオフを備えた柔軟なレイテンシ制御を提供する。

関連論文リスト

• StressTransfer: Stress-Aware Speech-to-Speech Translation with Emphasis Preservation [10.037278049189073]
  単語レベルの強調を保存したストレス対応音声音声合成システム(S2ST)を提案する。 制御可能なTSモデルを誘導するターゲット言語タグへのソース言語ストレスについて検討した。
  論文  参考訳（メタデータ） (2025-10-15T06:32:24Z)
• Dub-S2ST: Textless Speech-to-Speech Translation for Seamless Dubbing [15.134076873312809]
  言語間ダビングシステムは、継続時間、話者識別、発話速度といった重要な特徴を保ちながら、ある言語から別の言語に音声を翻訳する。 本稿では,時間順変換が可能な時間長制御付き離散拡散に基づく音声-単位間翻訳モデルを提案する。 次に,予測単位とソースの同一性に基づいて,条件付きフローマッチングモデルを用いて音声を合成する。
  論文  参考訳（メタデータ） (2025-05-27T08:43:28Z)
• SimulS2S-LLM: Unlocking Simultaneous Inference of Speech LLMs for Speech-to-Speech Translation [14.57248739077317]
  本稿では,LLMをオフラインで学習するSimulS2S-LLMを提案する。 SimulS2S-LLMは、個別の音声トークンを予測し、事前訓練されたボコーダを用いて出力音声を合成することにより、同時音声音声変換(Simul-S2ST)を実現する。
  論文  参考訳（メタデータ） (2025-04-22T01:05:32Z)
• High-Fidelity Simultaneous Speech-To-Speech Translation [75.69884829562591]
  本稿では,同時音声翻訳のためのデコーダのみのモデルであるHibikiを紹介する。 Hibikiは、マルチストリーム言語モデルを利用して、ソースとターゲットの音声を同期的に処理し、テキストとオーディオトークンを共同で生成し、音声からテキストへの変換と音声から音声への変換を行う。
  論文  参考訳（メタデータ） (2025-02-05T17:18:55Z)
• FASST: Fast LLM-based Simultaneous Speech Translation [9.65638081954595]
  同時音声翻訳(SST)は、ストリーミング音声入力を受信し、オンザフライでテキスト翻訳を生成する。 本研究では,高速な大規模言語モデルに基づく音声翻訳手法であるFASSTを提案する。 実験結果から,FASSTは最高の品質・レイテンシトレードオフを実現することがわかった。
  論文  参考訳（メタデータ） (2024-08-18T10:12:39Z)
• TranSpeech: Speech-to-Speech Translation With Bilateral Perturbation [61.564874831498145]
  TranSpeechは、両側摂動を伴う音声から音声への翻訳モデルである。 我々は,非自己回帰S2ST手法を構築し,繰り返しマスキングを行い,単位選択を予測する。 TranSpeechは推論遅延を大幅に改善し、自動回帰技術よりも最大21.4倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2022-05-25T06:34:14Z)
• Enhanced Direct Speech-to-Speech Translation Using Self-supervised Pre-training and Data Augmentation [76.13334392868208]
  直接音声音声変換(S2ST)モデルは、データ不足の問題に悩まされる。 本研究では,この課題に対処するために,ラベルのない音声データとデータ拡張を用いた自己教師付き事前学習について検討する。
  論文  参考訳（メタデータ） (2022-04-06T17:59:22Z)
• Learning Coupled Policies for Simultaneous Machine Translation using Imitation Learning [85.70547744787]
  本稿では,プログラマ-解釈ポリシーを併用した同時翻訳モデルを効率よく学習する手法を提案する。 6つの言語対の実験により,翻訳品質の点で,本手法は高いベースラインを達成できた。
  論文  参考訳（メタデータ） (2020-02-11T10:56:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。