論文の概要: All In Good Time: Causality-Aware Framework for LLM-Based Simultaneous Speech-to-Speech Translation

• arxiv url: http://arxiv.org/abs/2609.30416v1
• Date: Thu, 24 Sep 2026 18:13:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.097609
• Title: All In Good Time: Causality-Aware Framework for LLM-Based Simultaneous Speech-to-Speech Translation
• Title（参考訳）: All in Good Time: Causality-Aware Framework for LLM-based Simultaneous Speech-to-Speech Translation (英語)
• Abstract要約: 本稿では,高忠実で因果整合なセグメントを生成する新しいデータパイプラインを備えた因果認識型Simul-S2STフレームワークを提案する。 FAST-CAPは品質とレイテンシのトレードオフを継続的に改善し,+1.2 BLEUを達成し,固定ポリシに対する相対遅延を26%削減する。
• 参考スコア（独自算出の注目度）: 28.246601103956227
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have shown strong performance in low-resource offline translation; however, extending them to simultaneous speech-to-speech translation (Simul-S2ST) remains challenging due to the scarcity of causally aligned training data with high cross-lingual speaker fidelity. In addition, existing approaches rely on fixed translation policy or confidence heuristics, leading to suboptimal quality and higher latency. We propose a causality-aware Simul-S2ST framework with a novel data pipeline that generates high-fidelity, causally aligned segments with improved voice transfer. The framework introduces (i) a factorized S2ST architecture (FAST), (ii) a causality-aware adaptive policy (CAP), and (iii) causality-aware latency metric. Experiments on CVSS Spanish, German, and French show that FAST-CAP consistently improves the quality-latency trade-off, achieving up to +1.2 BLEU and a 26% relative latency reduction over a fixed policy. Despite using substantially less training data than existing systems, FAST-CAP achieves state-of-the-art results in speech translation quality and speaker fidelity while yielding up to a 38.8% relative reduction in latency.
• Abstract（参考訳）: 大規模言語モデル(LLM)は低リソースのオフライン翻訳において高い性能を示してきたが、言語間話者の忠実度が高い因果関係のトレーニングデータが不足しているため、同時音声音声翻訳(Simul-S2ST)に拡張することは依然として困難である。 さらに、既存のアプローチは、固定翻訳ポリシーや信頼性ヒューリスティックに依存しており、最適以下の品質と高いレイテンシをもたらす。 本稿では,高忠実で因果整合なセグメントを生成する新しいデータパイプラインを備えた因果認識型Simul-S2STフレームワークを提案する。 フレームワークが紹介 (i)因子化S2STアーキテクチャ(FAST) (二)因果対応政策(CAP)及び (iii)因果関係を意識した遅延指標。 CVSS スペイン、ドイツ、フランスの実験では、FAST-CAP は品質とレイテンシのトレードオフを継続的に改善し、+1.2 BLEU を達成し、固定されたポリシーよりも26%のレイテンシ削減を実現している。 既存のシステムに比べてトレーニングデータはかなり少ないが、FAST-CAPは音声翻訳の品質と話者の忠実さを達成し、レイテンシの38.8%にまで低下させる。

関連論文リスト

• Attention-Based Adaptive Policies for Simultaneous Speech-to-Text Translation [27.9093775816186]
  同時音声テキスト変換(Simul-S2TT)は、受信した音声フレームがシステムによって処理される間に部分翻訳を生成する。 我々は、最近のフレームアテンションポリシー(RFAP)とデュアルコンディションアテンションポリシー(DCAP)を提案する。 CVSS-Cコーパス上の3つの異なる言語翻訳ペアの結果、RFAPは最大4.0BLEUで他のポリシーを上回り、翻訳遅延を約1秒短縮できることを示した。
  論文  参考訳（メタデータ） (2026-09-25T05:34:46Z)
• Hierarchical Policy Optimization for Simultaneous Translation of Unbounded Speech [50.45710815530982]
  同時音声翻訳(SST)は、部分的な音声入力を受けながら翻訳を生成する。 近年の進歩により、大規模言語モデル(LLM)はSSTの品質を大幅に向上するが、高い計算オーバーヘッドのコストがかかる。 本稿では,不完全なSFTデータに基づいて列車後モデルを訓練する階層的ポリシー最適化(HPO)手法を提案する。 英語と中国語/ドイツ語/日本語の実験では、+7 COMETスコアと+1.25 MetricXスコアが1.5秒で改善された。
  論文  参考訳（メタデータ） (2026-04-22T19:43:51Z)
• Direct Simultaneous Translation Activation for Large Audio-Language Models [58.03785696031301]
  音声からテキストへの同時翻訳(Simul-S2TT)は,音声をテキストにリアルタイムで翻訳することを目的としている。 我々は、LALMs固有の能力を利用して同時データを得る戦略であるbf SimulSA(bf SimulSA)を導入する。
  論文  参考訳（メタデータ） (2025-09-19T07:12:18Z)
• Seed LiveInterpret 2.0: End-to-end Simultaneous Speech-to-speech Translation with Your Voice [52.747242157396315]
  同時解釈 (SI) は、翻訳業界における最強のフロンティアの1つである。 Seed-LiveInterpret 2.0は、音声のクローン機能を備えた高忠実で低レイテンシな音声音声合成を実現するエンドツーエンドのSIモデルである。
  論文  参考訳（メタデータ） (2025-07-23T14:07:41Z)
• Direct Speech to Speech Translation: A Review [0.0]
  音声音声翻訳(S2ST)は,グローバル通信ギャップを埋める変換技術である。 自動音声認識(ASR)、機械翻訳(MT)、テキスト・トゥ・スピーチ(TTS)コンポーネントに依存する従来のカスケードモデルは、エラーの伝搬、遅延の増加、韻律の喪失に悩まされている。 直接S2STモデルは話者識別を保持し、レイテンシを低減し、発声特性と韻律を保存することにより翻訳自然性を改善する。
  論文  参考訳（メタデータ） (2025-03-03T06:48:22Z)
• FASST: Fast LLM-based Simultaneous Speech Translation [9.65638081954595]
  同時音声翻訳(SST)は、ストリーミング音声入力を受信し、オンザフライでテキスト翻訳を生成する。 本研究では,高速な大規模言語モデルに基づく音声翻訳手法であるFASSTを提案する。 実験結果から,FASSTは最高の品質・レイテンシトレードオフを実現することがわかった。
  論文  参考訳（メタデータ） (2024-08-18T10:12:39Z)
• Data-Driven Adaptive Simultaneous Machine Translation [51.01779863078624]
  適応型SimulMTのための新しい,効率的なトレーニング手法を提案する。 本手法は,翻訳の質やレイテンシという点で,全ての強靭なベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-04-27T02:40:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。