論文の概要: SimPOTrans: Self-Adaptation for Offline-to-Simultaneous Speech Translation via Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2610.35042v1
- Date: Mon, 26 Oct 2026 08:54:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.800623
- Title: SimPOTrans: Self-Adaptation for Offline-to-Simultaneous Speech Translation via Reinforcement Learning
- Title(参考訳): SimPOTrans:強化学習によるオフラインから同時音声翻訳の自己適応
- Abstract要約: 同時音声翻訳(SimulST)は,翻訳品質を保ちながら低レイテンシで継続中の音声を翻訳することを目的としている。
オフライン音声翻訳モデルのSimulSTへの自己適応を可能にする強化学習フレームワークであるSimPOTransを導入する。
- 参考スコア(独自算出の注目度): 18.064708420260228
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Simultaneous speech translation (SimulST) aims to translate ongoing speech with low latency while preserving translation quality. Recent studies have adopted large language models (LLMs) for SimulST and formulated it as a multi-turn dialogue task for efficient generation, achieving state-of-the-art performance. However, existing dialogue-style SimulST approaches typically rely on specialized training schemes to acquire simultaneous translation behavior, either using synthesized read/write trajectories, which may provide suboptimal training signals, or jointly optimizing translation quality and latency, whose competing objectives may cause optimization instability. In this paper, we introduce SimPOTrans, a reinforcement learning (RL) framework that enables offline speech translation models to self-adapt to dialogue-style SimulST. Through a simple two-stage RL post-training pipeline, SimPOTrans rewards an offline model for exhibiting translation behaviors beneficial to simultaneous scenarios when given partial speech inputs, thereby enabling offline-to-simultaneous self-adaptation without synthesized read/write trajectories or explicit latency optimization. At inference time, SimPOTrans requires no external decision policy and enables flexible quality--latency control by simply adjusting the chunk size of speech input. Experiments on the ACL 60/60 and MCIF benchmarks across three language directions (En$\rightarrow$De, En$\rightarrow$Zh, and En$\rightarrow$Ja) demonstrate that SimPOTrans outperforms several strong baselines, achieving a superior quality--latency trade-off.
- Abstract(参考訳): 同時音声翻訳(SimulST)は,翻訳品質を保ちながら低レイテンシで継続中の音声を翻訳することを目的としている。
最近の研究は、SimulSTに大規模言語モデル(LLM)を採用し、効率的な生成のための多ターン対話タスクとして定式化し、最先端の性能を実現している。
しかし、既存の対話スタイルのSimulSTアプローチは、合成された読み書きトラジェクトリを使用して、最適なトレーニング信号を提供するか、あるいは、競合する目的が最適化不安定を引き起こす可能性のある翻訳品質とレイテンシを共同最適化する、特別なトレーニングスキームに頼っているのが一般的である。
本稿では,対話スタイルのSimulSTに適応可能なオフライン音声翻訳モデルを実現するための強化学習(RL)フレームワークであるSimPOTransを紹介する。
単純な2段階のRLポストトレーニングパイプラインを通じて、SimPOTransは、部分的な音声入力が与えられたときの同時シナリオに有益な翻訳動作を示すオフラインモデルに報酬を与える。
推論時に、SimPOTransは外部決定ポリシーを必要とせず、音声入力のチャンクサイズを単純に調整することで柔軟な品質レイテンシ制御を可能にする。ACL 60/60とMCIFベンチマークは、3つの言語方向(En$\rightarrow$De、En$\rightarrow$Zh、En$\rightarrow$Ja)での実験を行い、SimPOTransがいくつかの強いベースラインを上回り、優れた品質レイテンシトレードオフを達成することを示した。
関連論文リスト
- Hierarchical Policy Optimization for Simultaneous Translation of Unbounded Speech [50.45710815530982]
同時音声翻訳(SST)は、部分的な音声入力を受けながら翻訳を生成する。
近年の進歩により、大規模言語モデル(LLM)はSSTの品質を大幅に向上するが、高い計算オーバーヘッドのコストがかかる。
本稿では,不完全なSFTデータに基づいて列車後モデルを訓練する階層的ポリシー最適化(HPO)手法を提案する。
英語と中国語/ドイツ語/日本語の実験では、+7 COMETスコアと+1.25 MetricXスコアが1.5秒で改善された。
論文 参考訳(メタデータ) (2026-04-22T19:43:51Z) - Direct Simultaneous Translation Activation for Large Audio-Language Models [58.03785696031301]
音声からテキストへの同時翻訳(Simul-S2TT)は,音声をテキストにリアルタイムで翻訳することを目的としている。
我々は、LALMs固有の能力を利用して同時データを得る戦略であるbf SimulSA(bf SimulSA)を導入する。
論文 参考訳(メタデータ) (2025-09-19T07:12:18Z) - SimulMEGA: MoE Routers are Advanced Policy Makers for Simultaneous Speech Translation [41.64909735021069]
SimulSTは、音声認識と機械翻訳を厳密なレイテンシ制約の下で共同で最適化することで、リアルタイムの言語間通信を可能にする。
我々は、プレフィックスベースのトレーニングとMixture-of-Expertsリファラを組み合わせた教師なしのポリシー学習フレームワークであるSimulMEGAを紹介し、効果的な読み書き判断を学習する。
論文 参考訳(メタデータ) (2025-09-01T07:34:50Z) - Efficient and Adaptive Simultaneous Speech Translation with Fully Unidirectional Architecture [14.056534007451763]
同時音声翻訳(SimulST)は、部分的な音声入力を処理しながら段階的に翻訳を生成する。
既存のLLMベースのSimulSTアプローチは、双方向音声エンコーダの繰り返し符号化による計算オーバーヘッドが大きい。
完全一方向アーキテクチャを用いた効率・適応同時音声翻訳(EASiST)を提案する。
論文 参考訳(メタデータ) (2025-04-16T06:46:15Z) - LLMs Can Achieve High-quality Simultaneous Machine Translation as Efficiently as Offline [16.124385656402744]
大言語モデル(LLM)は、単純なプロンプトで「[src lang]から[tgt lang]に次の文を変換する」という単純なプロンプトでも、オフライン機械翻訳において優れた性能を発揮する。
我々は、同時機械翻訳(SiMT)のための教師付き微調整データの構築を含む新しいパラダイムを提案する。
提案手法は,様々なSiMTベンチマークにおける最先端性能を実現し,オフライン翻訳の本来の能力を維持する。
論文 参考訳(メタデータ) (2025-04-13T13:45:53Z) - Token-Level Serialized Output Training for Joint Streaming ASR and ST
Leveraging Textual Alignments [49.38965743465124]
本稿では,単一デコーダを用いて自動音声認識(ASR)と音声翻訳(ST)出力を共同生成するストリーミングトランスデューサを提案する。
単言語および多言語設定の実験は、我々のアプローチが最高の品質とレイテンシのバランスを達成することを示す。
論文 参考訳(メタデータ) (2023-07-07T02:26:18Z) - Data-Driven Adaptive Simultaneous Machine Translation [51.01779863078624]
適応型SimulMTのための新しい,効率的なトレーニング手法を提案する。
本手法は,翻訳の質やレイテンシという点で,全ての強靭なベースラインを上回ります。
論文 参考訳(メタデータ) (2022-04-27T02:40:21Z) - Anticipation-free Training for Simultaneous Translation [70.85761141178597]
同時翻訳(SimulMT)は、原文が完全に利用可能になる前に翻訳を開始することで翻訳プロセスを高速化する。
既存の手法は遅延を増大させるか、SimulMTモデルに適応的な読み書きポリシーを導入し、局所的なリオーダーを処理し、翻訳品質を改善する。
本稿では,翻訳過程をモノトニック翻訳ステップと並べ替えステップに分解する新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2022-01-30T16:29:37Z) - SimulEval: An Evaluation Toolkit for Simultaneous Translation [59.02724214432792]
テキストと音声の同時翻訳は、リアルタイムと低レイテンシのシナリオに焦点を当てている。
SimulEvalは、テキストと音声の同時翻訳のための、使いやすくて汎用的な評価ツールキットである。
論文 参考訳(メタデータ) (2020-07-31T17:44:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。