論文の概要: Attention-Based Adaptive Policies for Simultaneous Speech-to-Text Translation

• arxiv url: http://arxiv.org/abs/2609.30839v1
• Date: Fri, 25 Sep 2026 05:34:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.23698
• Title: Attention-Based Adaptive Policies for Simultaneous Speech-to-Text Translation
• Title（参考訳）: 発話とテキストの同時翻訳のための注意に基づく適応型ポリシー
• Abstract要約: 同時音声テキスト変換(Simul-S2TT)は、受信した音声フレームがシステムによって処理される間に部分翻訳を生成する。 我々は、最近のフレームアテンションポリシー(RFAP)とデュアルコンディションアテンションポリシー(DCAP)を提案する。 CVSS-Cコーパス上の3つの異なる言語翻訳ペアの結果、RFAPは最大4.0BLEUで他のポリシーを上回り、翻訳遅延を約1秒短縮できることを示した。
• 参考スコア（独自算出の注目度）: 27.9093775816186
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Simultaneous speech-to-text translation (Simul-S2TT) consists of generating partial translations while the incoming audio frames are processed by the system. However, the streaming nature of this setup creates the challenge of deciding the best moment to perform an accurate translation while minimizing the delay. To address this challenge, we utilize the cross-attention mechanism of the encoder-decoder architecture to find the right alignment between the input speech frames and the target text tokens. In this paper, we propose the Recent Frame Attention Policy (RFAP) and the Dual-Condition Attention Policy (DCAP) that allow offline trained speech-to-text translation models to be used in streaming scenarios without requiring additional training. Results on three different language translation pairs over the CVSS-C corpus show that the RFAP is able to surpass other policies with gains of up to 4.0 BLEU while reducing the translation delay by almost 1 second. Moreover, the DCAP is able to preserve a high translation quality when the latency is very low.
• Abstract（参考訳）: 音声からテキストへの同時翻訳(Simul-S2TT)は、受信した音声フレームがシステムによって処理される間に部分翻訳を生成する。 しかし、このセットアップのストリーミング特性は、遅延を最小限に抑えながら正確な翻訳を行う最良の瞬間を決定するという課題を生み出している。 この課題に対処するために,エンコーダ・デコーダアーキテクチャのクロスアテンション機構を用いて,入力音声フレームとターゲットテキストトークンの適切なアライメントを求める。 本稿では、オフラインで訓練された音声からテキストへの翻訳モデルを、追加の訓練を必要とせず、ストリーミングシナリオで使用できる、最新のフレーム注意ポリシー(RFAP)とDCAP(Dual-Condition Attention Policy)を提案する。 CVSS-Cコーパス上の3つの異なる言語翻訳ペアの結果、RFAPは最大4.0BLEUで他のポリシーを上回り、翻訳遅延を約1秒短縮できることを示した。 さらに、DCAPはレイテンシが非常に低い場合に高い翻訳品質を維持することができる。

関連論文リスト

• DOA: Training-Free Decoder-Only Attention Policy for Long-Form Simultaneous Translation with SpeechLLMs [16.180515088772957]
  音声からテキストへの同時翻訳(SimulST)は、音声がまだ展開されている間に翻訳を生成する。 本稿では,セルフアテンションからプロキシアライメントを導出することにより,オフザシェルフ音声LLMと長文同時翻訳が可能な学習自由ポリシーを提案する。
  論文  参考訳（メタデータ） (2026-05-29T15:27:26Z)
• Hierarchical Policy Optimization for Simultaneous Translation of Unbounded Speech [50.45710815530982]
  同時音声翻訳(SST)は、部分的な音声入力を受けながら翻訳を生成する。 近年の進歩により、大規模言語モデル(LLM)はSSTの品質を大幅に向上するが、高い計算オーバーヘッドのコストがかかる。 本稿では,不完全なSFTデータに基づいて列車後モデルを訓練する階層的ポリシー最適化(HPO)手法を提案する。 英語と中国語/ドイツ語/日本語の実験では、+7 COMETスコアと+1.25 MetricXスコアが1.5秒で改善された。
  論文  参考訳（メタデータ） (2026-04-22T19:43:51Z)
• TASTE-Streaming: Towards Streamable Text-Aligned Speech Tokenization and Embedding for Spoken Language Modeling [52.519745466772825]
  テキスト音声による音声合成は、自然とインテリジェントな音声に基づく対話を指向する。 TASTEは音声トークンを生成し、テキストのトークンと長さを一致させる。 本稿ではリアルタイム利用に適したTASTEの拡張であるTASTE-Sを提案する。
  論文  参考訳（メタデータ） (2026-03-12T18:13:48Z)
• Simultaneous Speech-to-Speech Translation Without Aligned Data [52.467808474293605]
  同時音声翻訳では、ソース音声を対象言語にリアルタイムで翻訳する必要がある。 単語レベルのアライメントを完全に不要にするヒビキゼロを提案する。 Hibiki-Zeroは5つのX-英語タスクの翻訳精度、レイテンシ、音声転送、自然性において最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-02-11T17:41:01Z)
• Overcoming Latency Bottlenecks in On-Device Speech Translation: A Cascaded Approach with Alignment-Based Streaming MT [19.133273093370896]
  本稿では,ASR(Automatic Speech Recognition)とMT(Machine Translation)をリアルタイム・オンデバイス・ストリーミング音声翻訳に利用する際の課題について述べる。 本稿では,翻訳品質とレイテンシを効果的にバランスさせる同時翻訳手法を提案する。 我々は,デバイス上でのバイリンガル音声翻訳にアプローチを適用し,レイテンシと品質の点で,我々の技術がベースラインより優れていることを示す。
  論文  参考訳（メタデータ） (2025-08-18T21:00:11Z)
• A Non-autoregressive Generation Framework for End-to-End Simultaneous Speech-to-Speech Translation [48.84039953531355]
  同時音声翻訳のための新しい非自己回帰生成フレームワーク(NAST-S2X)を提案する。 NAST-S2Xは、音声テキストと音声音声タスクを統合エンドツーエンドフレームワークに統合する。 3秒未満の遅延で高品質な同時解釈を実現し、オフライン生成において28倍のデコードスピードアップを提供する。
  論文  参考訳（メタデータ） (2024-06-11T04:25:48Z)
• TranSpeech: Speech-to-Speech Translation With Bilateral Perturbation [61.564874831498145]
  TranSpeechは、両側摂動を伴う音声から音声への翻訳モデルである。 我々は,非自己回帰S2ST手法を構築し,繰り返しマスキングを行い,単位選択を予測する。 TranSpeechは推論遅延を大幅に改善し、自動回帰技術よりも最大21.4倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2022-05-25T06:34:14Z)
• Fluent and Low-latency Simultaneous Speech-to-Speech Translation with Self-adaptive Training [40.71155396456831]
  音声から音声への同時翻訳は広く有用であるが,極めて困難である。 ソース言語音声と並行してターゲット言語音声を生成する必要があるが、わずか数秒遅れている。 現在のアプローチは、話者がより速く話すときの遅延を徐々に蓄積し、話者がゆっくり話すときの不自然な停止を導入する。 そこで本稿では,翻訳の長さを柔軟に調整し,異なる音源の音声レートに対応する自己適応翻訳(SAT)を提案する。
  論文  参考訳（メタデータ） (2020-10-20T06:02:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。