論文の概要: Efficient and Adaptive Simultaneous Speech Translation with Fully Unidirectional Architecture

• arxiv url: http://arxiv.org/abs/2504.11809v1
• Date: Wed, 16 Apr 2025 06:46:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-17 14:40:05.738504
• Title: Efficient and Adaptive Simultaneous Speech Translation with Fully Unidirectional Architecture
• Title（参考訳）: 完全一方向アーキテクチャを用いた効率的・適応的同時音声翻訳
• Authors: Biao Fu, Donglei Yu, Minpeng Liao, Chengxi Li, Yidong Chen, Kai Fan, Xiaodong Shi,
• Abstract要約: 同時音声翻訳(SimulST)は、部分的な音声入力を処理しながら段階的に翻訳を生成する。 既存のLLMベースのSimulSTアプローチは、双方向音声エンコーダの繰り返し符号化による計算オーバーヘッドが大きい。 完全一方向アーキテクチャを用いた効率・適応同時音声翻訳(EASiST)を提案する。
• 参考スコア（独自算出の注目度）: 14.056534007451763
• License:
• Abstract: Simultaneous speech translation (SimulST) produces translations incrementally while processing partial speech input. Although large language models (LLMs) have showcased strong capabilities in offline translation tasks, applying them to SimulST poses notable challenges. Existing LLM-based SimulST approaches either incur significant computational overhead due to repeated encoding of bidirectional speech encoder, or they depend on a fixed read/write policy, limiting the efficiency and performance. In this work, we introduce Efficient and Adaptive Simultaneous Speech Translation (EASiST) with fully unidirectional architecture, including both speech encoder and LLM. EASiST includes a multi-latency data curation strategy to generate semantically aligned SimulST training samples and redefines SimulST as an interleaved generation task with explicit read/write tokens. To facilitate adaptive inference, we incorporate a lightweight policy head that dynamically predicts read/write actions. Additionally, we employ a multi-stage training strategy to align speech-text modalities and optimize both translation and policy behavior. Experiments on the MuST-C En$\rightarrow$De and En$\rightarrow$Es datasets demonstrate that EASiST offers superior latency-quality trade-offs compared to several strong baselines.
• Abstract（参考訳）: 同時音声翻訳(SimulST)は、部分的な音声入力を処理しながら段階的に翻訳を生成する。 大規模な言語モデル(LLM)は、オフライン翻訳タスクにおいて強力な機能を示したが、SimulSTに適用することは、注目すべき課題である。 既存のLLMベースのSimulSTアプローチは、双方向音声エンコーダの繰り返し符号化による計算オーバーヘッドが大きいか、あるいは固定された読み書きポリシーに依存し、効率と性能を制限している。 本研究では,音声エンコーダとLLMの両方を含む一方向アーキテクチャによる効率・適応同時音声翻訳(EASiST)を提案する。 EASiSTには、セマンティックに整合したSimulSTトレーニングサンプルを生成し、明示的な読み取り/書き込みトークンを備えたインターリーブ生成タスクとしてSimulSTを再定義するマルチレイテンシデータキュレーション戦略が含まれている。 適応推論を容易にするために、読み書き動作を動的に予測する軽量なポリシーヘッドを組み込んだ。 さらに、多段階の学習戦略を用いて、音声テキストのモダリティを調整し、翻訳とポリシーの両方の振る舞いを最適化する。 MuST-C En$\rightarrow$DeとEn$\rightarrow$Esデータセットの実験では、EASiSTはいくつかの強力なベースラインと比較して、レイテンシ品質のトレードオフが優れていることが示されている。

関連論文リスト

• Speech Translation Refinement using Large Language Models [8.602429274223693]
  本稿では,大規模言語モデル(LLM)が,共同改良プロセスを導入することにより,音声翻訳の性能を向上する方法について検討する。 LLMによる音声翻訳(ST)と自動音声認識(ASR)の併用により,STモデルの性能は大幅に向上した。 7つの翻訳タスクを含む MuST-C と CoVoST 2 データセットの実験結果から,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2025-01-25T05:32:42Z)
• DeSTA2: Developing Instruction-Following Speech Language Model Without Speech Instruction-Tuning Data [84.01401439030265]
  最近のエンドツーエンド言語モデル(SLM)は、大規模言語モデル(LLM)の機能に拡張されている。 音声とテキストのペアデータを生成するための,シンプルで効果的な自動処理手法を提案する。 本モデルでは,音声教育データを必要としない音声関連タスクの汎用性を示す。
  論文  参考訳（メタデータ） (2024-09-30T07:01:21Z)
• Simultaneous Masking, Not Prompting Optimization: A Paradigm Shift in Fine-tuning LLMs for Simultaneous Translation [5.712277386555735]
  大規模言語モデル(LLM)は、様々な言語処理タスクにおいて最先端のパフォーマンスを達成した。 同時翻訳のための微調整LDMのための新しいパラダイムであるSimulMaskを提案する。 5つの言語対における最先端の最適化戦略と比較して,翻訳品質の大幅な改善が見られた。
  論文  参考訳（メタデータ） (2024-05-16T21:07:42Z)
• Speech Translation with Large Language Models: An Industrial Practice [64.5419534101104]
  LLM-STは,事前学習型大言語モデル(LLM)に基づいて構築された,新規で効果的な音声翻訳モデルである。 大規模言語モデル(LLM)を音声エンコーダと統合し、マルチタスクの命令チューニングを利用することで、LLM-STは正確なタイムスタンプと翻訳を生成することができる。 英語と中国語のデータセットの厳密な実験を通じて,LLM-STの異常な性能を示す。
  論文  参考訳（メタデータ） (2023-12-21T05:32:49Z)
• Soft Alignment of Modality Space for End-to-end Speech Translation [49.29045524083467]
  エンドツーエンドの音声翻訳は、音声を統一されたモデル内でターゲットテキストに変換することを目的としている。 音声とテキストのモダリティの固有の違いは、しばしば効果的なクロスモーダルとクロスリンガルの移動を妨げる。 両モードの表現空間を整列させるために, 対角訓練を用いたソフトアライメント(S-Align)を導入する。
  論文  参考訳（メタデータ） (2023-12-18T06:08:51Z)
• Shiftable Context: Addressing Training-Inference Context Mismatch in Simultaneous Speech Translation [0.17188280334580192]
  セグメントベース処理を用いたトランスフォーマーモデルは、同時音声翻訳に有効なアーキテクチャである。 トレーニングと推論を通じて一貫したセグメントとコンテキストサイズを確実に維持するために、シフト可能なコンテキストを提案する。
  論文  参考訳（メタデータ） (2023-07-03T22:11:51Z)
• Data-Driven Adaptive Simultaneous Machine Translation [51.01779863078624]
  適応型SimulMTのための新しい,効率的なトレーニング手法を提案する。 本手法は,翻訳の質やレイテンシという点で,全ての強靭なベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-04-27T02:40:21Z)
• Exploring Continuous Integrate-and-Fire for Adaptive Simultaneous Speech Translation [75.86581380817464]
  SimulSTシステムは通常、音声情報を集約する事前決定と、読み書きを決定するポリシーの2つのコンポーネントを含む。 本稿では,CIF(Continuous Integrate-and-Fire)を適用して適応政策をモデル化することを提案する。 単調なマルチヘッドアテンション (MMA) と比較して,本手法はより単純な計算,低レイテンシにおける品質,長い発話の一般化に優れる。
  論文  参考訳（メタデータ） (2022-03-22T23:33:18Z)
• STEMM: Self-learning with Speech-text Manifold Mixup for Speech Translation [37.51435498386953]
  本稿では,その差分を補正するSTEMM法を提案する。 MuST-C音声翻訳ベンチマークおよびさらなる解析実験により,本手法はモーダル表現の不一致を効果的に軽減することが示された。
  論文  参考訳（メタデータ） (2022-03-20T01:49:53Z)
• RealTranS: End-to-End Simultaneous Speech Translation with Convolutional Weighted-Shrinking Transformer [33.876412404781846]
  RealTranSは、同時音声翻訳のためのエンドツーエンドモデルである。 音声特徴を重み付き収縮操作と意味エンコーダでテキスト空間にマッピングする。 実験により、Wait-K-Stride-N戦略を用いたRealTranSは、従来のエンドツーエンドモデルよりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-06-09T06:35:46Z)
• SML: a new Semantic Embedding Alignment Transformer for efficient cross-lingual Natural Language Inference [71.57324258813674]
  トランスフォーマーが質問応答、自然言語推論(NLI)、要約といった様々なタスクを精度良く実行できることは、現在この種のタスクに対処するための最良のパラダイムの1つとしてランク付けすることができる。 nliは、複雑な文を理解するための知識が必要であり、仮説と前提の関係を確立するため、これらのアーキテクチャをテストする最良のシナリオの1つである。 本稿では,自然言語推論のための多言語組込みを効率的にアライメントするための新しいアーキテクチャ siamese multilingual transformer を提案する。
  論文  参考訳（メタデータ） (2021-03-17T13:23:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。