論文の概要: End-to-End Simultaneous Speech Translation with Differentiable Segmentation

• arxiv url: http://arxiv.org/abs/2305.16093v2
• Date: Sun, 18 Jun 2023 03:18:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-22 01:52:30.267640
• Title: End-to-End Simultaneous Speech Translation with Differentiable Segmentation
• Title（参考訳）: 区別可能なセグメンテーションを用いたエンドツーエンド同時音声翻訳
• Authors: Shaolei Zhang, Yang Feng
• Abstract要約: SimulSTはストリーミング音声入力を受信しながら翻訳を出力する。 音声入力を好ましくないタイミングにセグメント化することは、音響的整合性を阻害し、翻訳モデルの性能に悪影響を及ぼす可能性がある。 そこで本研究では,SimulST における微分可能セグメンテーション (DiSeg) を提案し,基礎となる翻訳モデルから直接セグメンテーションを学習する。
• 参考スコア（独自算出の注目度）: 21.03142288187605
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: End-to-end simultaneous speech translation (SimulST) outputs translation while receiving the streaming speech inputs (a.k.a. streaming speech translation), and hence needs to segment the speech inputs and then translate based on the current received speech. However, segmenting the speech inputs at unfavorable moments can disrupt the acoustic integrity and adversely affect the performance of the translation model. Therefore, learning to segment the speech inputs at those moments that are beneficial for the translation model to produce high-quality translation is the key to SimulST. Existing SimulST methods, either using the fixed-length segmentation or external segmentation model, always separate segmentation from the underlying translation model, where the gap results in segmentation outcomes that are not necessarily beneficial for the translation process. In this paper, we propose Differentiable Segmentation (DiSeg) for SimulST to directly learn segmentation from the underlying translation model. DiSeg turns hard segmentation into differentiable through the proposed expectation training, enabling it to be jointly trained with the translation model and thereby learn translation-beneficial segmentation. Experimental results demonstrate that DiSeg achieves state-of-the-art performance and exhibits superior segmentation capability.
• Abstract（参考訳）: エンドツーエンド同時音声翻訳(simulst)は、ストリーミング音声入力を受信しながら翻訳を出力する(すなわち、ストリーミング音声翻訳)ため、音声入力を分割して、現在の受信音声に基づいて翻訳する必要がある。 しかし、不利な瞬間に音声入力を分割すると、音響的完全性が損なわれ、翻訳モデルの性能に悪影響を及ぼす可能性がある。 したがって、翻訳モデルが高品質な翻訳を生み出すのに役立つこれらの瞬間に音声入力を分割する学習は、シマルストの鍵となる。 既存のSimulST法は、固定長セグメンテーションまたは外部セグメンテーションモデルのいずれかを使用しており、常に基礎となる翻訳モデルとセグメンテーションを分離している。 そこで本稿では,SimulST における微分可能セグメンテーション (DiSeg) を提案し,基礎となる翻訳モデルから直接セグメンテーションを学習する。 DiSegは、予測トレーニングによってハードセグメンテーションを微分可能にし、翻訳モデルと共同でトレーニングし、翻訳効果セグメンテーションを学ぶことができる。 実験結果から,DiSegは最先端性能を実現し,セグメンテーション能力に優れることが示された。

関連論文リスト

• TransVIP: Speech to Speech Translation System with Voice and Isochrony Preservation [97.54885207518946]
  カスケード方式で多様なデータセットを活用する新しいモデルフレームワークTransVIPを提案する。 本稿では、話者の音声特性と、翻訳過程における音源音声からの等時性を維持するために、2つの分離エンコーダを提案する。 フランス語と英語のペアに関する実験により、我々のモデルは、現在最先端の音声音声翻訳モデルよりも優れていることを示した。
  論文  参考訳（メタデータ） (2024-05-28T04:11:37Z)
• REBORN: Reinforcement-Learned Boundary Segmentation with Iterative Training for Unsupervised ASR [54.64158282822995]
  教師なしASRにおける反復訓練を用いたREBORN, Reinforcement-Learned boundaryを提案する。 ReBORNは、音声信号におけるセグメント構造の境界を予測するセグメンテーションモデルのトレーニングと、セグメンテーションモデルによってセグメント化された音声特徴である音素予測モデルのトレーニングを交互に行い、音素転写を予測する。 我々は、広範囲にわたる実験を行い、同じ条件下で、REBORNは、LibriSpeech、TIMIT、および5つの非英語言語において、以前の教師なしASRモデルよりも優れていることを発見した。
  論文  参考訳（メタデータ） (2024-02-06T13:26:19Z)
• Soft Alignment of Modality Space for End-to-end Speech Translation [49.29045524083467]
  エンドツーエンドの音声翻訳は、音声を統一されたモデル内でターゲットテキストに変換することを目的としている。 音声とテキストのモダリティの固有の違いは、しばしば効果的なクロスモーダルとクロスリンガルの移動を妨げる。 両モードの表現空間を整列させるために, 対角訓練を用いたソフトアライメント(S-Align)を導入する。
  論文  参考訳（メタデータ） (2023-12-18T06:08:51Z)
• Long-Form End-to-End Speech Translation via Latent Alignment Segmentation [6.153530338207679]
  現在の同時音声翻訳モデルは、最大数秒間しか音声を処理できない。 本稿では,低レイテンシなエンドツーエンド音声翻訳のための新しいセグメンテーション手法を提案する。 提案手法は, 新たな計算コストを伴わずに, 最先端の品質を達成できることを示す。
  論文  参考訳（メタデータ） (2023-09-20T15:10:12Z)
• Shiftable Context: Addressing Training-Inference Context Mismatch in Simultaneous Speech Translation [0.17188280334580192]
  セグメントベース処理を用いたトランスフォーマーモデルは、同時音声翻訳に有効なアーキテクチャである。 トレーニングと推論を通じて一貫したセグメントとコンテキストサイズを確実に維持するために、シフト可能なコンテキストを提案する。
  論文  参考訳（メタデータ） (2023-07-03T22:11:51Z)
• Context-aware Fine-tuning of Self-supervised Speech Models [56.95389222319555]
  微調整におけるコンテキスト,すなわち周辺セグメントの使用について検討する。 我々はコンテキスト認識ファインチューニングと呼ばれる新しいアプローチを提案する。 いくつかの下流タスクに対して,SLUE と Libri-light ベンチマークを用いて提案手法の評価を行った。
  論文  参考訳（メタデータ） (2022-12-16T15:46:15Z)
• Don't Discard Fixed-Window Audio Segmentation in Speech-to-Text Translation [10.799623536095226]
  完全な発話が話される前に、モデルが翻訳を開始する必要があるオンライン音声言語翻訳では、ほとんどの以前の研究はセグメント化の問題を無視している。 オフライン・オンライン両方のセグメンテーションにおけるセグメンテーションエラーやセグメンテーション戦略に対するモデルの堅牢性を改善するための様々な手法を比較した。 5つの異なる言語対についての知見から, 簡単な固定ウィンドウ音声セグメント化が, 適切な条件で驚くほど良好に動作できることが示唆された。
  論文  参考訳（メタデータ） (2022-10-24T16:06:33Z)
• Speech Segmentation Optimization using Segmented Bilingual Speech Corpus for End-to-end Speech Translation [16.630616128169372]
  セグメント化バイリンガル音声コーパスを用いて訓練された二分分類モデルを用いた音声セグメント化手法を提案する。 実験の結果,提案手法は従来のセグメンテーション法よりもカスケードおよびエンド・ツー・エンドのSTシステムに適していることがわかった。
  論文  参考訳（メタデータ） (2022-03-29T12:26:56Z)
• Bridging the Modality Gap for Speech-to-Text Translation [57.47099674461832]
  エンド・ツー・エンドの音声翻訳は、ある言語における音声を、エンド・ツー・エンドの方法で他の言語におけるテキストに変換することを目的としている。 既存のほとんどの手法では、音響表現と意味情報を同時に学習するために、単一のエンコーダを持つエンコーダ・デコーダ構造を用いる。 本稿では,音声とテキスト間のモダリティギャップを埋めることで,エンドツーエンドのモデル性能を向上させることを目的とした音声翻訳モデルのための音声テキスト適応手法を提案する。
  論文  参考訳（メタデータ） (2020-10-28T12:33:04Z)
• Contextualized Translation of Automatically Segmented Speech [20.334746967390164]
  ランダムにセグメント化されたデータに基づいてモデルをトレーニングし、ファインチューニングとコンテキストとして前のセグメントを追加するという2つのアプローチを比較します。 我々の解は、VAD-segmentedの入力に対してより堅牢であり、強いベースモデルと最大4.25 BLEUポイントで設定された英独テストの異なるVADセグメンテーションの微調整よりも優れている。
  論文  参考訳（メタデータ） (2020-08-05T17:52:25Z)
• Relative Positional Encoding for Speech Recognition and Direct Translation [72.64499573561922]
  相対位置符号化方式を音声変換器に適用する。 その結果,ネットワークは音声データに存在する変動分布に適応できることがわかった。
  論文  参考訳（メタデータ） (2020-05-20T09:53:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。