論文の概要: Dodging the Data Bottleneck: Automatic Subtitling with Automatically Segmented ST Corpora

• arxiv url: http://arxiv.org/abs/2209.10608v1
• Date: Wed, 21 Sep 2022 19:06:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-23 13:16:36.760965
• Title: Dodging the Data Bottleneck: Automatic Subtitling with Automatically Segmented ST Corpora
• Title（参考訳）: データボトルネックのドーディング:st corporaの自動分割による自動サブトイト
• Authors: Sara Papi, Alina Karakanta, Matteo Negri, Marco Turchi
• Abstract要約: サブタイリングのための音声翻訳(SubST)は、音声データを適切な字幕に自動翻訳するタスクである。 本研究では,既存のSTコーパスを人間の介入なしにSubSTリソースに変換する手法を提案する。 音声とテキストをマルチモーダルな方法で活用することにより,テキストを適切な字幕に自動的に分割するセグメンタモデルを構築した。
• 参考スコア（独自算出の注目度）: 15.084508754409848
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Speech translation for subtitling (SubST) is the task of automatically translating speech data into well-formed subtitles by inserting subtitle breaks compliant to specific displaying guidelines. Similar to speech translation (ST), model training requires parallel data comprising audio inputs paired with their textual translations. In SubST, however, the text has to be also annotated with subtitle breaks. So far, this requirement has represented a bottleneck for system development, as confirmed by the dearth of publicly available SubST corpora. To fill this gap, we propose a method to convert existing ST corpora into SubST resources without human intervention. We build a segmenter model that automatically segments texts into proper subtitles by exploiting audio and text in a multimodal fashion, achieving high segmentation quality in zero-shot conditions. Comparative experiments with SubST systems respectively trained on manual and automatic segmentations result in similar performance, showing the effectiveness of our approach.
• Abstract（参考訳）: サブタイリング用音声翻訳(SubST)は、特定の表示ガイドラインに準拠したサブタイトルブレークを挿入することにより、音声データを適切な字幕に自動翻訳するタスクである。 音声翻訳(ST)と同様に、モデルトレーニングでは、テキスト翻訳と組み合わせた音声入力を含む並列データを必要とする。 しかしSubSTでは、テキストにはサブタイトルのブレークがアノテートされなければならない。 これまでのところ、この要件はシステム開発におけるボトルネックであり、公に入手可能なsubst corporaによって確認された。 このギャップを埋めるために,既存のSTコーパスを人間の介入なしにSubSTリソースに変換する手法を提案する。 音声とテキストをマルチモーダルな方法で活用し,ゼロショット条件下で高いセグメンテーション品質を実現することによって,テキストを適切な字幕に自動的に分割するセグメンタモデルを構築した。 また,手動および自動セグメンテーションを訓練したSubSTシステムとの比較実験により,本手法の有効性を示した。

関連論文リスト

• Token-Level Serialized Output Training for Joint Streaming ASR and ST Leveraging Textual Alignments [49.38965743465124]
  本稿では,単一デコーダを用いて自動音声認識(ASR)と音声翻訳(ST)出力を共同生成するストリーミングトランスデューサを提案する。 単言語および多言語設定の実験は、我々のアプローチが最高の品質とレイテンシのバランスを達成することを示す。
  論文  参考訳（メタデータ） (2023-07-07T02:26:18Z)
• Code-Switching Text Generation and Injection in Mandarin-English ASR [57.57570417273262]
  業界で広く使われているストリーミングモデルTransformer-Transducer(T-T)の性能向上のためのテキスト生成とインジェクションについて検討する。 まず、コードスイッチングテキストデータを生成し、テキスト-to-Speech(TTS)変換または暗黙的に音声とテキストの潜在空間を結び付けることによって、T-Tモデルに生成されたテキストを明示的に注入する戦略を提案する。 実際のマンダリン・イングリッシュ音声の1,800時間を含むデータセットを用いて訓練したT-Tモデルの実験結果から,生成したコードスイッチングテキストを注入する手法により,T-Tモデルの性能が著しく向上することが示された。
  論文  参考訳（メタデータ） (2023-03-20T09:13:27Z)
• Discrete Cross-Modal Alignment Enables Zero-Shot Speech Translation [71.35243644890537]
  エンドツーエンド音声翻訳(ST)は、中間転写を生成することなく、ソース言語音声を対象言語テキストに翻訳することを目的としている。 既存のゼロショット法は、音声とテキストの2つのモダリティを共有意味空間に合わせることに失敗する。 音声とテキストの両方のモダリティに適合する離散語彙空間を共用した離散的クロスモーダルアライメント(DCMA)法を提案する。
  論文  参考訳（メタデータ） (2022-10-18T03:06:47Z)
• Direct Speech Translation for Automatic Subtitling [17.095483965591267]
  対象言語のサブタイトルとタイムスタンプを1つのモデルで生成する,自動サブタイピングのための最初の直接STモデルを提案する。 7つの言語対の実験により、我々のアプローチは、同じデータ条件下でカスケードシステムより優れていることが示された。
  論文  参考訳（メタデータ） (2022-09-27T06:47:42Z)
• Automatic Prosody Annotation with Pre-Trained Text-Speech Model [48.47706377700962]
  本稿では,事前学習した音声エンコーダを用いたニューラルテキスト音声モデルを用いて,テキストオーディオデータから韻律境界ラベルを自動的に抽出する。 このモデルは、テキストデータと音声データに個別に事前訓練され、TTSデータを三重奏形式(音声、テキスト、韻律)で微調整する。
  論文  参考訳（メタデータ） (2022-06-16T06:54:16Z)
• Enhanced Direct Speech-to-Speech Translation Using Self-supervised Pre-training and Data Augmentation [76.13334392868208]
  直接音声音声変換(S2ST)モデルは、データ不足の問題に悩まされる。 本研究では,この課題に対処するために,ラベルのない音声データとデータ拡張を用いた自己教師付き事前学習について検討する。
  論文  参考訳（メタデータ） (2022-04-06T17:59:22Z)
• Between Flexibility and Consistency: Joint Generation of Captions and Subtitles [13.58711830450618]
  音声翻訳(ST)は、最近、中間ソース言語の転写とタイミングを必要とせず、字幕生成への関心が高まっている。 本研究では、構造や語彙内容の観点から一貫した字幕字幕を生成するSTモデルに焦点を当てる。 本研究は, 共同復号化によって生成した字幕と字幕間の性能と一貫性が向上し, 言語固有のニーズや規範に適合した字幕を生成するのに十分な柔軟性が得られていることを示す。
  論文  参考訳（メタデータ） (2021-07-13T17:06:04Z)
• Aligning Subtitles in Sign Language Videos [80.20961722170655]
  17.7時間に及ぶビデオの字幕15k以上の注釈付きアライメントを手作業でトレーニングした。 我々は,この2つの信号を符号化するために,BERT字幕埋め込みとCNNビデオ表現を用いた。 本モデルでは,ビデオフレームごとのフレームレベルの予測,すなわちクェリされたサブタイトルに属するか否かを出力する。
  論文  参考訳（メタデータ） (2021-05-06T17:59:36Z)
• Subtitles to Segmentation: Improving Low-Resource Speech-to-Text Translation Pipelines [15.669334598926342]
  我々は、低リソース言語音声テキスト翻訳の文脈におけるASR出力セグメンテーションの改善に焦点をあてる。 テレビ番組や映画のサブタイトルのデータセットを使用して、より良いASRセグメンテーションモデルをトレーニングします。 このノイズのある構文情報により,モデルの精度が向上することを示す。
  論文  参考訳（メタデータ） (2020-10-19T17:32:40Z)
• MuST-Cinema: a Speech-to-Subtitles corpus [16.070428245677675]
  TED字幕から構築した多言語音声翻訳コーパスである MuST-Cinema について述べる。 コーパスを用いて文を字幕に効率的に分割するモデルを構築することができることを示す。 本稿では,既存の字幕を字幕の字幕にアノテートする手法を提案する。
  論文  参考訳（メタデータ） (2020-02-25T12:40:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。