論文の概要: Transcription and translation of videos using fine-tuned XLSR Wav2Vec2 on custom dataset and mBART

• arxiv url: http://arxiv.org/abs/2403.00212v1
• Date: Fri, 1 Mar 2024 01:15:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-05 18:35:42.493175
• Title: Transcription and translation of videos using fine-tuned XLSR Wav2Vec2 on custom dataset and mBART
• Title（参考訳）: カスタムデータセットとmBARTを用いた微調整XLSR Wav2Vec2によるビデオの転写と翻訳
• Authors: Aniket Tathe, Anand Kamble, Suyash Kumbharkar, Atharva Bhandare, Anirban C. Mitra
• Abstract要約: 本研究は、最小限のデータを用いたパーソナライズされた音声に対するASRモデルの訓練の課題に対処する。 我々は、独自のコモンボイス16.0コーパスを作成するために、Retrievalベースの音声変換を利用する。 開発したWebベースのGUIは、入力されたヒンディー語ビデオを効率よく書き起こし、翻訳する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This research addresses the challenge of training an ASR model for personalized voices with minimal data. Utilizing just 14 minutes of custom audio from a YouTube video, we employ Retrieval-Based Voice Conversion (RVC) to create a custom Common Voice 16.0 corpus. Subsequently, a Cross-lingual Self-supervised Representations (XLSR) Wav2Vec2 model is fine-tuned on this dataset. The developed web-based GUI efficiently transcribes and translates input Hindi videos. By integrating XLSR Wav2Vec2 and mBART, the system aligns the translated text with the video timeline, delivering an accessible solution for multilingual video content transcription and translation for personalized voice.
• Abstract（参考訳）: 本研究は、最小データを用いたパーソナライズ音声のためのasrモデルをトレーニングすることの課題に対処する。 YouTubeビデオからの14分間のカスタムオーディオを利用して、Retrieval-Based Voice Conversion (RVC)を使用して、カスタムのCommon Voice 16.0コーパスを作成します。 その後、このデータセット上で、言語間自己監督表現(XLSR)のWav2Vec2モデルを微調整する。 開発したWebベースのGUIは、入力されたヒンディー語ビデオを効率よく書き起こし、翻訳する。 XLSR Wav2Vec2とmBARTを統合することで、翻訳されたテキストとビデオタイムラインを一致させ、パーソナライズされた音声のための多言語ビデオコンテンツの書き起こしと翻訳のためのアクセス可能なソリューションを提供する。

関連論文リスト

• Unified Video-Language Pre-training with Synchronized Audio [21.607860535968356]
  シンクロナイズドオーディオを用いたビデオ言語事前学習のための拡張フレームワークを提案する。 我々のフレームワークは、統合された自己教師型変換器で三モーダル表現を学習する。 0.9Mデータのみを事前学習した本モデルは,最先端のベースラインに対する結果の改善を実現する。
  論文  参考訳（メタデータ） (2024-05-12T07:59:46Z)
• XLAVS-R: Cross-Lingual Audio-Visual Speech Representation Learning for Noise-Robust Speech Perception [62.660135152900615]
  音声認識と翻訳システムではノイズの多い入力が不十分である。 XLAVS-Rは、雑音による音声認識と翻訳のための言語間音声・視覚音声表現モデルである。
  論文  参考訳（メタデータ） (2024-03-21T13:52:17Z)
• Multilingual Audio-Visual Speech Recognition with Hybrid CTC/RNN-T Fast Conformer [59.57249127943914]
  本稿では,複数の改良を加えた多言語音声認識モデルを提案する。 我々は、6つの異なる言語に対する音声視覚訓練データの量を増やし、重複しない多言語データセットの自動書き起こしを生成する。 提案モデルでは, LRS3データセット上での新たな最先端性能を実現し, WERは0.8%に達した。
  論文  参考訳（メタデータ） (2024-03-14T01:16:32Z)
• AV2AV: Direct Audio-Visual Speech to Audio-Visual Speech Translation with Unified Audio-Visual Speech Representation [58.72068260933836]
  システムの入力と出力はマルチモーダル(音声と視覚)である 私たちは、自分の主要言語を利用することで、仮想ミーティングで世界中の個人とリアルタイムな会話を行うことができます。 音声モダリティのみを翻訳する音声音声合成(A2A)とは対照的に,提案したAV2AVは音声・視覚音声を直接翻訳する。
  論文  参考訳（メタデータ） (2023-12-05T05:36:44Z)
• Code-Mixed Text to Speech Synthesis under Low-Resource Constraints [6.544954579068865]
  本稿では,eコマースアプリケーション向けに構築されたHindi-English TTSシステムについて述べる。 本稿では,個々の言語におけるモノリンガルデータセットを利用したデータ指向手法を提案する。 純粋なコード混在テストセットでは、コード混在のない単一のスクリプトバイランガルトレーニングが有効であることを示す。
  論文  参考訳（メタデータ） (2023-12-02T10:40:38Z)
• Token-Level Serialized Output Training for Joint Streaming ASR and ST Leveraging Textual Alignments [49.38965743465124]
  本稿では,単一デコーダを用いて自動音声認識(ASR)と音声翻訳(ST)出力を共同生成するストリーミングトランスデューサを提案する。 単言語および多言語設定の実験は、我々のアプローチが最高の品質とレイテンシのバランスを達成することを示す。
  論文  参考訳（メタデータ） (2023-07-07T02:26:18Z)
• AV-TranSpeech: Audio-Visual Robust Speech-to-Speech Translation [55.1650189699753]
  音声から音声への直接翻訳(S2ST)は、ある言語から別の言語への変換を目的としており、現在までに顕著な進歩を見せている。 現在のS2STモデルは相変わらずノイズの多い環境での劣化に悩まされ、視覚音声の翻訳に失敗している。 AV-TranSpeechは、中間テキストに依存しない最初の音声-視覚音声-音声合成モデルである。
  論文  参考訳（メタデータ） (2023-05-24T17:59:03Z)
• LipSound2: Self-Supervised Pre-Training for Lip-to-Speech Reconstruction and Lip Reading [24.744371143092614]
  本研究の目的は、ビデオ中の音声と視覚ストリームの自然な共起を利用して、音声再構成(ビデオから音声)のためのクロスモーダル自己教師による事前学習の効果を検討することである。 本稿では,エンコーダ・デコーダアーキテクチャと位置認識型アテンション機構を組み合わせたLipSound2を提案する。
  論文  参考訳（メタデータ） (2021-12-09T08:11:35Z)
• Zero-Shot Text-to-Speech for Text-Based Insertion in Audio Narration [62.75234183218897]
  話者の訓練データなしで自然かつ一貫性のあるターゲット音声を生成する一段階の文脈認識フレームワークを提案する。 変換器をベースとしたデコーダを用いて,編集音声のメルスペクトルを生成する。 これは最近のゼロショット TTS エンジンを大きなマージンで上回っている。
  論文  参考訳（メタデータ） (2021-09-12T04:17:53Z)
• Large-scale multilingual audio visual dubbing [31.43873011591989]
  本稿では,大規模オーディオビジュアル翻訳とダビングのためのシステムについて述べる。 ソース言語の音声内容はテキストに書き起こされ、翻訳され、ターゲット言語音声に自動的に合成される。 視覚内容は、翻訳された音声と一致するように、話者の唇の動きを合成することにより変換される。
  論文  参考訳（メタデータ） (2020-11-06T18:58:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。