Fugu-MT 論文翻訳(概要): Cascaded Cross-Modal Transformer for Audio-Textual Classification

論文の概要: Cascaded Cross-Modal Transformer for Audio-Textual Classification

arxiv url: http://arxiv.org/abs/2401.07575v2
Date: Wed, 24 Jul 2024 20:50:04 GMT
ステータス: 処理完了
システム内更新日: 2024-07-26 19:36:52.815203
Title: Cascaded Cross-Modal Transformer for Audio-Textual Classification
Title（参考訳）: 音声テキスト分類のためのカスケードクロスモード変換器
Authors: Nicolae-Catalin Ristea, Andrei Anghel, Radu Tudor Ionescu,
Abstract要約: 本稿では,自動音声認識(ASR)モデルを用いた音声の書き起こしにより,マルチモーダル表現の固有値を活用することを提案する。これにより、各データサンプルに対する音声テキスト(マルチモーダル)表現が得られる。我々は、ACM Multimedia 2023 Computational Paralinguistics Challenge の Requests Sub-Challenge において、勝利のソリューションであると宣言された。
参考スコア（独自算出の注目度）: 30.643750999989233
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Speech classification tasks often require powerful language understanding models to grasp useful features, which becomes problematic when limited training data is available. To attain superior classification performance, we propose to harness the inherent value of multimodal representations by transcribing speech using automatic speech recognition (ASR) models and translating the transcripts into different languages via pretrained translation models. We thus obtain an audio-textual (multimodal) representation for each data sample. Subsequently, we combine language-specific Bidirectional Encoder Representations from Transformers (BERT) with Wav2Vec2.0 audio features via a novel cascaded cross-modal transformer (CCMT). Our model is based on two cascaded transformer blocks. The first one combines text-specific features from distinct languages, while the second one combines acoustic features with multilingual features previously learned by the first transformer block. We employed our system in the Requests Sub-Challenge of the ACM Multimedia 2023 Computational Paralinguistics Challenge. CCMT was declared the winning solution, obtaining an unweighted average recall (UAR) of 65.41% and 85.87% for complaint and request detection, respectively. Moreover, we applied our framework on the Speech Commands v2 and HarperValleyBank dialog data sets, surpassing previous studies reporting results on these benchmarks. Our code is freely available for download at: https://github.com/ristea/ccmt.
Abstract（参考訳）: 音声分類タスクは、有用な特徴を把握するために強力な言語理解モデルを必要とすることが多い。音声認識(ASR)モデルを用いて音声を翻訳し、事前訓練された翻訳モデルを用いて異なる言語に翻訳することで、より優れた分類性能を実現するために、マルチモーダル表現の固有値を活用することを提案する。これにより、各データサンプルに対する音声テキスト(マルチモーダル)表現が得られる。その後、言語固有の双方向エンコーダ表現(BERT)とWav2Vec2.0オーディオ機能を、新しいケースドクロスモーダルトランス(CCMT)を介して組み合わせる。我々のモデルは2つのカスケードトランスブロックに基づいている。 1つは異なる言語からテキスト固有の特徴を合成し、もう1つは第1のトランスフォーマーブロックによって以前に学習された多言語特徴と音響特徴を結合する。我々は,ACM Multimedia 2023 Computational Paralinguistics Challengeの要求サブアーキテクチャに,我々のシステムを採用した。 CCMTは、それぞれ65.41%と85.87%の非重み付き平均リコール(UAR)を得たと宣言された。さらに,我々のフレームワークを音声コマンド v2 と HarperValleyBank のダイアログデータセットに適用した。私たちのコードは、https://github.com/ristea/ccmt.comから無料でダウンロードできます。

関連論文リスト

VQ-CTAP: Cross-Modal Fine-Grained Sequence Representation Learning for Speech Processing [81.32613443072441]
テキスト音声(TTS)、音声変換(VC)、自動音声認識(ASR)などのタスクでは、クロスモーダルな粒度(フレームレベル)シーケンス表現が望まれる。本稿では,テキストと音声を共同空間に組み込むために,クロスモーダルシーケンストランスコーダを用いた量子コントラスト・トーケン・音響事前学習(VQ-CTAP)手法を提案する。
論文参考訳（メタデータ） (2024-08-11T12:24:23Z)
TransVIP: Speech to Speech Translation System with Voice and Isochrony Preservation [97.54885207518946]
カスケード方式で多様なデータセットを活用する新しいモデルフレームワークTransVIPを提案する。本稿では、話者の音声特性と、翻訳過程における音源音声からの等時性を維持するために、2つの分離エンコーダを提案する。フランス語と英語のペアに関する実験により、我々のモデルは、現在最先端の音声音声翻訳モデルよりも優れていることを示した。
論文参考訳（メタデータ） (2024-05-28T04:11:37Z)
Cascaded Cross-Modal Transformer for Request and Complaint Detection [31.359578768463752]
本稿では、音声とテキストの書き起こしを組み合わせて、電話会話における顧客の要求や苦情を検出する新しいケースケード・クロスモーダル・トランスフォーマー(CCMT)を提案する。提案手法は,自動音声認識(ASR)モデルを用いて音声を翻訳し,異なる言語に翻訳することで,マルチモーダルパラダイムを活用する。我々は,ACMマルチメディア計算2023パラ言語学チャレンジの要求サブアーキテクチャに適用し,不当な平均リコール(UAR)を65.41%,要求クラスを85.87%とした。
論文参考訳（メタデータ） (2023-07-27T13:45:42Z)
LAMASSU: Streaming Language-Agnostic Multilingual Speech Recognition and Translation Using Neural Transducers [71.76680102779765]
自動音声認識(ASR)と音声翻訳(ST)はどちらもモデル構造としてニューラルトランスデューサを使用することができる。ニューラルトランスデューサを用いた多言語音声認識および翻訳モデルであるLAMASSUを提案する。
論文参考訳（メタデータ） (2022-11-05T04:03:55Z)
Dual-decoder Transformer for Joint Automatic Speech Recognition and Multilingual Speech Translation [71.54816893482457]
自動音声認識(ASR)と多言語音声翻訳(ST)を共同で行う新しいモデルアーキテクチャであるデュアルデコーダトランスフォーマを導入する。我々のモデルはオリジナルのTransformerアーキテクチャに基づいているが、2つのデコーダで構成されており、それぞれが1つのタスク(ASRまたはST)を担っている。
論文参考訳（メタデータ） (2020-11-02T04:59:50Z)
Investigation of Speaker-adaptation methods in Transformer based ASR [8.637110868126548]
本稿では,トランスフォーマモデルを用いて音声認識性能の向上を図りながら,エンコーダ入力に話者情報を組み込む方法について検討する。話者情報を各話者に対する話者埋め込み形式で提示する。モデルに話者埋め込みを組み込むことにより,ベースライン上の単語誤り率を改善する。
論文参考訳（メタデータ） (2020-08-07T16:09:03Z)
One Model, Many Languages: Meta-learning for Multilingual Text-to-Speech [3.42658286826597]
本稿では,文脈パラメータ生成のメタラーニング概念を用いた多言語音声合成手法を提案する。本モデルでは,言語間で効率的に情報を共有できることが示され,主観的評価テストにより,ベースラインよりも自然な,正確なコードスイッチング音声を生成する。
論文参考訳（メタデータ） (2020-08-03T10:43:30Z)
MultiSpeech: Multi-Speaker Text to Speech with Transformer [145.56725956639232]
Transformer-based text to speech (TTS)モデル(Transformer TTSciteli 2019neural, FastSpeechciteren 2019fastspeech)は、RNNベースのモデルよりもトレーニングと推論効率の利点を示している。我々はMultiSpeechと呼ばれる堅牢で高品質なマルチスピーカトランスフォーマーTSシステムを開発した。
論文参考訳（メタデータ） (2020-06-08T15:05:28Z)
Many-to-Many Voice Transformer Network [55.17770019619078]
本稿では,S2S学習フレームワークに基づく音声変換(VC)手法を提案する。これにより、音声特性、ピッチ輪郭、入力音声の持続時間の同時変換が可能となる。
論文参考訳（メタデータ） (2020-05-18T04:02:08Z)
Multiresolution and Multimodal Speech Recognition with Transformers [22.995102995029576]
本稿ではトランスフォーマーアーキテクチャを用いた音声視覚自動音声認識(AV-ASR)システムを提案する。我々は、視覚情報によって提供されるシーンコンテキストに着目して、ASRを接地する。私たちの結果は、最先端のListen、Attend、Spellベースのアーキテクチャに匹敵します。
論文参考訳（メタデータ） (2020-04-29T09:32:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。