論文の概要: OpenSR: Open-Modality Speech Recognition via Maintaining Multi-Modality Alignment

• arxiv url: http://arxiv.org/abs/2306.06410v1
• Date: Sat, 10 Jun 2023 11:04:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-13 19:04:10.722334
• Title: OpenSR: Open-Modality Speech Recognition via Maintaining Multi-Modality Alignment
• Title（参考訳）: OpenSR:マルチモーダルアライメントの維持によるオープンモーダル音声認識
• Authors: Xize Cheng, Tao Jin, Linjun Li, Wang Lin, Xinyu Duan and Zhou Zhao
• Abstract要約: オープンモダリティ音声認識(textbfOpenSR)の学習システムを提案する。 OpenSRは、3つの異なる設定で1から1へのモダリティ転送を可能にする。 既存の数ショットとフルショットのリップリード方式と比較して、非常に競争力のあるゼロショット性能を実現している。
• 参考スコア（独自算出の注目度）: 57.15449072423539
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Speech Recognition builds a bridge between the multimedia streaming (audio-only, visual-only or audio-visual) and the corresponding text transcription. However, when training the specific model of new domain, it often gets stuck in the lack of new-domain utterances, especially the labeled visual utterances. To break through this restriction, we attempt to achieve zero-shot modality transfer by maintaining the multi-modality alignment in phoneme space learned with unlabeled multimedia utterances in the high resource domain during the pre-training \cite{shi2022learning}, and propose a training system Open-modality Speech Recognition (\textbf{OpenSR}) that enables the models trained on a single modality (e.g., audio-only) applicable to more modalities (e.g., visual-only and audio-visual). Furthermore, we employ a cluster-based prompt tuning strategy to handle the domain shift for the scenarios with only common words in the new domain utterances. We demonstrate that OpenSR enables modality transfer from one to any in three different settings (zero-, few- and full-shot), and achieves highly competitive zero-shot performance compared to the existing few-shot and full-shot lip-reading methods. To the best of our knowledge, OpenSR achieves the state-of-the-art performance of word error rate in LRS2 on audio-visual speech recognition and lip-reading with 2.7\% and 25.0\%, respectively. The code and demo are available at https://github.com/Exgc/OpenSR.
• Abstract（参考訳）: 音声認識は、マルチメディアストリーミング(オーディオオンリー、ビジュアルオンリー、オーディオビジュアル)と対応するテキスト転写の間に橋渡しを構築する。 しかし、新しいドメインの特定のモデルをトレーニングする場合、新しいドメインの発話、特にラベル付き視覚的な発話の欠如に悩まされることが多い。 この制限を打破するために,事前学習中に高リソース領域で未ラベルのマルチメディア発話で学習した音素空間におけるマルチモーダルアライメントを維持させることにより,ゼロショットモダリティトランスファーを実現するとともに,よりモダリティ(例えば,視覚のみおよび視覚的)に適応可能な単一モーダルで訓練されたモデルを可能にする訓練システムであるオープンモダリティ音声認識(\textbf{OpenSR})を提案する。 さらに、クラスタベースのプロンプトチューニング戦略を用いて、シナリオのドメインシフトを、新しいドメイン発話で一般的な単語だけで処理する。 我々は,OpenSRが3つの異なる設定(ゼロショット,少数ショット,フルショット)で1対1のモダリティ転送を可能にし,既存の複数ショットとフルショットのリップリード方式と比較して,高い競争力のあるゼロショット性能を実現することを実証した。 我々の知る限り、OpenSRはLRS2における2.7\%と25.0\%の音声視覚音声認識における単語誤り率の最先端性能を達成する。 コードとデモはhttps://github.com/exgc/opensrで入手できる。

関連論文リスト

• Large Language Models Are Strong Audio-Visual Speech Recognition Learners [53.142635674428874]
  マルチモーダル・大規模言語モデル(MLLM)は,近年,多モーダル理解能力の強化により,研究の焦点となっている。 本稿では,Llama-AVSRを提案する。 我々は,最大公的なAVSRベンチマークであるLSS3に対する提案手法の評価を行い,WERが0.81%,0.77%であるASRとAVSRのタスクに対して,新しい最先端の結果を得た。
  論文  参考訳（メタデータ） (2024-09-18T21:17:27Z)
• Audio-visual Generalized Zero-shot Learning the Easy Way [20.60905505473906]
  本稿では,EZ-AVGZLについて述べる。 我々は,VGGSound-GZSL,UCF-GZSL,ActivityNet-GZSLベンチマークについて広範な実験を行った。
  論文  参考訳（メタデータ） (2024-07-18T01:57:16Z)
• Learning Speech Representation From Contrastive Token-Acoustic Pretraining [57.08426714676043]
  本研究では、2つのエンコーダを用いて音素と音声を複数モーダル空間に導入するCTAP(Contrastive Token-Acoustic Pretraining)を提案する。 提案したCTAPモデルは、210k音声と音素ペアで訓練され、最小教師付きTS、VC、ASRを実現する。
  論文  参考訳（メタデータ） (2023-09-01T12:35:43Z)
• Improving Audio-Visual Speech Recognition by Lip-Subword Correlation Based Visual Pre-training and Cross-Modal Fusion Encoder [58.523884148942166]
  本稿では,事前学習および微調整訓練の枠組みの下で,音声視覚音声認識(AVSR)を改善するための2つの新しい手法を提案する。 まず, マンダリンにおける口唇形状と音節レベルサブワード単位の相関について検討し, 口唇形状から良好なフレームレベル音節境界を確立する。 次に,音声誘導型クロスモーダルフュージョンエンコーダ(CMFE)ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2023-08-14T08:19:24Z)
• Lip2Vec: Efficient and Robust Visual Speech Recognition via Latent-to-Latent Visual to Audio Representation Mapping [4.271091833712731]
  従来のモデルから学習するシンプルなアプローチであるLip2Vecを提案する。 提案手法は LRS3 データセット上で26 WER を達成する完全教師付き学習法と比較した。 我々は、VSRをASRタスクとして再プログラムすることで、両者のパフォーマンスギャップを狭め、より柔軟な唇読解法を構築することができると考えている。
  論文  参考訳（メタデータ） (2023-08-11T12:59:02Z)
• Representation Learning With Hidden Unit Clustering For Low Resource Speech Applications [37.89857769906568]
  本稿では,隠れ単位クラスタリング(HUC)フレームワークを用いた生音声からの自己教師付き表現学習のアプローチについて述べる。 モデルへの入力は、ウィンドウ化され、1次元畳み込み層で処理されるオーディオサンプルで構成されている。 HUCフレームワークは、表現を少数の音素のような単位に分類することができ、意味的に豊かな表現を学ぶためのモデルを訓練するために使用される。
  論文  参考訳（メタデータ） (2023-07-14T13:02:10Z)
• Exploring the Role of Audio in Video Captioning [59.679122191706426]
  本稿では,キャプションの音響モダリティの可能性をフル活用することを目的とした音声視覚フレームワークを提案する。 本稿では,音声とビデオ間の情報交換を改善するため,新たなローカル・グローバル融合機構を提案する。
  論文  参考訳（メタデータ） (2023-06-21T20:54:52Z)
• VATLM: Visual-Audio-Text Pre-Training with Unified Masked Prediction for Speech Representation Learning [119.49605266839053]
  VATLM (Visual-Audio-Text Language Model) を用いたクロスモーダル表現学習フレームワークを提案する。 提案したVATLMは、モダリティに依存しない情報をモデル化するために、統一されたバックボーンネットワークを使用する。 これら3つのモダリティを1つの共有セマンティック空間に統合するために、VATLMは統一トークンのマスク付き予測タスクで最適化される。
  論文  参考訳（メタデータ） (2022-11-21T09:10:10Z)
• AVGZSLNet: Audio-Visual Generalized Zero-Shot Learning by Reconstructing Label Features from Multi-Modal Embeddings [37.3282534461213]
  マルチモーダル環境でゼロショット学習を一般化するための新しい手法を提案する。 テキスト埋め込みのセマンティックな関連性をゼロショット学習の手段として,音声とビデオの埋め込みを対応するクラスラベルテキスト特徴空間と整列させることにより活用する。
  論文  参考訳（メタデータ） (2020-05-27T14:58:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。