論文の概要: Visual-Aware Speech Recognition for Noisy Scenarios

• arxiv url: http://arxiv.org/abs/2504.07229v1
• Date: Wed, 09 Apr 2025 19:09:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-11 12:24:54.333317
• Title: Visual-Aware Speech Recognition for Noisy Scenarios
• Title（参考訳）: 雑音シナリオに対する視覚的音声認識
• Authors: Lakshmipathi Balaji, Karan Singla,
• Abstract要約: ノイズ源と視覚的手がかりを関連づけることで、転写を改善するモデルを提案する。 唇の動きに依存し、話者の視認性を必要とする作品とは異なり、我々は環境からより広い視覚情報を利用する。 ノイズの多いシナリオでは,既存の音声のみのモデルよりも大幅に改善されている。
• 参考スコア（独自算出の注目度）: 3.444233215003251
• License:
• Abstract: Humans have the ability to utilize visual cues, such as lip movements and visual scenes, to enhance auditory perception, particularly in noisy environments. However, current Automatic Speech Recognition (ASR) or Audio-Visual Speech Recognition (AVSR) models often struggle in noisy scenarios. To solve this task, we propose a model that improves transcription by correlating noise sources to visual cues. Unlike works that rely on lip motion and require the speaker's visibility, we exploit broader visual information from the environment. This allows our model to naturally filter speech from noise and improve transcription, much like humans do in noisy scenarios. Our method re-purposes pretrained speech and visual encoders, linking them with multi-headed attention. This approach enables the transcription of speech and the prediction of noise labels in video inputs. We introduce a scalable pipeline to develop audio-visual datasets, where visual cues correlate to noise in the audio. We show significant improvements over existing audio-only models in noisy scenarios. Results also highlight that visual cues play a vital role in improved transcription accuracy.
• Abstract（参考訳）: 人間は、唇の動きや視覚シーンなどの視覚的手がかりを利用して、特にうるさい環境での聴覚知覚を高めることができる。 しかし、現在のASR(Automatic Speech Recognition)またはAVSR(Audio-Visual Speech Recognition)モデルは、しばしばノイズの多いシナリオで苦労する。 この課題を解決するために,ノイズ源と視覚的手がかりを関連づけることで,文字の書き起こしを改善するモデルを提案する。 唇の動きに依存し、話者の視認性を必要とする作品とは異なり、我々は環境からより広い視覚情報を利用する。 これにより、ノイズから自然に音声をフィルタリングし、人間が騒がしいシナリオで行うような書き起こしを改善することができます。 提案手法は,事前学習した音声と視覚エンコーダを多面的注意と結びつけて再利用する。 この手法により、音声の書き起こしとビデオ入力におけるノイズラベルの予測が可能となる。 我々は、視覚的手がかりが音声のノイズと相関するオーディオ視覚データセットを開発するためのスケーラブルなパイプラインを導入する。 ノイズの多いシナリオでは,既存の音声のみのモデルよりも大幅に改善されている。 結果は、視覚的手がかりが転写精度の向上に重要な役割を担っていることも強調した。

関連論文リスト

• SAV-SE: Scene-aware Audio-Visual Speech Enhancement with Selective State Space Model [35.60147467774199]
  SAV-SEは、同期ビデオからのリッチな文脈情報を、ノイズの種類を示す補助的手がかりとして使うための最初の提案である。 我々の知る限り、これは、音声強調性能を向上させるために、同期ビデオからリッチな文脈情報を補助的手がかりとして使用する最初の提案である。
  論文  参考訳（メタデータ） (2024-11-12T12:23:41Z)
• Cooperative Dual Attention for Audio-Visual Speech Enhancement with Facial Cues [80.53407593586411]
  頑健な音声音声強調(AVSE)のための唇領域を超えて顔の手がかりを活用することに注力する。 本稿では,音声関連情報を無視し,音声関連情報を顔の手がかりで捉え,AVSEの音声信号と動的に統合するDual Attention Cooperative Framework(DualAVSE)を提案する。
  論文  参考訳（メタデータ） (2023-11-24T04:30:31Z)
• Speech inpainting: Context-based speech synthesis guided by video [29.233167442719676]
  本稿では,音声セグメントにおける音声合成の課題である音声-視覚音声の塗装問題に焦点をあてる。 本稿では,視覚的手がかりを生かし,劣化した音声の内容に関する情報を提供する音声-視覚変換器を用いた深層学習モデルを提案する。 また,音声認識のための大規模音声・視覚変換器であるAV-HuBERTで抽出した視覚的特徴が,音声合成にどのように適しているかを示す。
  論文  参考訳（メタデータ） (2023-06-01T09:40:47Z)
• LA-VocE: Low-SNR Audio-visual Speech Enhancement using Neural Vocoders [53.30016986953206]
  雑音の多い音声・視覚音声からのメルスペクトルをトランスフォーマーベースアーキテクチャにより予測する2段階のアプローチであるLA-VocEを提案する。 我々は、何千もの話者と11以上の異なる言語でフレームワークを訓練し、評価し、異なるレベルのバックグラウンドノイズや音声干渉に適応するモデルの能力について研究する。
  論文  参考訳（メタデータ） (2022-11-20T15:27:55Z)
• Egocentric Audio-Visual Noise Suppression [11.113020254726292]
  本稿では,エゴセントリックビデオの音声・視覚ノイズ抑圧について検討する。 ビデオカメラは、外界のオフスクリーンスピーカーのビューをエミュレートします。 まず,エゴセントリックな視覚情報が騒音抑制に有効であることを示す。
  論文  参考訳（メタデータ） (2022-11-07T15:53:12Z)
• Audio-Visual Speech Codecs: Rethinking Audio-Visual Speech Enhancement by Re-Synthesis [67.73554826428762]
  本稿では,AR/VRにおける高忠実度通信のための新しい音声・視覚音声強調フレームワークを提案する。 提案手法は音声・視覚音声の手がかりを利用してニューラル音声のコードを生成することで,ノイズ信号からクリーンでリアルな音声を効率的に合成する。
  論文  参考訳（メタデータ） (2022-03-31T17:57:10Z)
• Learning Audio-Visual Dereverberation [87.52880019747435]
  環境中の表面や物体を反射する音声からの残響は、人間の知覚の質を低下させるだけでなく、自動音声認識の精度にも深刻な影響を及ぼす。 我々の考えは、音声・視覚的観察から音声を除去することである。 そこで我々は,観測音と映像シーンの両方に基づいて残響を除去することを学ぶエンドツーエンドアプローチである,視覚インフォームド・デバーベレーション・オブ・オーディオ(VIDA)を紹介した。
  論文  参考訳（メタデータ） (2021-06-14T20:01:24Z)
• VisualVoice: Audio-Visual Speech Separation with Cross-Modal Consistency [111.55430893354769]
  ビデオでは、同時の背景音や他の人間のスピーカーにもかかわらず、顔に関連するスピーチを抽出することを目的としています。 本手法は,非ラベル映像から音声-視覚音声分離とクロスモーダル話者埋め込みを共同で学習する。 音声-視覚音声分離と強化のための5つのベンチマークデータセットで最新の結果が得られます。
  論文  参考訳（メタデータ） (2021-01-08T18:25:24Z)
• Learning Speech Representations from Raw Audio by Joint Audiovisual Self-Supervision [63.564385139097624]
  生音声波形から自己教師付き音声表現を学習する手法を提案する。 音声のみの自己スーパービジョン(情報的音響属性の予測)と視覚的自己スーパービジョン(音声から発話顔を生成する)を組み合わせることで生音声エンコーダを訓練する。 本研究は,音声表現学習におけるマルチモーダル・セルフ・スーパービジョンの可能性を示すものである。
  論文  参考訳（メタデータ） (2020-07-08T14:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。