Fugu-MT 論文翻訳(概要): Separating Invisible Sounds Toward Universal Audiovisual Scene-Aware Sound Separation

論文の概要: Separating Invisible Sounds Toward Universal Audiovisual Scene-Aware Sound Separation

arxiv url: http://arxiv.org/abs/2310.11713v1
Date: Wed, 18 Oct 2023 05:03:57 GMT
ステータス: 処理完了
システム内更新日: 2023-10-19 11:56:57.259310
Title: Separating Invisible Sounds Toward Universal Audiovisual Scene-Aware Sound Separation
Title（参考訳）: 不可視音の普遍的視聴覚シーンへの分離-認識音の分離
Authors: Yiyang Su, Ali Vosoughi, Shijian Deng, Yapeng Tian, Chenliang Xu
Abstract要約: 本稿では,新しい「視覚的シーン・アウェア分離」フレームワークを紹介する。目に見えない音のセマンティクスと、シーンインフォームド・分離のためのセパレータを含む。 AVSA-Sepは、ジョイントトレーニングとクロスモーダルアライメントにより、両方のサウンドタイプをうまく分離する。
参考スコア（独自算出の注目度）: 51.06562260845748
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The audio-visual sound separation field assumes visible sources in videos, but this excludes invisible sounds beyond the camera's view. Current methods struggle with such sounds lacking visible cues. This paper introduces a novel "Audio-Visual Scene-Aware Separation" (AVSA-Sep) framework. It includes a semantic parser for visible and invisible sounds and a separator for scene-informed separation. AVSA-Sep successfully separates both sound types, with joint training and cross-modal alignment enhancing effectiveness.
Abstract（参考訳）: 音声と視覚の音の分離領域はビデオの可視音源を仮定するが、これはカメラの視界を超えた可視音を除外する。現在の方法は、目に見える手がかりが欠けているような音に苦しむ。本稿では,Audio-Visual Scene-Aware Separation (AVSA-Sep) フレームワークを紹介する。可視・可視音のためのセマンティックパーサーと、シーンインフォームド分離のためのセパレータを含む。 AVSA-Sepは、ジョイントトレーニングとクロスモーダルアライメントにより、両方のサウンドタイプをうまく分離する。

関連論文リスト

Bootstrapping Audio-Visual Segmentation by Strengthening Audio Cues [75.73217916395386]
双方向ブリッジを用いた双方向オーディオ・ビジュアルデコーダ(BAVD)を提案する。この相互作用はモダリティの不均衡を狭め、統合されたオーディオ視覚表現のより効果的な学習を促進する。また,BAVDの微粒化誘導として,音声・視覚的フレームワイド同期のための戦略を提案する。
論文参考訳（メタデータ） (2024-02-04T03:02:35Z)
Egocentric Audio-Visual Noise Suppression [11.113020254726292]
本稿では,エゴセントリックビデオの音声・視覚ノイズ抑圧について検討する。ビデオカメラは、外界のオフスクリーンスピーカーのビューをエミュレートします。まず,エゴセントリックな視覚情報が騒音抑制に有効であることを示す。
論文参考訳（メタデータ） (2022-11-07T15:53:12Z)
Visually-Aware Audio Captioning With Adaptive Audio-Visual Attention [54.4258176885084]
曖昧な音を正確に認識する方法は、音声キャプションにとって大きな課題である。本稿では,視覚情報を利用して不明瞭な音の物体の記述を支援する視覚認識型音声キャプションを提案する。提案手法は,機械翻訳メトリクスの最先端結果を実現する。
論文参考訳（メタデータ） (2022-10-28T22:45:41Z)
Visual Sound Localization in the Wild by Cross-Modal Interference Erasing [90.21476231683008]
現実のシナリオでは、オーディオは通常、オフスクリーンサウンドとバックグラウンドノイズによって汚染される。本研究では,音声-視覚的音源定位問題に対処する干渉消去(IEr)フレームワークを提案する。
論文参考訳（メタデータ） (2022-02-13T21:06:19Z)
Visual Scene Graphs for Audio Source Separation [65.47212419514761]
視覚的に誘導された音源分離のための最先端のアプローチは、典型的には楽器のような特徴的な音を持つ音源を仮定する。本稿では,シーンの視覚構造をグラフとして埋め込んだ新しい深層学習モデルであるAudio Visual Scene Graph Segmenter (AVSGS)を提案する。我々のパイプラインは、人工混合音から視覚グラフを用いて音源を分離する自己教師タスクにより、エンドツーエンドで訓練される。
論文参考訳（メタデータ） (2021-09-24T13:40:51Z)
Self-Supervised Learning from Automatically Separated Sound Scenes [38.71803524843168]
本稿では,教師なしの自動音声分離を用いてラベルなし音声シーンを意味的にリンクされたビューに分解する。入力混合物と自動的に分離された出力を関連付ける学習は、過去のアプローチよりも強い表現を生み出す。
論文参考訳（メタデータ） (2021-05-05T15:37:17Z)
Weakly-supervised Audio-visual Sound Source Detection and Separation [38.52168086518221]
本稿では,個々の物体の見た目と音の双方をネットワークが学習する,音声と視覚の協調手法を提案する。音分離の文脈で弱教師付きオブジェクトセグメンテーションを導入する。私たちのアーキテクチャはエンドツーエンドで学ぶことができ、追加の監視やバウンディングボックスの提案は必要ありません。
論文参考訳（メタデータ） (2021-03-25T10:17:55Z)
VisualVoice: Audio-Visual Speech Separation with Cross-Modal Consistency [111.55430893354769]
ビデオでは、同時の背景音や他の人間のスピーカーにもかかわらず、顔に関連するスピーチを抽出することを目的としています。本手法は,非ラベル映像から音声-視覚音声分離とクロスモーダル話者埋め込みを共同で学習する。音声-視覚音声分離と強化のための5つのベンチマークデータセットで最新の結果が得られます。
論文参考訳（メタデータ） (2021-01-08T18:25:24Z)
Into the Wild with AudioScope: Unsupervised Audio-Visual Separation of On-Screen Sounds [33.4237979175049]
本稿では,新しい音声-視覚的分離フレームワークであるAudioScopeを紹介する。実際の映像からスクリーン上の音源を分離するための監督なしでトレーニングすることができる。オープンドメインYFCC100mビデオデータから抽出したビデオクリップのデータセットを用いて,本手法の有効性を示す。
論文参考訳（メタデータ） (2020-11-02T17:36:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。