Fugu-MT 論文翻訳(概要): Multi-scale Multi-instance Visual Sound Localization and Segmentation

論文の概要: Multi-scale Multi-instance Visual Sound Localization and Segmentation

arxiv url: http://arxiv.org/abs/2409.00486v1
Date: Sat, 31 Aug 2024 15:43:22 GMT
ステータス: 処理完了
システム内更新日: 2024-09-06 14:39:09.395163
Title: Multi-scale Multi-instance Visual Sound Localization and Segmentation
Title（参考訳）: マルチスケールマルチインスタンス視覚音像定位とセグメンテーション
Authors: Shentong Mo, Haofan Wang,
Abstract要約: 本稿では,M2VSLという新しいマルチスケール視覚音像定位フレームワークを提案する。 M2VSLは入力画像から音源に関連するマルチスケール意味的特徴を学習し,音像の局所化を行う。我々は,VGGSound-Instruments,VGG-Sound Sources,AVSBenchベンチマークについて広範な実験を行った。
参考スコア（独自算出の注目度）: 15.624453757710802
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Visual sound localization is a typical and challenging problem that predicts the location of objects corresponding to the sound source in a video. Previous methods mainly used the audio-visual association between global audio and one-scale visual features to localize sounding objects in each image. Despite their promising performance, they omitted multi-scale visual features of the corresponding image, and they cannot learn discriminative regions compared to ground truths. To address this issue, we propose a novel multi-scale multi-instance visual sound localization framework, namely M2VSL, that can directly learn multi-scale semantic features associated with sound sources from the input image to localize sounding objects. Specifically, our M2VSL leverages learnable multi-scale visual features to align audio-visual representations at multi-level locations of the corresponding image. We also introduce a novel multi-scale multi-instance transformer to dynamically aggregate multi-scale cross-modal representations for visual sound localization. We conduct extensive experiments on VGGSound-Instruments, VGG-Sound Sources, and AVSBench benchmarks. The results demonstrate that the proposed M2VSL can achieve state-of-the-art performance on sounding object localization and segmentation.
Abstract（参考訳）: 映像中の音源に対応する物体の位置を予測する、視覚的音像定位は典型的で困難な問題である。これまでは主に、グローバルオーディオとワンスケール視覚特徴のオーディオ視覚的関連を利用して、各画像内の音像をローカライズしていた。有望な性能にもかかわらず、彼らは対応する画像のマルチスケールの視覚的特徴を省略し、地上の真実と比較して差別的な領域を学習することができない。この問題に対処するために、入力画像から音源に関連付けられたマルチスケール意味的特徴を直接学習し、音像をローカライズする新しいマルチスケール・マルチインスタンス・ビジュアル・サウンド・ローカライズ・フレームワーク M2VSL を提案する。具体的には、M2VSLは学習可能なマルチスケールの視覚的特徴を活用して、対応する画像のマルチレベル位置における音声・視覚的表現を整列させる。また,視覚音像定位のためのマルチスケールクロスモーダル表現を動的に集約する新しいマルチスケールマルチインスタンス変換器を提案する。我々は,VGGSound-Instruments,VGG-Sound Sources,AVSBenchベンチマークについて広範な実験を行った。その結果,提案したM2VSLは,音像定位とセグメンテーションにおける最先端性能を実現することができた。

関連論文リスト

Unveiling Visual Biases in Audio-Visual Localization Benchmarks [52.76903182540441]
既存のベンチマークで大きな問題を特定します。音響オブジェクトは、視覚的バイアス(visual bias)と呼ぶ視覚的手がかりのみに基づいて、容易に認識される。以上の結果から,既存のAVSLベンチマークは音声視覚学習を容易にするためにさらなる改良が必要であることが示唆された。
論文参考訳（メタデータ） (2024-08-25T04:56:08Z)
MMTrail: A Multimodal Trailer Video Dataset with Language and Music Descriptions [69.9122231800796]
MMTrailは,2000万回以上のトレーラークリップと視覚的キャプションを組み込んだ大規模マルチモーダルビデオ言語データセットである。本稿では,27.1k時間以上のトレーラービデオで様々なモダリティアノテーションを実現するシステムキャプションフレームワークを提案する。我々のデータセットは、大きめのマルチモーダル言語モデルトレーニングのためのパスを舗装する可能性がある。
論文参考訳（メタデータ） (2024-07-30T16:43:24Z)
QDFormer: Towards Robust Audiovisual Segmentation in Complex Environments with Quantization-based Semantic Decomposition [47.103732403296654]
マルチソース意味空間は、単一ソース部分空間のカルテシアン積として表すことができる。安定なグローバルな(クリップレベルの)特徴から,局所的な(フレームレベルの)特徴に知識を蒸留する,グローバルから局所的な量子化機構を導入する。意味的に分解された音声表現がAVSの性能を大幅に向上させることを示す実験を行った。
論文参考訳（メタデータ） (2023-09-29T20:48:44Z)
A Unified Audio-Visual Learning Framework for Localization, Separation, and Recognition [26.828874753756523]
本研究では,統合型音声視覚学習フレームワーク(OneAVM)を提案する。 OneAVMは、共有オーディオ視覚エンコーダと3つの目標でトレーニングされたタスク固有のデコーダで構成される。 MUSIC、VGG-Instruments、VGG-Music、VGGSoundデータセットの実験では、3つのタスクすべてに対してOneAVMの有効性が示されている。
論文参考訳（メタデータ） (2023-05-30T23:53:12Z)
Audio-Visual Grouping Network for Sound Localization from Mixtures [30.756247389435803]
従来の単一音源法では、主に音声と視覚の関連を、各画像内の音像の局所化の手がかりとして用いた。入力オーディオと画像から各ソースのカテゴリごとのセマンティックな特徴を直接学習できる新しい音声視覚グループネットワークであるAVGNを提案する。既存のマルチソース手法と比較して,我々の新しいフレームワークはフレキシブルな複数の音源をローカライズし,個々の音源に対してカテゴリ対応の音響視覚表現をアンタングル化することができる。
論文参考訳（メタデータ） (2023-03-29T22:58:55Z)
Dense-Localizing Audio-Visual Events in Untrimmed Videos: A Large-Scale Benchmark and Baseline [53.07236039168652]
本研究では,未編集映像に発生するすべての音声視覚イベントを共同でローカライズし,認識することを目的とした,濃密な局所化音声視覚イベントの課題に焦点をあてる。このデータセットには、30万以上のオーディオ・ヴィジュアル・イベントを含む10万本のビデオが含まれている。次に,様々な長さの音声視覚イベントをローカライズし,それら間の依存関係をひとつのパスでキャプチャする,学習ベースの新しいフレームワークを用いてタスクを定式化する。
論文参考訳（メタデータ） (2023-03-22T22:00:17Z)
Self-Supervised Predictive Learning: A Negative-Free Method for Sound Source Localization in Visual Scenes [91.59435809457659]
自己監督予測学習(英: Self-Supervised Predictive Learning, SSPL)は、音像定位法である。 SSPLはSoundNet-Flickrの8.6% cIoUと3.4% AUCの大幅な改善を実現している。
論文参考訳（メタデータ） (2022-03-25T01:42:42Z)
Class-aware Sounding Objects Localization via Audiovisual Correspondence [51.39872698365446]
複雑な視覚的シナリオにおける音像の局所化と認識を行うための2段階の学習フレームワークを提案する。我々は、カクテルパーティーのシナリオでクラス認識オブジェクトのローカライズマップを生成し、サイレントエリアの抑制にオーディオ視覚対応を使用する。実写ビデオと合成ビデオの両方の実験では、オブジェクトのローカライズと認識だけでなく、サイレントビデオのフィルタリングにも優れていることが示されている。
論文参考訳（メタデータ） (2021-12-22T09:34:33Z)
Joint Learning of Visual-Audio Saliency Prediction and Sound Source Localization on Multi-face Videos [101.83513408195692]
マルチタスク学習手法を提案する。提案手法は,12種類の精度予測法より優れ,音源定位における競合的な結果が得られる。
論文参考訳（メタデータ） (2021-11-05T14:35:08Z)
Multiple Sound Sources Localization from Coarse to Fine [41.56420350529494]
制約のないビデオで複数の音源を視覚的にローカライズする方法は、非常に難しい問題だ。複雑なシーンから異なるカテゴリの音声と視覚の表現を分離する2段階の音声視覚学習フレームワークを開発した。本モデルでは, ローカライゼーションのパブリックデータセット上で, 最先端の結果を得る。
論文参考訳（メタデータ） (2020-07-13T12:59:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。