論文の概要: Prompting Segmentation with Sound is Generalizable Audio-Visual Source Localizer

• arxiv url: http://arxiv.org/abs/2309.07929v2
• Date: Mon, 18 Sep 2023 02:04:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-19 21:57:38.318397
• Title: Prompting Segmentation with Sound is Generalizable Audio-Visual Source Localizer
• Title（参考訳）: 一般化可能なオーディオ・ビジュアル・ソース・ローカライザ
• Authors: Yaoting Wang, Weisong Liu, Guangyao Li, Jian Ding, Di Hu, Xi Li
• Abstract要約: 本稿では,アンコーダ-プロンプト-デコーダのパラダイムを導入し,融合したオーディオ視覚機能からローカライゼーションをデコードする。 具体的には,まずセマンティック・アウェア・オーディオ・プロンプト (SAP) の構築について提案する。 我々は,視覚基盤モデルの適切な知識を維持しつつ,最小限のトレーニング努力を維持するための相関適応器(ColA)を開発した。
• 参考スコア（独自算出の注目度）: 22.846623384472377
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Never having seen an object and heard its sound simultaneously, can the model still accurately localize its visual position from the input audio? In this work, we concentrate on the Audio-Visual Localization and Segmentation tasks but under the demanding zero-shot and few-shot scenarios. To achieve this goal, different from existing approaches that mostly employ the encoder-fusion-decoder paradigm to decode localization information from the fused audio-visual feature, we introduce the encoder-prompt-decoder paradigm, aiming to better fit the data scarcity and varying data distribution dilemmas with the help of abundant knowledge from pre-trained models. Specifically, we first propose to construct Semantic-aware Audio Prompt (SAP) to help the visual foundation model focus on sounding objects, meanwhile, the semantic gap between the visual and audio modalities is also encouraged to shrink. Then, we develop a Correlation Adapter (ColA) to keep minimal training efforts as well as maintain adequate knowledge of the visual foundation model. By equipping with these means, extensive experiments demonstrate that this new paradigm outperforms other fusion-based methods in both the unseen class and cross-dataset settings. We hope that our work can further promote the generalization study of Audio-Visual Localization and Segmentation in practical application scenarios.
• Abstract（参考訳）: 物体を見て同時に音を聞いたことはないが、モデルはまだ入力音声から視覚位置を正確に特定できるのだろうか? 本研究では,ゼロショットと少数ショットのシナリオを前提として,オーディオ・ビジュアル・ローカライゼーションとセグメンテーションのタスクに集中する。 この目的を達成するために,コーダ・フュージョン・デコーダ・パラダイムを主に採用する既存のアプローチとは異なり,プリトレーニングモデルから豊富な知識を生かして,データ不足やデータ分散ジレンマの適合性を向上させることを目的としたエンコーダ・プロンプト・デコーダ・パラダイムを導入する。 具体的には、まず、視覚基盤モデルがオブジェクトの聴取に焦点を合わせるのを支援するために、セマンティック・アウェア・オーディオ・プロンプト(SAP)を構築することを提案する。 次に,視覚基礎モデルの知識を十分に保持すると同時に,最小限のトレーニング努力を維持するための相関アダプタ(cola)を開発した。 これらの手段を装備することにより、この新しいパラダイムは、目に見えないクラスとデータセット間の設定の両方において、他の融合ベースのメソッドよりも優れていることを示す。 我々は,本研究が,実用シナリオにおける視聴覚定位とセグメンテーションの一般化研究をさらに促進できることを願っている。

関連論文リスト

• Towards Open-Vocabulary Audio-Visual Event Localization [59.23161248808759]
  本稿では,オープン語彙音声・視覚イベントのローカライズ問題を紹介する。 この問題は、音声・視覚イベントのローカライズと、推測時に見つからないデータの両方の明確なカテゴリの予測を必要とする。 OV-AVEBenchデータセットを提案する。
  論文  参考訳（メタデータ） (2024-11-18T04:35:20Z)
• Label-anticipated Event Disentanglement for Audio-Visual Video Parsing [61.08434062821899]
  我々は新しいデコードパラダイムであるアンダーライン・サンダーライン・エンダーライン・アンダーライン・インダーライン・プロジェクション(LEAP)を導入する。 LEAPは、音声/視覚セグメントの符号化された潜在機能を意味的に独立したラベル埋め込みに反復的に投影する。 LEAPパラダイムを促進するために,新しい音声・視覚的類似性損失関数を含むセマンティック・アウェア・最適化戦略を提案する。
  論文  参考訳（メタデータ） (2024-07-11T01:57:08Z)
• Seeing and Hearing: Open-domain Visual-Audio Generation with Diffusion Latent Aligners [69.70590867769408]
  ビデオとオーディオのコンテンツ制作は、映画産業とプロのユーザーにとって重要な技術である。 既存の拡散に基づく手法は、ビデオと音声を別々に生成する。 本研究では,このギャップを埋めることを目的として,クロス・ビジュアル・オーディオとジョイント・ヴィジュアル・オーディオ生成のためのフレームワークを慎重に設計した。
  論文  参考訳（メタデータ） (2024-02-27T17:57:04Z)
• Unveiling the Power of Audio-Visual Early Fusion Transformers with Dense Interactions through Masked Modeling [24.346868432774453]
  人間は聴覚情報と視覚情報を統合でき、周囲の環境をより深く理解することができる。 認知心理学と神経科学の研究を通じて実証された、音声と視覚の早期融合は、マルチモーダル知覚モデルを開発するための有望な可能性を提供する。 初期融合によるオーディオ・ビジュアル・エンコーダの訓練にマスク付き再構成フレームワークを活用することで、早期融合アーキテクチャの訓練に対処する。 本研究では,局所的な音声と視覚的表現の相互作用を捉え,細粒度な相互作用を捕捉するモデルの能力を向上する,注意に基づく融合モジュールを提案する。
  論文  参考訳（メタデータ） (2023-12-02T03:38:49Z)
• Estimating Visual Information From Audio Through Manifold Learning [14.113590443352495]
  音声信号のみを用いてシーンの視覚情報を抽出する新しい枠組みを提案する。 私たちのフレームワークはマニフォールド学習に基づいており、2つのステップから構成されています。 提案手法は,公開されている音声/視覚データセットを用いて,音声から有意義な画像を生成することができることを示す。
  論文  参考訳（メタデータ） (2022-08-03T20:47:11Z)
• Contrastive Learning of Global and Local Audio-Visual Representations [25.557229705149577]
  グローバルな意味情報を必要とするタスクに一般化する音声視覚表現を学習するための多目的自己教師方式を提案する。 提案手法は,アクション・サウンド分類,口唇読解,ディープフェイク検出,音源定位など,下流の様々なシナリオで汎用的な映像表現を学習できることを示す。
  論文  参考訳（メタデータ） (2021-04-07T07:35:08Z)
• Data Fusion for Audiovisual Speaker Localization: Extending Dynamic Stream Weights to the Spatial Domain [103.3388198420822]
  複数の話者の位置を推定することは、自動音声認識や話者ダイアリゼーションなどのタスクに役立ちます。 本稿では,個別の動的ストリーム重みを特定領域に割り当てることにより,話者定位のための新しい音声視覚データ融合フレームワークを提案する。 オーディオ・ヴィジュアル・レコードを用いた性能評価は,全てのベースラインモデルより優れた融合手法により,有望な結果をもたらす。
  論文  参考訳（メタデータ） (2021-02-23T09:59:31Z)
• Look, Listen, and Attend: Co-Attention Network for Self-Supervised Audio-Visual Representation Learning [17.6311804187027]
  音声と視覚イベントの相関関係は、ニューラルネットワークをトレーニングするための自由教師付き情報として利用することができる。 本稿では,非競合ビデオから汎用的なクロスモーダル表現を学習するためのコアテンション機構を備えた,新しい自己教師型フレームワークを提案する。 実験の結果,従来の手法に比べてパラメータが少なめでありながら,プレテキストタスク上での最先端性能が得られた。
  論文  参考訳（メタデータ） (2020-08-13T10:08:12Z)
• Self-Supervised Learning of Audio-Visual Objects from Video [108.77341357556668]
  本稿では,音源の局所化とグループ化,時間とともに情報収集を行うための光フローに着目したモデルを提案する。 本稿では,4つの下流音声指向タスクにおいて,モデルが学習する音声-視覚オブジェクトの埋め込みの有効性を実証する。
  論文  参考訳（メタデータ） (2020-08-10T16:18:01Z)
• Unsupervised Audiovisual Synthesis via Exemplar Autoencoders [59.13989658692953]
  我々は,任意の個人の入力音声を,潜在的に無限に多くの出力スピーカのオーディオ視覚ストリームに変換する教師なしのアプローチを提案する。 我々は、Exemplar Autoencodersを用いて、特定のターゲット音声の音声、スタイリスティックな韻律、視覚的外観を学習する。
  論文  参考訳（メタデータ） (2020-01-13T18:56:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。