論文の概要: Hearing and Seeing Through CLIP: A Framework for Self-Supervised Sound Source Localization

• arxiv url: http://arxiv.org/abs/2505.05343v1
• Date: Thu, 08 May 2025 15:32:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-09 21:43:49.93826
• Title: Hearing and Seeing Through CLIP: A Framework for Self-Supervised Sound Source Localization
• Title（参考訳）: CLIPによる聴覚と視認: 自己監督型音源定位のためのフレームワーク
• Authors: Sooyoung Park, Arda Senocak, Joon Son Chung,
• Abstract要約: 音声をCLIPのテキストエンコーダと互換性のあるトークンにマッピングするフレームワークを導入する。 これらの埋め込みは、聴覚領域マスクを生成するために使用され、そこから視覚的特徴を抽出し、オーディオ埋め込みと整合させる。 その結果,事前学習したマルチモーダル基礎モデルのアライメント知識により,より完全かつコンパクトな音像定位を生成できることがわかった。
• 参考スコア（独自算出の注目度）: 17.234696376137677
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large-scale vision-language models demonstrate strong multimodal alignment and generalization across diverse tasks. Among them, CLIP stands out as one of the most successful approaches. In this work, we extend the application of CLIP to sound source localization, proposing a self-supervised method operates without explicit text input. We introduce a framework that maps audios into tokens compatible with CLIP's text encoder, producing audio-driven embeddings. These embeddings are used to generate sounding region masks, from which visual features are extracted and aligned with the audio embeddings through a contrastive audio-visual correspondence objective. Our findings show that alignment knowledge of pre-trained multimodal foundation model enables our method to generate more complete and compact localization for sounding objects. We further propose an LLM-guided extension that distills object-aware audio-visual scene understanding into the model during training to enhance alignment. Extensive experiments across five diverse tasks demonstrate that our method, in all variants, outperforms state-of-the-art approaches and achieves strong generalization in zero-shot settings.
• Abstract（参考訳）: 大規模視覚言語モデルは、多様なタスクにまたがる強力なマルチモーダルアライメントと一般化を示す。 その中でもCLIPは、最も成功したアプローチの1つとして際立っている。 本研究では,CLIPの音源定位への応用を拡張し,明示的なテキスト入力を伴わない自己教師型手法を提案する。 音声をCLIPのテキストエンコーダと互換性のあるトークンにマッピングするフレームワークを導入する。 これらの埋め込みは、聴覚領域マスクを生成するために使用され、視覚的特徴を抽出し、コントラスト的な音声-視覚対応目的を通してオーディオ埋め込みと整合する。 その結果,事前学習したマルチモーダル基礎モデルのアライメント知識により,より完全かつコンパクトな音像定位を生成できることがわかった。 さらに、トレーニング中にオブジェクト認識型音声視覚シーン理解をモデルに蒸留し、アライメントを高めるLLM誘導拡張を提案する。 5つの多種多様なタスクにわたる大規模な実験により、我々の手法は、すべての変種において、最先端のアプローチよりも優れ、ゼロショット設定において強力な一般化を実現することを示した。

関連論文リスト

• Bridging Audio and Vision: Zero-Shot Audiovisual Segmentation by Connecting Pretrained Models [13.63552417613795]
  複数の事前学習モデルを活用することでタスク固有のトレーニングを不要にするゼロショットAVSフレームワークを提案する。 提案手法は,音声,視覚,テキスト表現を統合し,AVS固有のアノテーションを使わずに正確な音源分割を可能にする。
  論文  参考訳（メタデータ） (2025-06-06T21:06:35Z)
• CAV-MAE Sync: Improving Contrastive Audio-Visual Mask Autoencoders via Fine-Grained Alignment [76.32508013503653]
  CAV-MAE Sync は,自己教師型音声視覚学習のためのオリジナルの CAV-MAE フレームワークの簡易かつ効果的な拡張として提案する。 音声をグローバルな表現ではなく,映像フレームに整合した時間的シーケンスとして扱うことで,モダリティ間のミスマッチに対処する。 パッチトークンのセマンティック負荷を低減するための学習可能なレジスタトークンを導入することにより,空間的ローカライゼーションを改善する。
  論文  参考訳（メタデータ） (2025-05-02T12:59:58Z)
• CLIP-VAD: Exploiting Vision-Language Models for Voice Activity Detection [2.110168344647122]
  音声活動検出(Voice Activity Detection, VAD)は、人が話しているかどうかを自動的に判断し、発話のタイミングを識別するプロセスである。 コントラスト言語-画像事前学習(CLIP)モデルを利用した新しい手法を提案する。 提案手法は,その単純さに拘わらず,広範囲なオーディオ視覚データセットの事前学習を必要とせず,複数のオーディオ視覚法より優れる。
  論文  参考訳（メタデータ） (2024-10-18T14:43:34Z)
• Meerkat: Audio-Visual Large Language Model for Grounding in Space and Time [73.7845280328535]
  本稿では、画像と音声のきめ細かい理解を備えた音声視覚LLMであるMeerkatを紹介する。 Meerkatは、音声参照画像の接地、画像案内音声の時間的局所化、音声-視覚的事実チェックといった課題に取り組むことができる。 我々は、これらの下流タスクすべてにおいて、37.12%の相対的な改善で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-07-01T23:32:25Z)
• Audio-Visual Generalized Zero-Shot Learning using Pre-Trained Large Multi-Modal Models [53.48409081555687]
  本研究では,視覚機能のためのCLIP,音声機能のためのCLAPといった,このような大規模な事前学習モデルについて検討する。 本稿では,フィードフォワードニューラルネットワークのみに依存する,シンプルで効果的なモデルを提案する。 本フレームワークは,VGGSound-GZSL,UCF-GZSL,ActivityNet-GZSL上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-04-09T13:39:37Z)
• T-VSL: Text-Guided Visual Sound Source Localization in Mixtures [33.28678401737415]
  マルチソース・ミックスからオーディオ・ビジュアル・ソース・コンパレンスをアンタングルするフレームワークを開発する。 我々のフレームワークは、テスト期間中に見つからないクラスに対して、ゼロショットの転送可能性を示す。 MUSIC、VGGSound、VGGSound-Instrumentsデータセットで実施された実験は、最先端の手法よりも大幅に性能が向上したことを示している。
  論文  参考訳（メタデータ） (2024-04-02T09:07:05Z)
• Multi-modal Instruction Tuned LLMs with Fine-grained Visual Perception [63.03288425612792]
  マルチモーダル参照から画素単位のオブジェクト認識と自然言語記述を生成できる汎用MLLMモデルであるbfAnyRefを提案する。 本モデルでは,領域レベルの参照表現生成とセグメンテーションの多様さを含む,複数のベンチマークにおける最先端結果を実現する。
  論文  参考訳（メタデータ） (2024-03-05T13:45:46Z)
• UMG-CLIP: A Unified Multi-Granularity Vision Generalist for Open-World Understanding [90.74967596080982]
  本稿では,マルチグラニュラリティアライメントを備えたコントラスト言語-画像事前学習(CLIP)を拡張した。 UMG-CLIPと呼ばれる統一多言語学習フレームワークを開発した。 パラメータ効率のよいチューニングにより、UMG-CLIPは、現在広く使われているCLIPの亜種を超え、多様な画像理解ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-01-12T06:35:09Z)
• Can CLIP Help Sound Source Localization? [19.370071553914954]
  音声信号をCLIPのテキストエンコーダと互換性のあるトークンに変換するフレームワークを提案する。 これらの埋め込みを直接利用することにより,提案手法は提供音声のための音声グラウンドマスクを生成する。 この結果から,事前学習した画像テキストモデルを用いることで,より完全でコンパクトな音像定位写像を生成できる可能性が示唆された。
  論文  参考訳（メタデータ） (2023-11-07T15:26:57Z)
• Prompting Segmentation with Sound Is Generalizable Audio-Visual Source Localizer [22.846623384472377]
  本稿では,アンコーダ-プロンプト-デコーダのパラダイムを導入し,融合したオーディオ視覚機能からローカライゼーションをデコードする。 具体的には,まずセマンティック・アウェア・オーディオ・プロンプト (SAP) の構築について提案する。 我々は,視覚基盤モデルの適切な知識を維持しつつ,最小限のトレーニング努力を維持するための相関適応器(ColA)を開発した。
  論文  参考訳（メタデータ） (2023-09-13T05:43:35Z)
• VATLM: Visual-Audio-Text Pre-Training with Unified Masked Prediction for Speech Representation Learning [119.49605266839053]
  VATLM (Visual-Audio-Text Language Model) を用いたクロスモーダル表現学習フレームワークを提案する。 提案したVATLMは、モダリティに依存しない情報をモデル化するために、統一されたバックボーンネットワークを使用する。 これら3つのモダリティを1つの共有セマンティック空間に統合するために、VATLMは統一トークンのマスク付き予測タスクで最適化される。
  論文  参考訳（メタデータ） (2022-11-21T09:10:10Z)
• Contrastive Learning of Global and Local Audio-Visual Representations [25.557229705149577]
  グローバルな意味情報を必要とするタスクに一般化する音声視覚表現を学習するための多目的自己教師方式を提案する。 提案手法は,アクション・サウンド分類,口唇読解,ディープフェイク検出,音源定位など,下流の様々なシナリオで汎用的な映像表現を学習できることを示す。
  論文  参考訳（メタデータ） (2021-04-07T07:35:08Z)
• Self-Supervised Learning of Audio-Visual Objects from Video [108.77341357556668]
  本稿では,音源の局所化とグループ化,時間とともに情報収集を行うための光フローに着目したモデルを提案する。 本稿では,4つの下流音声指向タスクにおいて,モデルが学習する音声-視覚オブジェクトの埋め込みの有効性を実証する。
  論文  参考訳（メタデータ） (2020-08-10T16:18:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。