論文の概要: Can CLIP Help Sound Source Localization?

• arxiv url: http://arxiv.org/abs/2311.04066v1
• Date: Tue, 7 Nov 2023 15:26:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-08 14:58:54.715814
• Title: Can CLIP Help Sound Source Localization?
• Title（参考訳）: CLIPはソースのローカライゼーションに役立つか?
• Authors: Sooyoung Park, Arda Senocak, Joon Son Chung
• Abstract要約: 音声信号をCLIPのテキストエンコーダと互換性のあるトークンに変換するフレームワークを提案する。 これらの埋め込みを直接利用することにより,提案手法は提供音声のための音声グラウンドマスクを生成する。 この結果から,事前学習した画像テキストモデルを用いることで,より完全でコンパクトな音像定位写像を生成できる可能性が示唆された。
• 参考スコア（独自算出の注目度）: 19.370071553914954
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large-scale pre-trained image-text models demonstrate remarkable versatility across diverse tasks, benefiting from their robust representational capabilities and effective multimodal alignment. We extend the application of these models, specifically CLIP, to the domain of sound source localization. Unlike conventional approaches, we employ the pre-trained CLIP model without explicit text input, relying solely on the audio-visual correspondence. To this end, we introduce a framework that translates audio signals into tokens compatible with CLIP's text encoder, yielding audio-driven embeddings. By directly using these embeddings, our method generates audio-grounded masks for the provided audio, extracts audio-grounded image features from the highlighted regions, and aligns them with the audio-driven embeddings using the audio-visual correspondence objective. Our findings suggest that utilizing pre-trained image-text models enable our model to generate more complete and compact localization maps for the sounding objects. Extensive experiments show that our method outperforms state-of-the-art approaches by a significant margin.
• Abstract（参考訳）: 大規模な事前訓練された画像テキストモデルは、その堅牢な表現能力と効果的なマルチモーダルアライメントの恩恵を受けながら、様々なタスクにまたがる顕著な汎用性を示す。 我々は、これらのモデル、特にクリップの応用を音源の局所化の領域にまで拡張する。 従来のアプローチとは異なり、音声と視覚の対応にのみ依存せず、明示的なテキスト入力なしで事前学習したCLIPモデルを採用する。 そこで本研究では,音声信号をクリップのテキストエンコーダと互換性のあるトークンに変換するフレームワークを提案する。 本手法は,これらの埋め込みを直接使用することにより,提供されたオーディオ用音声接地マスクを生成し,強調領域から音声接地画像の特徴を抽出し,音声-視覚対応目標を用いて音声駆動の埋め込みと整列する。 その結果,事前学習した画像テキストモデルを用いることで,より完全でコンパクトな音像定位写像を生成できることがわかった。 広範な実験により,本手法は最先端のアプローチをかなりのマージンで上回っていることが示された。

関連論文リスト

• An Eye for an Ear: Zero-shot Audio Description Leveraging an Image Captioner using Audiovisual Distribution Alignment [6.977241620071544]
  マルチモーダルな大言語モデルは画像キャプションの進歩を加速させた。 本研究では,この機能を音声キャプションに再利用できることを示す。 本稿では,視覚的モダリティのギャップを埋めるための新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-10-08T12:52:48Z)
• Audio-Visual Generalized Zero-Shot Learning using Pre-Trained Large Multi-Modal Models [53.48409081555687]
  本研究では,視覚機能のためのCLIP,音声機能のためのCLAPといった,このような大規模な事前学習モデルについて検討する。 本稿では,フィードフォワードニューラルネットワークのみに依存する,シンプルで効果的なモデルを提案する。 本フレームワークは,VGGSound-GZSL,UCF-GZSL,ActivityNet-GZSL上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-04-09T13:39:37Z)
• Auto-ACD: A Large-scale Dataset for Audio-Language Representation Learning [50.28566759231076]
  高品質なキャプションを持つ音声データセットを構築するための,革新的で自動的なアプローチを提案する。 具体的には、150万以上のオーディオテキストペアからなる、大規模で高品質なオーディオ言語データセットをAuto-ACDとして構築する。 我々はLLMを用いて,抽出したマルチモーダルな手がかりによって導かれる,各音声の連接キャプションを言い換える。
  論文  参考訳（メタデータ） (2023-09-20T17:59:32Z)
• Align, Adapt and Inject: Sound-guided Unified Image Generation [50.34667929051005]
  本稿では,音声誘導画像生成,編集,スタイリングのための統合フレームワーク「アライン,アダプティブ,インジェクション(AAI)」を提案する。 本手法は,既存のテキスト・ツー・イメージ(T2I)モデルを用いて,入力音を通常の単語のように音声トークンに適応させる。 提案するAAIは、他のテキストや音声誘導方式よりも優れています。
  論文  参考訳（メタデータ） (2023-06-20T12:50:49Z)
• CLIPSonic: Text-to-Audio Synthesis with Unlabeled Videos and Pretrained Language-Vision Models [50.42886595228255]
  本稿では,橋梁としての視覚的モダリティを活用して,所望のテキスト・オーディオ対応を学習することを提案する。 我々は、事前訓練されたコントラスト言語画像事前学習モデルによって符号化されたビデオフレームを考慮し、条件付き拡散モデルを用いてビデオの音声トラックを生成する。
  論文  参考訳（メタデータ） (2023-06-16T05:42:01Z)
• Sound to Visual Scene Generation by Audio-to-Visual Latent Alignment [22.912401512161132]
  我々は、各モデルコンポーネントの学習手順をスケジューリングして、オーディオ・視覚的モダリティを関連付けるモデルの設計を行う。 入力音声を視覚的特徴に変換し,事前学習した生成器を用いて画像を生成する。 VEGAS と VGGSound のデータセットは,従来の手法よりもかなりよい結果が得られる。
  論文  参考訳（メタデータ） (2023-03-30T16:01:50Z)
• VATLM: Visual-Audio-Text Pre-Training with Unified Masked Prediction for Speech Representation Learning [119.49605266839053]
  VATLM (Visual-Audio-Text Language Model) を用いたクロスモーダル表現学習フレームワークを提案する。 提案したVATLMは、モダリティに依存しない情報をモデル化するために、統一されたバックボーンネットワークを使用する。 これら3つのモダリティを1つの共有セマンティック空間に統合するために、VATLMは統一トークンのマスク付き予測タスクで最適化される。
  論文  参考訳（メタデータ） (2022-11-21T09:10:10Z)
• Sound-Guided Semantic Image Manipulation [19.01823634838526]
  本稿では,音を直接マルチモーダル(画像テキスト)埋め込み空間にエンコードし,空間から画像を操作するフレームワークを提案する。 提案手法は,様々なモダリティ,すなわちテキストとオーディオを混合し,画像修正の多様性を高める。 ゼロショット音声分類とセマンティックレベルの画像分類の実験により,提案手法が他のテキストや音声誘導手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-11-30T13:30:12Z)
• End-to-end Audio-visual Speech Recognition with Conformers [65.30276363777514]
  ResNet-18とConvolution-augmented Transformer(Conformer)に基づくハイブリッドCTC/Attentionモデルを提案する。 特に、オーディオおよびビジュアルエンコーダは、生のピクセルとオーディオ波形から直接特徴を抽出することを学びます。 提案手法は, 音声のみ, 視覚のみ, および視聴覚実験において, 最先端の性能を高めることを実証する。
  論文  参考訳（メタデータ） (2021-02-12T18:00:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。