論文の概要: Extending Segment Anything Model into Auditory and Temporal Dimensions for Audio-Visual Segmentation

• arxiv url: http://arxiv.org/abs/2406.06163v1
• Date: Mon, 10 Jun 2024 10:53:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-11 14:17:29.210745
• Title: Extending Segment Anything Model into Auditory and Temporal Dimensions for Audio-Visual Segmentation
• Title（参考訳）: 聴覚・時間次元へのセグメンテーションモデルの拡張による聴覚・視覚的セグメンテーション
• Authors: Juhyeong Seon, Woobin Im, Sebin Lee, Jumin Lee, Sung-Eui Yoon,
• Abstract要約: 本稿では,SAMのエンコーダとマスクデコーダの中間部分に組み込まれた時空間バイビジュアルアテンション(ST-B)モジュールを提案する。 ビデオフレームとオーディオストリーム間の時間的対応を伝達するために、オーディオ視覚機能を適応的に更新する。 提案手法は, AVSベンチマークの最先端手法, 特に8.3% mIoU が, 挑戦的なマルチソースサブセットよりも優れている。
• 参考スコア（独自算出の注目度）: 17.123212921673176
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Audio-visual segmentation (AVS) aims to segment sound sources in the video sequence, requiring a pixel-level understanding of audio-visual correspondence. As the Segment Anything Model (SAM) has strongly impacted extensive fields of dense prediction problems, prior works have investigated the introduction of SAM into AVS with audio as a new modality of the prompt. Nevertheless, constrained by SAM's single-frame segmentation scheme, the temporal context across multiple frames of audio-visual data remains insufficiently utilized. To this end, we study the extension of SAM's capabilities to the sequence of audio-visual scenes by analyzing contextual cross-modal relationships across the frames. To achieve this, we propose a Spatio-Temporal, Bidirectional Audio-Visual Attention (ST-BAVA) module integrated into the middle of SAM's image encoder and mask decoder. It adaptively updates the audio-visual features to convey the spatio-temporal correspondence between the video frames and audio streams. Extensive experiments demonstrate that our proposed model outperforms the state-of-the-art methods on AVS benchmarks, especially with an 8.3% mIoU gain on a challenging multi-sources subset.
• Abstract（参考訳）: オーディオ・ビジュアル・セグメンテーション (AVS) は、音声・視覚対応のピクセルレベルの理解を必要とする、映像シーケンス内の音源のセグメンテーションを目的としている。 SAMモデル(Segment Anything Model)は密集予測問題の広範な分野に強い影響を与えているため、先行研究では音声によるAVSへのSAMの導入をプロンプトの新たなモダリティとして検討している。 しかし、SAMの単一フレーム分割方式に制約されているため、音声・視覚データの複数フレームにわたる時間的コンテキストは依然として十分に利用されていない。 そこで本研究では,フレーム間の文脈的相互関係を解析することにより,SAMの音声・視覚シーンのシーケンスへの拡張について検討する。 そこで本研究では,SAMの画像エンコーダとマスクデコーダの中間部に組み込まれた,時空間双方向オーディオ・ビジュアル・アテンション(ST-BAVA)モジュールを提案する。 ビデオフレームとオーディオストリーム間の時空間対応を伝達するために、オーディオ視覚機能を適応的に更新する。 特に8.3%のmIoUを挑戦的なマルチソースサブセットで獲得することで,提案モデルがAVSベンチマークの最先端手法よりも優れていることを示す。

関連論文リスト

• Bootstrapping Audio-Visual Segmentation by Strengthening Audio Cues [75.73217916395386]
  双方向ブリッジを用いた双方向オーディオ・ビジュアルデコーダ(BAVD)を提案する。 この相互作用はモダリティの不均衡を狭め、統合されたオーディオ視覚表現のより効果的な学習を促進する。 また,BAVDの微粒化誘導として,音声・視覚的フレームワイド同期のための戦略を提案する。
  論文  参考訳（メタデータ） (2024-02-04T03:02:35Z)
• Weakly-Supervised Audio-Visual Segmentation [44.632423828359315]
  Weakly-Supervised Audio-Visual framework,すなわちWS-AVSを提案する。 AVSBenchの実験は、単一ソースおよびマルチソースシナリオの弱い教師付きオーディオ視覚セグメント化におけるWS-AVSの有効性を実証している。
  論文  参考訳（メタデータ） (2023-11-25T17:18:35Z)
• Multimodal Variational Auto-encoder based Audio-Visual Segmentation [46.67599800471001]
  ECMVAEは、各モダリティの表現をモダリティ共有表現とモダリティ固有表現で分解する。 当社のアプローチでは,3.84mIOUの性能向上を図りながら,音声・視覚的セグメンテーションのための新たな最先端技術が実現されている。
  論文  参考訳（メタデータ） (2023-10-12T13:09:40Z)
• Auto-ACD: A Large-scale Dataset for Audio-Language Representation Learning [50.28566759231076]
  高品質なキャプションを持つ音声データセットを構築するための,革新的で自動的なアプローチを提案する。 具体的には、150万以上のオーディオテキストペアからなる、大規模で高品質なオーディオ言語データセットをAuto-ACDとして構築する。 我々はLLMを用いて,抽出したマルチモーダルな手がかりによって導かれる,各音声の連接キャプションを言い換える。
  論文  参考訳（メタデータ） (2023-09-20T17:59:32Z)
• Discovering Sounding Objects by Audio Queries for Audio Visual Segmentation [36.50512269898893]
  音質オブジェクトとサイレントオブジェクトを区別するためには、音声と視覚のセマンティック対応と時間的相互作用が必要である。 我々はAQFormerアーキテクチャを提案し、オーディオ情報に基づいてオブジェクトクエリのセットを定義する。 提案手法は,MS3設定における最先端性能,特に7.1%のM_J,7.6%のM_Fゲインを実現する。
  論文  参考訳（メタデータ） (2023-09-18T05:58:06Z)
• Leveraging Foundation models for Unsupervised Audio-Visual Segmentation [49.94366155560371]
  AVS (Audio-Visual) は、可聴物体をピクセルレベルの視覚シーンで正確に概説することを目的としている。 既存のAVS手法では、教師付き学習方式でオーディオマスク対の細かいアノテーションを必要とする。 タスク固有のデータアノテーションやモデルトレーニングを必要とせず、教師なしの音声-視覚的セグメンテーションを導入する。
  論文  参考訳（メタデータ） (2023-09-13T05:05:47Z)
• Visually-Guided Sound Source Separation with Audio-Visual Predictive Coding [57.08832099075793]
  視覚誘導音源分離は、視覚特徴抽出、マルチモーダル特徴融合、音響信号処理の3つの部分からなる。 本稿では,この課題をパラメータ調和とより効果的な方法で解決するために,AVPC(Audio-visual predictive coding)を提案する。 さらに、同一音源の2つの音声視覚表現を共予測することにより、AVPCのための効果的な自己教師型学習戦略を開発する。
  論文  参考訳（メタデータ） (2023-06-19T03:10:57Z)
• AV-SAM: Segment Anything Model Meets Audio-Visual Localization and Segmentation [30.756247389435803]
  Segment Anything Model (SAM)は、視覚的セグメンテーションタスクにおいて、その強力な効果を示した。 AV-SAMをベースとした,音声に対応する音質オブジェクトマスクを生成可能なフレームワークを提案する。 Flickr-SoundNet と AVSBench のデータセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2023-05-03T00:33:52Z)
• Audio-Visual Segmentation [47.10873917119006]
  本稿では,AVS(Audio-visual segmentation)と呼ばれる新しい課題について検討する。 ゴールは、画像フレームの時点で音を生成するオブジェクトのピクセルレベルのマップを出力することである。 本研究では,可聴ビデオにおける音声オブジェクトに対する画素単位のアノテーションを提供するAVSBench(Audio-visual segmentation benchmark)を構築した。
  論文  参考訳（メタデータ） (2022-07-11T17:50:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。