論文の概要: SeaVIS: Sound-Enhanced Association for Online Audio-Visual Instance Segmentation

• arxiv url: http://arxiv.org/abs/2603.01431v1
• Date: Mon, 02 Mar 2026 04:22:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-03 19:50:56.676167
• Title: SeaVIS: Sound-Enhanced Association for Online Audio-Visual Instance Segmentation
• Title（参考訳）: SeaVIS: オンラインオーディオ・ビジュアルインスタンスセグメンテーションのためのサウンド強化アソシエーション
• Authors: Yingjian Zhu, Ying Wang, Yuyang Hong, Ruohao Guo, Kun Ding, Xin Gu, Bin Fan, Shiming Xiang,
• Abstract要約: SeaVISは、音声視覚のインスタンスセグメンテーション用に設計された最初のオンラインフレームワークである。 従来のVIS法における大きな課題は、外見に基づくインスタンスアソシエーションがオブジェクトの発音とサイレント状態の区別に失敗することである。 我々は、視覚的外観だけでなく、聴覚活動もエンコードするインスタンスプロトタイプを作成するために、オーディオガイド型コントラスト学習戦略を採用している。
• 参考スコア（独自算出の注目度）: 35.08253025747471
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, an audio-visual instance segmentation (AVIS) task has been introduced, aiming to identify, segment and track individual sounding instances in videos. However, prevailing methods primarily adopt the offline paradigm, that cannot associate detected instances across consecutive clips, making them unsuitable for real-world scenarios that involve continuous video streams. To address this limitation, we introduce SeaVIS, the first online framework designed for audio-visual instance segmentation. SeaVIS leverages the Causal Cross Attention Fusion (CCAF) module to enable efficient online processing, which integrates visual features from the current frame with the entire audio history under strict causal constraints. A major challenge for conventional VIS methods is that appearance-based instance association fails to distinguish between an object's sounding and silent states, resulting in the incorrect segmentation of silent objects. To tackle this, we employ an Audio-Guided Contrastive Learning (AGCL) strategy to generate instance prototypes that encode not only visual appearance but also sounding activity. In this way, instances preserved during per-frame prediction that do not emit sound can be effectively suppressed during instance association process, thereby significantly enhancing the audio-following capability of SeaVIS. Extensive experiments conducted on the AVISeg dataset demonstrate that SeaVIS surpasses existing state-of-the-art models across multiple evaluation metrics while maintaining a competitive inference speed suitable for real-time processing.
• Abstract（参考訳）: 近年,ビデオ中の個々の音声インスタンスを識別,セグメント化,追跡することを目的としたAVISタスクが導入されている。 しかし、一般的な手法では、検出されたインスタンスを連続するクリップ間で関連付けることができず、連続したビデオストリームを含む現実のシナリオには適さない、オフラインパラダイムが主流である。 この制限に対処するために、私たちは、音声視覚のインスタンスセグメンテーション用に設計された最初のオンラインフレームワークであるSeaVISを紹介します。 SeaVISはCausal Cross Attention Fusion (CCAF)モジュールを活用して効率的なオンライン処理を可能にし、現在のフレームからの視覚的特徴を厳格な因果制約の下でオーディオ履歴全体と統合する。 従来のVIS法における大きな課題は、外見に基づくインスタンスアソシエーションがオブジェクトの発音とサイレント状態の区別に失敗し、結果としてサイレントオブジェクトの誤ったセグメンテーションが生じることである。 そこで我々は,視覚的外観だけでなく聴覚活動もエンコードするサンプルプロトタイプを作成するために,AGCL(Audio-Guided Contrastive Learning)戦略を採用した。 このように、音を発生しないフレーム単位の予測中に保存されたインスタンスは、インスタンスアソシエーションプロセス中に効果的に抑制することができ、SeaVISの音声追従能力を大幅に向上させることができる。 AVISegデータセット上で実施された大規模な実験により、SeaVISは複数の評価指標で既存の最先端モデルを超え、リアルタイム処理に適した競合推論速度を維持していることが示された。

関連論文リスト

• Learning What To Hear: Boosting Sound-Source Association For Robust Audiovisual Instance Segmentation [37.91678426119673]
  既存の手法は2つの根本的な問題から生じる視覚バイアスに悩まされている。一様加法融合は、クエリが異なる音源に特化することを防ぎ、視覚のみの訓練目的は、クエリが任意の有意なオブジェクトに収束することを許している。 クロスアテンションを用いた音声中心クエリ生成を提案し、各クエリは異なる音源に選択的に参加し、音声固有の先行情報を視覚的復号化することができる。
  論文  参考訳（メタデータ） (2025-09-26T02:31:17Z)
• AVadCLIP: Audio-Visual Collaboration for Robust Video Anomaly Detection [57.649223695021114]
  本稿では,ロバストなビデオ異常検出に音声と視覚の協調を利用する,弱教師付きフレームワークを提案する。 本フレームワークは,複数のベンチマークにおいて優れた性能を示し,オーディオ統合により異常検出精度が大幅に向上する。
  論文  参考訳（メタデータ） (2025-04-06T13:59:16Z)
• Label-anticipated Event Disentanglement for Audio-Visual Video Parsing [61.08434062821899]
  我々は新しいデコードパラダイムであるアンダーライン・サンダーライン・エンダーライン・アンダーライン・インダーライン・プロジェクション(LEAP)を導入する。 LEAPは、音声/視覚セグメントの符号化された潜在機能を意味的に独立したラベル埋め込みに反復的に投影する。 LEAPパラダイムを促進するために,新しい音声・視覚的類似性損失関数を含むセマンティック・アウェア・最適化戦略を提案する。
  論文  参考訳（メタデータ） (2024-07-11T01:57:08Z)
• Extending Segment Anything Model into Auditory and Temporal Dimensions for Audio-Visual Segmentation [17.123212921673176]
  本稿では,SAMのエンコーダとマスクデコーダの中間部分に組み込まれた時空間バイビジュアルアテンション(ST-B)モジュールを提案する。 ビデオフレームとオーディオストリーム間の時間的対応を伝達するために、オーディオ視覚機能を適応的に更新する。 提案手法は, AVSベンチマークの最先端手法, 特に8.3% mIoU が, 挑戦的なマルチソースサブセットよりも優れている。
  論文  参考訳（メタデータ） (2024-06-10T10:53:23Z)
• Audio-Visual Instance Segmentation [14.10809424760213]
  音声視覚インスタンスセグメンテーション(AVIS)と呼ばれる新しいマルチモーダルタスクを提案する。 AVISは、可聴ビデオ中の個々のサウンドオブジェクトのインスタンスを同時に識別し、セグメンテーションし、追跡することを目的としている。 AVISegという高品質なベンチマークを導入し、926の長ビデオで26のセマンティックカテゴリから90K以上のインスタンスマスクを含む。
  論文  参考訳（メタデータ） (2023-10-28T13:37:52Z)
• Leveraging Foundation models for Unsupervised Audio-Visual Segmentation [49.94366155560371]
  AVS (Audio-Visual) は、可聴物体をピクセルレベルの視覚シーンで正確に概説することを目的としている。 既存のAVS手法では、教師付き学習方式でオーディオマスク対の細かいアノテーションを必要とする。 タスク固有のデータアノテーションやモデルトレーニングを必要とせず、教師なしの音声-視覚的セグメンテーションを導入する。
  論文  参考訳（メタデータ） (2023-09-13T05:05:47Z)
• RefineVIS: Video Instance Segmentation with Temporal Attention Refinement [23.720986152136785]
  RefineVISは、既製のフレームレベルのイメージインスタンスセグメンテーションモデルの上に、2つの別々の表現を学習する。 TAR(Temporal Attention Refinement)モジュールは、時間的関係を利用して識別的セグメンテーション表現を学習する。 YouTube-VIS 2019 (64.4 AP)、Youtube-VIS 2021 (61.4 AP)、OVIS (46.1 AP)データセットで最先端のビデオインスタンスのセグメンテーション精度を達成する。
  論文  参考訳（メタデータ） (2023-06-07T20:45:15Z)
• Online Video Instance Segmentation via Robust Context Fusion [36.376900904288966]
  ビデオインスタンスセグメンテーション(VIS)は、ビデオシーケンス内のオブジェクトインスタンスを分類、セグメンテーション、追跡することを目的としている。 最近のトランスフォーマーベースのニューラルネットワークは、VISタスクのモデリングの強力な能力を実証している。 そこで本稿では,VISをオンライン方式で扱うための堅牢なコンテキスト融合ネットワークを提案する。
  論文  参考訳（メタデータ） (2022-07-12T15:04:50Z)
• Tag-Based Attention Guided Bottom-Up Approach for Video Instance Segmentation [83.13610762450703]
  ビデオインスタンスは、ビデオシーケンス全体にわたるオブジェクトインスタンスのセグメンテーションと追跡を扱う、基本的なコンピュータビジョンタスクである。 そこで本研究では,従来の領域プロモーター方式ではなく,画素レベルの粒度でインスタンスマスク予測を実現するための,単純なエンドツーエンドのボトムアップ方式を提案する。 提案手法は,YouTube-VIS と DAVIS-19 のデータセット上での競合結果を提供する。
  論文  参考訳（メタデータ） (2022-04-22T15:32:46Z)
• End-to-End Video Instance Segmentation with Transformers [84.17794705045333]
  ビデオインスタンスセグメンテーション(ビデオインスタンスセグメンテーション、英: Video instance segmentation、VIS)は、ビデオに関心のあるオブジェクトインスタンスを同時に分類、セグメンテーション、追跡することを必要とするタスクである。 本稿では,Transformer上に構築された新しいビデオインスタンスセグメンテーションフレームワークVisTRを提案する。 初めて、Transformers上に構築されたよりシンプルで高速なビデオインスタンスセグメンテーションフレームワークをデモし、競争力のある精度を実現した。
  論文  参考訳（メタデータ） (2020-11-30T02:03:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。