論文の概要: 3rd Place of MeViS-Audio Track of the 5th PVUW: VIRST-Audio
- arxiv url: http://arxiv.org/abs/2603.23126v1
- Date: Tue, 24 Mar 2026 12:23:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-25 19:53:37.472354
- Title: 3rd Place of MeViS-Audio Track of the 5th PVUW: VIRST-Audio
- Title（参考訳）: 第5回PVUWのMeViS-Audioトラック3位:VIRST-Audio
- Authors: Jihwan Hong, Jaeyoung Do,
- Abstract要約: VIRST-Audioは、事前訓練されたOSモデルと視覚言語アーキテクチャを統合したフレームワークである。
入力音声をASRモジュールを用いてテキストに変換し,テキストベースでセグメンテーションを行う。
VIRST-Audioが3位となる第5回PVUWチャレンジのMeViS-Audioトラックに対するアプローチを評価した。
- 参考スコア（独自算出の注目度）: 6.447274127678917
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Audio-based Referring Video Object Segmentation (ARVOS) requires grounding audio queries into pixel-level object masks over time, posing challenges in bridging acoustic signals with spatio-temporal visual representations. In this report, we present VIRST-Audio, a practical framework built upon a pretrained RVOS model integrated with a vision-language architecture. Instead of relying on audio-specific training, we convert input audio into text using an ASR module and perform segmentation using text-based supervision, enabling effective transfer from text-based reasoning to audio-driven scenarios. To improve robustness, we further incorporate an existence-aware gating mechanism that estimates whether the referred target object is present in the video and suppresses predictions when it is absent, reducing hallucinated masks and stabilizing segmentation behavior. We evaluate our approach on the MeViS-Audio track of the 5th PVUW Challenge, where VIRST-Audio achieves 3rd place, demonstrating strong generalization and reliable performance in audio-based referring video segmentation.
- Abstract（参考訳）: オーディオベースの参照ビデオオブジェクトセグメンテーション(ARVOS)では、時間とともに画素レベルのオブジェクトマスクに音声クエリを接地する必要がある。
本稿では、VIRST-Audioについて述べる。VIRST-Audioは、事前訓練されたRVOSモデルに基づいて、視覚言語アーキテクチャと統合された実用的なフレームワークである。
ASRモジュールを用いて入力音声をテキストに変換することにより,テキストベースの推論から音声駆動シナリオへの効果的な転送を可能にする。
さらに,ロバスト性を向上させるため,ビデオ中に対象対象物が存在するかどうかを推定し,不在時の予測を抑え,幻覚マスクを低減し,セグメンテーション動作を安定化する存在認識ゲーティング機構を導入する。
我々は,VIRST-Audioが3位となる第5回PVUWチャレンジのMeViS-Audioトラックに対するアプローチを評価し,音声による参照ビデオセグメンテーションにおいて高い一般化と信頼性を示す。
関連論文リスト
- Revisiting Audio-Visual Segmentation with Vision-Centric Transformer [60.83798235788669]
AVS (Audio-Visual) は、オーディオ信号に基づいて、映像フレームに音声を生成するオブジェクトを分割することを目的としている。
本稿では,視覚由来の問合せを利用して,対応する音声や視覚情報を反復的に取得する視覚中心変換フレームワークを提案する。
我々のフレームワークは,AVSBenchデータセットの3つのサブセット上で,最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2025-06-30T08:40:36Z) - Learning Video Temporal Dynamics with Cross-Modal Attention for Robust Audio-Visual Speech Recognition [29.414663568089292]
音声-視覚音声認識は、音声とビデオの両方のモダリティを用いて人間の音声を転写することを目的としている。
本研究では,映像データ中の3つの時間的ダイナミクスを学習することにより,映像特徴の強化を図る。
LRS2 と LRS3 の AVSR ベンチマークにおいて,ノイズ優越性設定のための最先端性能を実現する。
論文 参考訳（メタデータ） (2024-07-04T01:25:20Z) - Language-Guided Audio-Visual Source Separation via Trimodal Consistency [64.0580750128049]
この課題の鍵となる課題は、発音対象の言語的記述と、その視覚的特徴と、音声波形の対応する成分とを関連付けることである。
2つの新たな損失関数を通して擬似目標管理を行うために、既成の視覚言語基盤モデルを適用する。
3つの音声・視覚的分離データセットに対する自己教師型アプローチの有効性を実証する。
論文 参考訳（メタデータ） (2023-03-28T22:45:40Z) - MAViL: Masked Audio-Video Learners [68.61844803682145]
本研究では,masked Audio-Video Learningers (MAViL) を用いて映像表現の学習を行う。
MAViLによる事前トレーニングにより、音声視覚分類および検索タスクにおいて、モデルの性能が向上する。
自己監督型オーディオ視覚モデルが初めて、ベンチマークの外部監視を使用するモデルよりも優れています。
論文 参考訳（メタデータ） (2022-12-15T18:59:59Z) - AVATAR: Unconstrained Audiovisual Speech Recognition [75.17253531162608]
本稿では,ASR TrAnsformeR (AVATAR) を用いて,スペクトルとフルフレームRGBからエンドツーエンドにトレーニングした新しいシーケンス・ツー・シーケンスASR TrAnsformeRを提案する。
本稿では,ハウ2 AV-ASR ベンチマークにおける視覚的モダリティの寄与を,特にシミュレートノイズの存在下で実証する。
また、我々はAV-ASRのための新しい実世界テストベッドVisSpeechを作成し、挑戦的な音声条件下での視覚的モダリティの寄与を実証した。
論文 参考訳（メタデータ） (2022-06-15T17:33:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。