論文の概要: Agreement-Based Audio-Visual Segmentation:Champion Report for the MeViS-Audio Track in the 8th LSVOS Challenge
- arxiv url: http://arxiv.org/abs/2608.09475v1
- Date: Mon, 10 Aug 2026 11:43:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:37.229832
- Title: Agreement-Based Audio-Visual Segmentation:Champion Report for the MeViS-Audio Track in the 8th LSVOS Challenge
- Title（参考訳）: コンセンサスに基づくオーディオ・ビジュアル・セグメンテーション:第8回 LSVOS チャレンジにおける MeViS-Audio トラックの事例報告
- Abstract要約: Qwen3-ASRはまず音声をテキストに変換する。
我々は、他の候補者と平均的なマスク契約を持つトラックを選択する。
ビデオレベルの分類器は、視覚的、音声的、およびビデオ内クエリスコアを組み合わせて、どのターゲットが存在するかを決定する。
- 参考スコア（独自算出の注目度）: 46.49526425182438
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The MeViS-Audio track asks a system to segment the objects described by a spoken motion expression throughout a video and to return empty masks when the described target is absent. We present a simple staged solution. Qwen3-ASR first converts speech into text. Several video mask tracks are then produced with complementary grounding and segmentation models. Instead of trusting a single prediction, we select the track that has the highest average mask agreement with the other candidates. A small set of explicit direction, count, and plural rules corrects queries that require more than ordinary single-object tracking. Finally, a video-level classifier combines visual, audio-visual, and within-video query scores to decide whether any target is present. The submitted system obtains 0.5952 J &F, 0.7931 no-target accuracy, 0.9205 target accuracy, and a final score of 0.769589. The challenge organizers notified our team that this result ranked first in the track.
- Abstract（参考訳）: MeViS-Audioトラックは、ビデオを通して音声の動作表現によって記述されたオブジェクトをセグメント化し、記述されたターゲットが存在しないときに空のマスクを返すようシステムに要求する。
簡単な段階解を提示する。
Qwen3-ASRはまず音声をテキストに変換する。
いくつかのビデオマスクトラックは、補完的なグラウンドとセグメンテーションモデルで作成される。
一つの予測を信頼する代わりに、我々は他の候補者と平均的なマスク契約を持つトラックを選択する。
明示的な方向、カウント、および複数のルールの小さなセットは、通常の単一オブジェクト追跡以上のクエリを修正する。
最後に、ビデオレベルの分類器は、視覚的、音声的、およびビデオ内クエリスコアを組み合わせて、どのターゲットが存在するかを決定する。
このシステムでは、0.5952 J&F、0.7931の目標精度、0.9205の目標精度、最終的なスコアが0.769589を得る。
チャレンジオーガナイザは、この結果がトラックで第1位になったことをチームに通知しました。
関連論文リスト
- Motion-Aware Reasoning from Speech to Mask Tracks: Runner-up Solution for the MeViS-Audio Track of the 8th LSVOS Challenge 2026 [18.40525632040563]
音声誘導型参照ビデオオブジェクトセグメンテーションは、音声動作記述によって特定されたオブジェクトのマスクトラックを復元することを目的としている。
我々は,第8回LSVOSチャレンジのMeViS-Audioトラックに対するアプローチであるSpeech2MaskTrackを紹介する。
論文 参考訳（メタデータ） (2026-08-23T10:11:17Z) - Key-Frame Reasoning with SAM3: Third Place Solution for the MeViS-Text Track of the 8th LSVOS Challenge [15.751702557806595]
本報告では,第8回SVOSチャレンジのMeViS-Textトラックに対して,2段階のトレーニングフリーソリューションを提案する。
このタスクは、ビデオ全体を通して自然言語表現によって指定されたオブジェクトをローカライズし、セグメンテーションするモデルを必要とする。
J&F, J, F, N-acc, T-acc, and Final scores of 0.761, 0.7367, 0.7852, 0.8333, 0.9755, 0.856593。
論文 参考訳（メタデータ） (2026-08-18T02:11:03Z) - Multi-Agent Target-Existence Verification and Learned Mask Geometry Refinement: Winning Report of the MeViS-Text Track at the 8th LSVOS Challenge 2026 [0.6416429054645992]
本稿では,第8回LSVOSチャレンジ2026におけるMeViS-Textトラックへの第1位ソリューションを提案する。
偽りの非ターゲット表現を含む、手書きの動作表現でガイドされるビデオオブジェクトのセグメンテーションを参照すること。
我々のパイプラインであるSSUPERは、各表現を視覚概念に分解し、SAM3.1でフルビデオ候補マスクレットを生成し、ターゲットIDを選択する。
論文 参考訳（メタデータ） (2026-08-11T21:47:52Z) - 2nd of the 5th PVUW MeViS-Audio Track: ASR-SaSaSa2VA [47.992210130090065]
本稿では、音声誘導ビデオセグメンテーションのためのリソース効率の高いフレームワークであるASR-SaSa2VAを提案する。
第5回PVUWチャレンジ(MeViS-v2-Audioトラック)で最終スコア80.7を獲得し,第2位を獲得した。
論文 参考訳（メタデータ） (2026-04-27T01:19:56Z) - The 1st Winner for 5th PVUW MeViS-Text Challenge: Strong MLLMs Meet SAM3 for Referring Video Object Segmentation [65.24213788883016]
本報告では,第5回PVUW MeViS-Text Challengeの優勝ソリューションについて述べる。
私たちは、強力なマルチモーダルな大規模言語モデルとSAM3を組み合わせた、完全にトレーニング不要なパイプラインを構築しています。
我々の手法はPVUW 2026 MeViS-Textテストセットで第1位であり、最終スコアは0.909064、J&Fスコアは0.7897026である。
論文 参考訳（メタデータ） (2026-04-01T02:42:30Z) - Learning What To Hear: Boosting Sound-Source Association For Robust Audiovisual Instance Segmentation [37.91678426119673]
既存の手法は2つの根本的な問題から生じる視覚バイアスに悩まされている。一様加法融合は、クエリが異なる音源に特化することを防ぎ、視覚のみの訓練目的は、クエリが任意の有意なオブジェクトに収束することを許している。
クロスアテンションを用いた音声中心クエリ生成を提案し、各クエリは異なる音源に選択的に参加し、音声固有の先行情報を視覚的復号化することができる。
論文 参考訳（メタデータ） (2025-09-26T02:31:17Z) - Audio Does Matter: Importance-Aware Multi-Granularity Fusion for Video Moment Retrieval [58.640807985155554]
Video Moment Retrieval (VMR)は、特定のクエリに関連する特定のモーメントを検索することを目的としている。
既存のVMRメソッドの多くは、補完的ではあるが重要なオーディオのモダリティを無視しながら、視覚的およびテキスト的モダリティにのみ焦点をあてている。
本稿では,VMRの音声ビジョンコンテキストを動的かつ選択的に集約する,新しいImportance-Aware Multi-Granularity fusion Model (IMG)を提案する。
論文 参考訳（メタデータ） (2025-08-06T09:58:43Z) - AIM 2024 Challenge on Video Saliency Prediction: Methods and Results [105.09572982350532]
本稿では,AIM 2024におけるビデオ・サリエンシ予測の課題について概説する。
参加者の目標は、提供されたビデオシーケンスのセットに対して正確な精度マップを予測する方法を開発することであった。
論文 参考訳（メタデータ） (2024-09-23T08:59:22Z) - Tracking Anything in High Quality [63.63653185865726]
HQTrackは高品質なビデオ追跡のためのフレームワークだ。
ビデオマルチオブジェクトセグメンタ(VMOS)とマスクリファインダ(MR)で構成されている。
論文 参考訳（メタデータ） (2023-07-26T06:19:46Z) - Weakly-supervised Audio-visual Sound Source Detection and Separation [38.52168086518221]
本稿では,個々の物体の見た目と音の双方をネットワークが学習する,音声と視覚の協調手法を提案する。
音分離の文脈で弱教師付きオブジェクトセグメンテーションを導入する。
私たちのアーキテクチャはエンドツーエンドで学ぶことができ、追加の監視やバウンディングボックスの提案は必要ありません。
論文 参考訳（メタデータ） (2021-03-25T10:17:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。