論文の概要: Report of the 8th LSVOS Challenge: Mobile Unified Multimodal Understanding
- arxiv url: http://arxiv.org/abs/2611.16925v1
- Date: Thu, 12 Nov 2026 15:14:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.497911
- Title: Report of the 8th LSVOS Challenge: Mobile Unified Multimodal Understanding
- Title(参考訳): 第8回LSVOSチャレンジ報告:モバイル統合マルチモーダル理解
- Abstract要約: 本報告では,ECCV 2026とともに開催された第8回大規模ビデオオブジェクト(LSVOS)チャレンジのMUMUトラックについて要約する。
MUMUは、0.5Bパラメータと8GBのピーク推論メモリの予算内で、品質、シーン、イベントキャプション、オープンボキャプション、簡潔なイメージキャプションを多概念でタグ付けする単一統一モデルを求める。
タスク、ルール、評価プロトコルを説明し、最終結果を報告し、上位3チームの手法をレビューする。
- 参考スコア(独自算出の注目度): 48.26862107127773
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: This report summarizes the Mobile Unified Multimodal Understanding (MUMU) track of the 8th Large-scale Video Object Segmentation (LSVOS) Challenge, held in conjunction with ECCV 2026. MUMU asks for a single unified model that jointly performs multi-concept image tagging over quality, scene, and event vocabularies, open-vocabulary object detection, and concise image captioning, within a budget of 0.5B parameters and 8 GB of peak inference memory. Submissions are ranked by a weighted task score scaled by an efficiency factor. We describe the tasks, rules, and evaluation protocol, report the final results, and review the methods of the top three teams. All three leading solutions build on the compact Florence-2-base model, but extend it in different ways: lightweight tagging heads with cross-task inference refinement, a shared low-rank adapter trained on coverage-aware multi-source data with task-dependent decoding, and a training-free pipeline that maps captions to tags and applies detection test-time augmentation. The results show that a compact prompt-based vision-language model can serve all three outputs when supervision, decoding, and cross-task cues are designed for each task, while open-vocabulary detection on novel categories remains the main bottleneck.
- Abstract(参考訳): 本報告では,ECCV 2026とともに開催された第8回大規模ビデオオブジェクトセグメンテーション(LSVOS)チャレンジのMUMU(Mobile Unified Multimodal Understanding)トラックについて要約する。
MUMUは、0.5Bパラメータと8GBのピーク推論メモリの予算内で、品質、シーン、イベントボキャブラリ、オープンボキャブラリ、簡潔なイメージキャプションを共同でマルチコンセプトイメージタグする単一統一モデルを求める。
送信は、効率係数によってスケールされた重み付けされたタスクスコアによってランク付けされる。
タスク、ルール、評価プロトコルを説明し、最終結果を報告し、上位3チームの手法をレビューする。
3つの主要なソリューションはすべて、コンパクトなFlorence-2ベースモデルに基づいて構築されているが、さまざまな方法で拡張されている。クロスタスク推論の洗練による軽量なタグ付けヘッド、タスク依存のデコードによるカバレッジ対応マルチソースデータでトレーニングされた共有ローランクアダプタ、キャプションをタグにマッピングし、テスト時間拡張を検出するトレーニングフリーパイプライン。
この結果から,教師,デコード,クロスタスクのキューが各タスク用に設計されている場合に,コンパクトなプロンプトベースの視覚言語モデルが3つのアウトプットすべてに役立てることができる一方で,新規カテゴリのオープン語彙検出が主要なボトルネックであることがわかった。
関連論文リスト
- Efficient Unified Multimodal Understanding (EUMU): Winning Solution for the MUMU Track at the 8th LSVOS Challenge [0.0]
有効統一マルチモーダル理解(EUMU)は、第8回LSVOSチャレンジのMUMUトラックの勝利のソリューションである。
EUMUは、検出とキャプションのプロンプトベースの機能を使用して、共有事前トレーニングされたマルチモーダルモデルを構築している。
EUMUには239.169Mパラメータが含まれ、23.947 GFLOPsが必要であり、4.5GBのピーク推論メモリを使用し、最終挑戦スコアは17.3409である。
論文 参考訳(メタデータ) (2026-09-16T21:37:05Z) - Report of the 8th LSVOS Challenge: Complex and Multimodal Video Object Segmentation [123.08518673784818]
本報告では,ECCV 2026とともに開催された第8回大規模ビデオオブジェクト(LSVOS)チャレンジを要約する。
この課題は、MOSEv2上の複雑な半教師付きビデオオブジェクトセグメンテーション、MeViSv2-Text上のテキスト誘導参照ビデオオブジェクトセグメンテーション、MeViSv2-Audioにおけるオーディオ誘導参照ビデオオブジェクトセグメンテーションの3つの相補的な設定でビデオセグメンテーションを評価する。
論文 参考訳(メタデータ) (2026-09-05T13:11:38Z) - U-CESE: Unified Clip-based Event Search Engine for AI Challenge HCMC 2025 [0.34040662197740373]
U-CESEは、様々なビデオソースにわたるマルチモーダルイベント検索のための統一Clipベースのイベントサーチエンジンである。
中心となるコンポーネントはUnified Clipping Algorithmであり、別個のクリッピングアルゴリズムを1つの効率的なパイプラインにマージする。
U-CESEは、大規模なマルチモーダルイベント検索において、堅牢で、一貫性があり、効率的なパフォーマンスを提供する。
論文 参考訳(メタデータ) (2026-05-22T06:28:41Z) - UniCVR: From Alignment to Reranking for Unified Zero-Shot Composed Visual Retrieval [87.12447641908143]
組込みゼロショット合成ビジュアル検索フレームワークUniCVRを提案する。
UniCVRは、タスク固有の人間アノテーションのない3つのタスクすべてに共同で対処する。
ステージIでは,約3.5Mサンプルのキュレートされたデータセットに対して,コントラスト学習によりMLLMを合成クエリ埋め込み器として訓練する。
ステージIIでは,少数の上位候補に対して適応的予算付サブセットスコアを付与するMLLM誘導二重レベル再ランク機構を導入する。
論文 参考訳(メタデータ) (2026-04-22T08:16:50Z) - Multi-Grained Multimodal Interaction Network for Entity Linking [65.30260033700338]
マルチモーダルエンティティリンクタスクは、マルチモーダル知識グラフへの曖昧な言及を解決することを目的としている。
MELタスクを解決するための新しいMulti-Grained Multimodal InteraCtion Network $textbf(MIMIC)$ frameworkを提案する。
論文 参考訳(メタデータ) (2023-07-19T02:11:19Z) - AIMS: All-Inclusive Multi-Level Segmentation [93.5041381700744]
視覚領域を3つのレベル(パート、エンティティ、リレーション)に分割するタスクであるAll-Inclusive Multi-Level(AIMS)を提案する。
また、アノテーションの不整合とタスク相関の2つの大きな課題に対処するために、マルチデータセットのマルチタスクトレーニングを通じて統合されたAIMSモデルを構築します。
論文 参考訳(メタデータ) (2023-05-28T16:28:49Z) - Prompt Tuning with Soft Context Sharing for Vision-Language Models [42.61889428498378]
本稿では,複数目的の複数ショットタスクにおいて,事前学習した視覚言語モデルを協調的にチューニングする新しい手法を提案する。
我々は,SoftCPTがシングルタスクのプロンプトチューニング方法よりも優れていることを示す。
論文 参考訳(メタデータ) (2022-08-29T10:19:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。