論文の概要: 3rd Place Solution for MeViS Track in CVPR 2024 PVUW workshop: Motion Expression guided Video Segmentation

• arxiv url: http://arxiv.org/abs/2406.04842v1
• Date: Fri, 7 Jun 2024 11:15:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-10 14:30:43.491954
• Title: 3rd Place Solution for MeViS Track in CVPR 2024 PVUW workshop: Motion Expression guided Video Segmentation
• Title（参考訳）: 3rd Place Solution for MeViS Track in CVPR 2024 PVUW Workshop: Motion Expression Guided Video Segmentation
• Authors: Feiyu Pan, Hao Fang, Xiankai Lu,
• Abstract要約: 本稿では,凍結事前学習型視覚言語モデル(VLM)をバックボーンとして用いることを提案する。 まず、フリーズした畳み込みCLIPバックボーンを使用して、機能に整合したビジョンとテキスト機能を生成し、ドメインギャップの問題を軽減する。 第二に、マルチモーダル情報の利用を高めるために、パイプラインによりクロスモーダルな特徴融合を追加します。
• 参考スコア（独自算出の注目度）: 13.622700558266658
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Referring video object segmentation (RVOS) relies on natural language expressions to segment target objects in video, emphasizing modeling dense text-video relations. The current RVOS methods typically use independently pre-trained vision and language models as backbones, resulting in a significant domain gap between video and text. In cross-modal feature interaction, text features are only used as query initialization and do not fully utilize important information in the text. In this work, we propose using frozen pre-trained vision-language models (VLM) as backbones, with a specific emphasis on enhancing cross-modal feature interaction. Firstly, we use frozen convolutional CLIP backbone to generate feature-aligned vision and text features, alleviating the issue of domain gap and reducing training costs. Secondly, we add more cross-modal feature fusion in the pipeline to enhance the utilization of multi-modal information. Furthermore, we propose a novel video query initialization method to generate higher quality video queries. Without bells and whistles, our method achieved 51.5 J&F on the MeViS test set and ranked 3rd place for MeViS Track in CVPR 2024 PVUW workshop: Motion Expression guided Video Segmentation.
• Abstract（参考訳）: ビデオオブジェクトセグメンテーション(RVOS)の参照は、ビデオ内のターゲットオブジェクトをセグメントする自然言語表現に依存し、高密度なテキストとビデオの関係をモデル化することを強調する。 現在のRVOSメソッドは通常、独立してトレーニング済みのビジョンと言語モデルをバックボーンとして使用し、ビデオとテキストの間に大きなドメインギャップが生じる。 クロスモーダルな機能相互作用では、テキスト機能はクエリ初期化としてのみ使用され、テキスト内の重要な情報を十分に活用していない。 本研究では,凍結事前学習型視覚言語モデル(VLM)をバックボーンとして用いることを提案する。 まず、フリーズした畳み込みCLIPバックボーンを使用して、機能に整合したビジョンとテキスト機能を生成し、ドメインギャップの問題を軽減するとともに、トレーニングコストを削減します。 第二に、マルチモーダル情報の利用を高めるために、パイプラインによりクロスモーダルな特徴融合を追加します。 さらに,高品質なビデオクエリを生成するための新しいビデオクエリ初期化手法を提案する。 CVPR 2024 PVUWワークショップでは,MeViSテストセットの51.5 J&Fを達成し,MeViSトラックの3位にランクインした。

関連論文リスト

• Driving Referring Video Object Segmentation with Vision-Language Pre-trained Models [34.37450315995176]
  現在のRVOSメソッドは一般的に、バックボーンとして独立して事前訓練された視覚と言語モデルを使用する。 画素レベルの予測に事前学習した表現を適応させる時間認識型プロンプトチューニング手法を提案する。 提案手法は最先端のアルゴリズムより優れ,強力な一般化能力を示す。
  論文  参考訳（メタデータ） (2024-05-17T08:14:22Z)
• VaQuitA: Enhancing Alignment in LLM-Assisted Video Understanding [63.075626670943116]
  本稿では,映像情報とテキスト情報の相乗効果を向上するための最先端フレームワークであるVaQuitAを紹介する。 データレベルでは、フレームを均一にサンプリングする代わりに、CLIPスコアランキングでガイドされるサンプリング手法を実装している。 機能レベルでは、Visual-Query Transformerと一緒にトレーニング可能なVideo Perceiverを統合します。
  論文  参考訳（メタデータ） (2023-12-04T19:48:02Z)
• Towards Generalisable Video Moment Retrieval: Visual-Dynamic Injection to Image-Text Pre-Training [70.83385449872495]
  映像モーメント検索(VMR)における視覚とテキストの相関 既存の方法は、視覚的およびテキスト的理解のために、個別の事前学習機能抽出器に依存している。 本稿では,映像モーメントの理解を促進するために,ビジュアルダイナミックインジェクション(Visual-Dynamic Injection, VDI)と呼ばれる汎用手法を提案する。
  論文  参考訳（メタデータ） (2023-02-28T19:29:05Z)
• STOA-VLP: Spatial-Temporal Modeling of Object and Action for Video-Language Pre-training [30.16501510589718]
  本研究では,空間的・時間的次元にまたがる対象情報と行動情報を協調的にモデル化する事前学習フレームワークを提案する。 我々は,ビデオ言語モデルの事前学習プロセスに,両方の情報をよりうまく組み込むための2つの補助タスクを設計する。
  論文  参考訳（メタデータ） (2023-02-20T03:13:45Z)
• Modeling Motion with Multi-Modal Features for Text-Based Video Segmentation [56.41614987789537]
  テキストベースのビデオセグメンテーションは、対象のオブジェクトを記述文に基づいてビデオに分割することを目的としている。 本研究では, 正確なセグメンテーションを実現するために, 外観, 動き, 言語的特徴を融合, 整合させる手法を提案する。
  論文  参考訳（メタデータ） (2022-04-06T02:42:33Z)
• Align and Prompt: Video-and-Language Pre-training with Entity Prompts [111.23364631136339]
  ビデオと言語による事前トレーニングは、様々なダウンストリームタスクに有望な改善を示している。 Align and Prompt: クロスモーダルアライメントを改良した,効率的かつ効果的なビデオ・言語事前学習フレームワークを提案する。 私たちのコードと事前訓練されたモデルはリリースされます。
  論文  参考訳（メタデータ） (2021-12-17T15:55:53Z)
• Video-Text Pre-training with Learned Regions [59.30893505895156]
  Video-Textプレトレーニングは、大規模なビデオテキストペアから転送可能な表現を学ぶことを目的としている。 本研究では,大規模ビデオテキストペアの事前学習において,対象物の構造を考慮に入れたビデオテキスト学習用モジュール「RereaLearner」を提案する。
  論文  参考訳（メタデータ） (2021-12-02T13:06:53Z)
• Rethinking Cross-modal Interaction from a Top-down Perspective for Referring Video Object Segmentation [140.4291169276062]
  ビデオオブジェクトセグメンテーション(RVOS)は、ビデオオブジェクトを自然言語参照のガイダンスでセグメント化することを目的としている。 以前の手法では、画像格子上の言語参照を直接グラウンド化することで、RVOSに対処するのが一般的であった。 そこで本研究では,複数のサンプルフレームから検出されたオブジェクトマスクをビデオ全体へ伝播させることにより,オブジェクトトラッカーの徹底的なセットを構築した。 次に,Transformerベースのトラックレット言語基底モジュールを提案し,インスタンスレベルの視覚的関係とモーダル間相互作用を同時に,効率的にモデル化する。
  論文  参考訳（メタデータ） (2021-06-02T10:26:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。