論文の概要: Driving Referring Video Object Segmentation with Vision-Language Pre-trained Models

• arxiv url: http://arxiv.org/abs/2405.10610v1
• Date: Fri, 17 May 2024 08:14:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-20 16:42:27.394338
• Title: Driving Referring Video Object Segmentation with Vision-Language Pre-trained Models
• Title（参考訳）: ビジョンランゲージ事前学習モデルによるビデオオブジェクトセグメンテーションの参照運転
• Authors: Zikun Zhou, Wentao Xiong, Li Zhou, Xin Li, Zhenyu He, Yaowei Wang,
• Abstract要約: 現在のRVOSメソッドは一般的に、バックボーンとして独立して事前訓練された視覚と言語モデルを使用する。 画素レベルの予測に事前学習した表現を適応させる時間認識型プロンプトチューニング手法を提案する。 提案手法は最先端のアルゴリズムより優れ,強力な一般化能力を示す。
• 参考スコア（独自算出の注目度）: 34.37450315995176
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The crux of Referring Video Object Segmentation (RVOS) lies in modeling dense text-video relations to associate abstract linguistic concepts with dynamic visual contents at pixel-level. Current RVOS methods typically use vision and language models pre-trained independently as backbones. As images and texts are mapped to uncoupled feature spaces, they face the arduous task of learning Vision-Language~(VL) relation modeling from scratch. Witnessing the success of Vision-Language Pre-trained (VLP) models, we propose to learn relation modeling for RVOS based on their aligned VL feature space. Nevertheless, transferring VLP models to RVOS is a deceptively challenging task due to the substantial gap between the pre-training task (image/region-level prediction) and the RVOS task (pixel-level prediction in videos). In this work, we introduce a framework named VLP-RVOS to address this transfer challenge. We first propose a temporal-aware prompt-tuning method, which not only adapts pre-trained representations for pixel-level prediction but also empowers the vision encoder to model temporal clues. We further propose to perform multi-stage VL relation modeling while and after feature extraction for comprehensive VL understanding. Besides, we customize a cube-frame attention mechanism for spatial-temporal reasoning. Extensive experiments demonstrate that our method outperforms state-of-the-art algorithms and exhibits strong generalization abilities.
• Abstract（参考訳）: Referring Video Object Segmentation (RVOS) の要点は、抽象言語概念とピクセルレベルでの動的視覚的内容とを関連付けるために、密集したテキストとビデオの関係をモデル化することにある。 現在のRVOSメソッドは一般的に、バックボーンとして独立して事前訓練された視覚と言語モデルを使用する。 画像とテキストは結合しない特徴空間にマッピングされるため、視覚-言語関係モデリング(VL)をスクラッチから学ぶという困難な課題に直面している。 VLP(Vision-Language Pre-trained)モデルの成功に気付き、協調したVL特徴空間に基づいてRVOSの相関モデルを学ぶことを提案する。 それでも、VLPモデルをRVOSに転送するのは、事前トレーニングタスク(画像/領域レベルの予測)とRVOSタスク(ビデオのピクセルレベルの予測)の間にかなりのギャップがあるため、非常に難しい作業である。 本稿では,VLP-RVOS というフレームワークを導入し,この移行問題に対処する。 まず、画素レベルの予測のために事前訓練された表現を適応させるだけでなく、視覚エンコーダに時間的手がかりをモデル化する時間的対応型プロンプトチューニング手法を提案する。 さらに,包括的VL理解のための特徴抽出における多段階VL関係モデリングを提案する。 さらに、時空間推論のための立方体フレームアテンション機構をカスタマイズする。 大規模な実験により,本手法は最先端のアルゴリズムより優れ,強力な一般化能力を示すことが示された。

関連論文リスト

• VL-GPT: A Generative Pre-trained Transformer for Vision and Language Understanding and Generation [79.02357561313785]
  視覚・言語データの同時認識・生成に長けたトランスモデルであるVL-GPT(Vision-Language Generative Pre-Traited Transformer)を導入する。 VL-GPTは、直感的な自己回帰的目的を用いることで、画像とテキストのモダリティを統一した事前学習アプローチを実現する。
  論文  参考訳（メタデータ） (2023-12-14T18:59:43Z)
• Expedited Training of Visual Conditioned Language Generation via Redundancy Reduction [61.16125290912494]
  $textEVL_textGen$は、視覚条件付き言語生成モデルの事前トレーニング用に設計されたフレームワークである。 提案手法は,視覚言語モデルの学習を5倍に加速させるが,全体的な性能に顕著な影響を与えないことを示す。
  論文  参考訳（メタデータ） (2023-10-05T03:40:06Z)
• CAVL: Learning Contrastive and Adaptive Representations of Vision and Language [10.57079240576682]
  視覚的および言語的事前学習は、視覚と言語表現を一緒に学習することを目的としている。 現在の事前訓練されたモデルでは、下流のタスクに転送する際、微調整のために多くの計算資源を必要とする傾向にある。 我々は、視覚と言語、すなわちCAVLのコントラスト表現と適応表現の学習に、シンプルだが効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-04-10T05:54:03Z)
• Teaching Structured Vision&Language Concepts to Vision&Language Models [46.344585368641006]
  SVLC(Structured Vision&Language Concepts)の概念について紹介する。 SVLCは、オブジェクト属性、関係、および、テキストに存在し、画像で見える状態を含む。 本稿では,VLモデルのSVLC理解を高めるための,よりエレガントなデータ駆動手法を提案する。
  論文  参考訳（メタデータ） (2022-11-21T18:54:10Z)
• LiteVL: Efficient Video-Language Learning with Enhanced Spatial-Temporal Modeling [48.283659682112926]
  本稿では,事前学習した画像言語モデルBLIPを,下流タスク上で直接ビデオテキストモデルに適応させるLiteVLを提案する。 また、テキスト上に埋め込まれた微細なビデオ埋め込み条件を適応的に重み付けする非パラメトリックプーリング機構を提案する。
  論文  参考訳（メタデータ） (2022-10-21T13:03:49Z)
• VL-BEiT: Generative Vision-Language Pretraining [107.25298505511184]
  生成前訓練により学習した双方向多モード変換器であるVL-BEiTを提案する。 具体的には、画像テキスト対におけるマスク付き視覚言語モデリング、テキスト上でのマスク付き言語モデリング、画像上でのマスク付き画像モデリングを行う。
  論文  参考訳（メタデータ） (2022-06-02T16:14:19Z)
• PEVL: Position-enhanced Pre-training and Prompt Tuning for Vision-language Models [127.17675443137064]
  PEVLを導入し、明示的なオブジェクト位置モデリングによる視覚言語モデルの事前学習と迅速なチューニングを促進する。 PEVLは、統一言語モデリングフレームワークにおいて、離散化されたオブジェクトの位置と言語を再構成する。 PEVLは,表現理解や句の接頭など,位置感性のあるタスクに対して,最先端のパフォーマンスを実現することができることを示す。
  論文  参考訳（メタデータ） (2022-05-23T10:17:53Z)
• Behind the Scene: Revealing the Secrets of Pre-trained Vision-and-Language Models [65.19308052012858]
  最近のTransformerベースの大規模事前学習モデルは、視覚言語(V+L)研究に革命をもたらした。 VALUEは,マルチモーダル事前学習における内部動作の解明を目的とした,精密に設計された探索タスクのセットである。 主要な観察:事前訓練されたモデルは、推論中の画像よりもテキストに出席する傾向を示す。
  論文  参考訳（メタデータ） (2020-05-15T01:06:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。