論文の概要: Exploring Pre-trained Text-to-Video Diffusion Models for Referring Video Object Segmentation

• arxiv url: http://arxiv.org/abs/2403.12042v2
• Date: Sat, 6 Jul 2024 04:32:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-10 02:09:29.070187
• Title: Exploring Pre-trained Text-to-Video Diffusion Models for Referring Video Object Segmentation
• Title（参考訳）: ビデオオブジェクトセグメンテーション参照のための事前学習型テキスト・ビデオ拡散モデルの検討
• Authors: Zixin Zhu, Xuelu Feng, Dongdong Chen, Junsong Yuan, Chunming Qiao, Gang Hua,
• Abstract要約: ビデオ理解タスクのためのテキスト・ツー・ビデオ拡散モデル(T2V)から生成した視覚的表現について検討する。 固定されたT2Vモデル上に構築された専用コンポーネントを備えた新しいフレームワーク「VD-IT」を紹介する。 我々のVD-ITは、既存の最先端手法を超越して、非常に競争力のある結果を得る。
• 参考スコア（独自算出の注目度）: 72.90144343056227
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we explore the visual representations produced from a pre-trained text-to-video (T2V) diffusion model for video understanding tasks. We hypothesize that the latent representation learned from a pretrained generative T2V model encapsulates rich semantics and coherent temporal correspondences, thereby naturally facilitating video understanding. Our hypothesis is validated through the classic referring video object segmentation (R-VOS) task. We introduce a novel framework, termed "VD-IT", tailored with dedicatedly designed components built upon a fixed pretrained T2V model. Specifically, VD-IT uses textual information as a conditional input, ensuring semantic consistency across time for precise temporal instance matching. It further incorporates image tokens as supplementary textual inputs, enriching the feature set to generate detailed and nuanced masks. Besides, instead of using the standard Gaussian noise, we propose to predict the video-specific noise with an extra noise prediction module, which can help preserve the feature fidelity and elevates segmentation quality. Through extensive experiments, we surprisingly observe that fixed generative T2V diffusion models, unlike commonly used video backbones (e.g., Video Swin Transformer) pretrained with discriminative image/video pre-tasks, exhibit better potential to maintain semantic alignment and temporal consistency. On existing standard benchmarks, our VD-IT achieves highly competitive results, surpassing many existing state-of-the-art methods. The code is available at https://github.com/buxiangzhiren/VD-IT.
• Abstract（参考訳）: 本稿では,ビデオ理解タスクのための事前学習されたテキスト・ツー・ビデオ(T2V)拡散モデルから生成された視覚表現について検討する。 我々は、事前訓練された生成的T2Vモデルから学習した潜在表現が、豊かな意味論と一貫性のある時間的対応をカプセル化し、ビデオ理解を自然に促進する、という仮説を立てる。 我々の仮説は古典的参照ビデオオブジェクトセグメンテーション(R-VOS)タスクによって検証される。 固定事前学習型T2Vモデル上に構築された専用コンポーネントを組み込んだ,"VD-IT"と呼ばれる新しいフレームワークを導入する。 具体的には、VD-ITはテキスト情報を条件入力として使用し、正確な時間的インスタンスマッチングのための時間間のセマンティック一貫性を保証する。 さらに、画像トークンを補足的なテキスト入力として組み込んで、詳細かつニュアンスのあるマスクを生成する機能セットを強化している。 また,標準のガウスノイズの代わりに,特徴の忠実さを保ち,セグメンテーション品質を高めるために,余分なノイズ予測モジュールを用いて映像特有のノイズを予測することを提案する。 広範にわたる実験により,ビデオバックボーン(例えばビデオスウィントランスフォーマー)に画像・ビデオ前タスクを事前訓練した固定型T2V拡散モデルが,意味的アライメントと時間的整合性を維持する可能性が示唆された。 既存の標準ベンチマークでは、我々のVD-ITは、多くの最先端の手法を超越して、非常に競争力のある結果を得る。 コードはhttps://github.com/buxiangzhiren/VD-ITで入手できる。

関連論文リスト

• Let Video Teaches You More: Video-to-Image Knowledge Distillation using DEtection TRansformer for Medical Video Lesion Detection [91.97935118185]
  医用ビデオ病変検出のための画像間知識蒸留法を提案する。 複数フレームのコンテキストを単一のフレームに蒸留することにより、ビデオベースモデルから時間的コンテキストを利用する利点と、画像ベースモデルの推論速度を組み合わせたV2I-DETRを提案する。 V2I-DETRは、画像ベースモデルとしてリアルタイム推論速度(30FPS)を達成しつつ、従来の最先端手法を大きなマージンで上回る。
  論文  参考訳（メタデータ） (2024-08-26T07:17:05Z)
• CV-VAE: A Compatible Video VAE for Latent Generative Video Models [45.702473834294146]
  可変エンコーダ(VAE)は、OpenAIのビデオの自動時間圧縮において重要な役割を果たす。 現在、潜伏拡散に基づくビデオモデルによく使われる連続ビデオ(3D)VAEが欠けている。 本稿では,静止空間が与えられた画像VAEと互換性のある映像モデル,CV-VAEの映像VAEをトレーニングする方法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T17:33:10Z)
• DirecT2V: Large Language Models are Frame-Level Directors for Zero-Shot Text-to-Video Generation [37.25815760042241]
  本稿では,テキスト・ツー・ビデオ(T2V)ビデオを生成するための新しいフレームワークであるDirecT2Vを紹介する。 拡散モデルに新しい値マッピング法とデュアルソフトマックスフィルタリングを適用し、追加のトレーニングを必要としない。 実験により,視覚的コヒーレントかつストーリーフルなビデオ制作におけるフレームワークの有効性が検証された。
  論文  参考訳（メタデータ） (2023-05-23T17:57:09Z)
• Unleashing Text-to-Image Diffusion Models for Visual Perception [84.41514649568094]
  VPD (Visual Perception with a pre-trained diffusion model) は、視覚知覚タスクにおいて、事前訓練されたテキスト・画像拡散モデルの意味情報を利用する新しいフレームワークである。 本稿では,提案したVPDを用いて,下流の視覚的タスクに迅速に適応できることを示す。
  論文  参考訳（メタデータ） (2023-03-03T18:59:47Z)
• Towards Generalisable Video Moment Retrieval: Visual-Dynamic Injection to Image-Text Pre-Training [70.83385449872495]
  映像モーメント検索(VMR)における視覚とテキストの相関 既存の方法は、視覚的およびテキスト的理解のために、個別の事前学習機能抽出器に依存している。 本稿では,映像モーメントの理解を促進するために,ビジュアルダイナミックインジェクション(Visual-Dynamic Injection, VDI)と呼ばれる汎用手法を提案する。
  論文  参考訳（メタデータ） (2023-02-28T19:29:05Z)
• HiTeA: Hierarchical Temporal-Aware Video-Language Pre-training [49.52679453475878]
  本稿では,モーメントとテキスト間の相互アライメントをモデル化するための時間対応ビデオ言語事前学習フレームワークHiTeAを提案する。 15の精確なビデオ言語理解と生成タスクに関する最先端の成果を得た。
  論文  参考訳（メタデータ） (2022-12-30T04:27:01Z)
• Towards Fast Adaptation of Pretrained Contrastive Models for Multi-channel Video-Language Retrieval [70.30052749168013]
  マルチチャンネルビデオ言語検索は、異なるチャンネルからの情報を理解するためにモデルを必要とする。 対照的なマルチモーダルモデルは、画像やビデオやテキストのエンティティの整合に非常に効果的であることが示されている。 これら2つの行を、限られたデータとリソースを持つマルチチャンネルビデオ言語検索に迅速に適応する方法は、明らかではない。
  論文  参考訳（メタデータ） (2022-06-05T01:43:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。