論文の概要: Revisiting Temporal Modeling for CLIP-based Image-to-Video Knowledge Transferring

• arxiv url: http://arxiv.org/abs/2301.11116v1
• Date: Thu, 26 Jan 2023 14:12:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-27 13:33:46.155621
• Title: Revisiting Temporal Modeling for CLIP-based Image-to-Video Knowledge Transferring
• Title（参考訳）: CLIPに基づく画像間知識伝達のための時間モデルの再検討
• Authors: Ruyang Liu and Jingjia Huang and Ge Li and Jiashi Feng and Xinglong Wu and Thomas H. Li
• Abstract要約: 画像テキスト事前訓練モデル(例えばCLIP)は、大規模な画像テキストデータペアから学んだ、印象的な汎用マルチモーダル知識を示している。 画像間知識伝達の文脈における時間的モデリングを再考する。 本稿では,CLIPモデルを多様なビデオタスクに拡張する簡易かつ効果的な時間的モデリング機構を提案する。
• 参考スコア（独自算出の注目度）: 82.84513669453744
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image-text pretrained models, e.g., CLIP, have shown impressive general multi-modal knowledge learned from large-scale image-text data pairs, thus attracting increasing attention for their potential to improve visual representation learning in the video domain. In this paper, based on the CLIP model, we revisit temporal modeling in the context of image-to-video knowledge transferring, which is the key point for extending image-text pretrained models to the video domain. We find that current temporal modeling mechanisms are tailored to either high-level semantic-dominant tasks (e.g., retrieval) or low-level visual pattern-dominant tasks (e.g., recognition), and fail to work on the two cases simultaneously. The key difficulty lies in modeling temporal dependency while taking advantage of both high-level and low-level knowledge in CLIP model. To tackle this problem, we present Spatial-Temporal Auxiliary Network (STAN) -- a simple and effective temporal modeling mechanism extending CLIP model to diverse video tasks. Specifically, to realize both low-level and high-level knowledge transferring, STAN adopts a branch structure with decomposed spatial-temporal modules that enable multi-level CLIP features to be spatial-temporally contextualized. We evaluate our method on two representative video tasks: Video-Text Retrieval and Video Recognition. Extensive experiments demonstrate the superiority of our model over the state-of-the-art methods on various datasets, including MSR-VTT, DiDeMo, LSMDC, MSVD, Kinetics-400, and Something-Something-V2. Codes will be available at https://github.com/farewellthree/STAN
• Abstract（参考訳）: 画像テキストプリトレーニングモデル、例えばクリップは、大規模な画像テキストデータペアから学んだ印象的な一般的なマルチモーダル知識を示しており、ビデオ領域での視覚的表現学習を改善する可能性に注目を集めている。 本稿では、CLIPモデルに基づいて、画像から映像への知識伝達の文脈における時間的モデリングを再考する。 現在の時間的モデリングメカニズムは、高レベルなセマンティック支配タスク(例えば、検索)または低レベルな視覚パターン支配タスク(例えば、認識)に適合し、2つのケースで同時に機能しない。 重要な課題は、CLIPモデルにおける高レベルと低レベルの両方の知識を活用しながら、時間的依存をモデル化することである。 この問題に対処するために,CLIPモデルを多様なビデオタスクに拡張するシンプルで効果的な時間的モデリング機構である空間時間補助ネットワーク(STAN)を提案する。 具体的には、低レベルの知識伝達と高レベルの知識伝達の両方を実現するために、STANは、空間時間モジュールを分解した分岐構造を採用する。 本手法は,ビデオテキスト検索とビデオ認識の2つの代表的な課題について評価する。 広範な実験により,msr-vtt,didemo,lsmdc,msvd,kinetics-400,thing-something-v2など,さまざまなデータセットにおける最先端手法よりも優れたモデルが得られた。 コードはhttps://github.com/farewell Three/STANで入手できる。

関連論文リスト

• TC-LLaVA: Rethinking the Transfer from Image to Video Understanding with Temporal Considerations [23.188508465235717]
  本稿では,映像理解タスクにおけるモデルの能力を高めるための2つの戦略を提案する。 第1のアプローチは、回転位置埋め込み(RoPE)と時間認識デュアルRoPEの強化に焦点を当てる。 第二のアプローチは、フレームワイドのブロック因果マスクによる注意マスクの強化である。
  論文  参考訳（メタデータ） (2024-09-05T02:54:17Z)
• Flatten: Video Action Recognition is an Image Classification task [15.518011818978074]
  新たなビデオ表現アーキテクチャであるFlattenは、プラグイン・アンド・プレイモジュールとして機能し、任意の画像理解ネットワークにシームレスに統合できる。 一般的に使用されるデータセットの実験では、Flattenの埋め込みはオリジナルのモデルよりも大幅なパフォーマンス向上をもたらすことが示されている。
  論文  参考訳（メタデータ） (2024-08-17T14:59:58Z)
• Mug-STAN: Adapting Image-Language Pretrained Models for General Video Understanding [47.97650346560239]
  マルチガイドアライメントモジュール(Mug-STAN)を用いた空間時間補助ネットワークを提案する。 Mug-STANは、CLIPやCoCaといった言語画像事前学習モデルの、ビデオテキスト後トレーニングと微調整の段階における適応性を著しく改善する。
  論文  参考訳（メタデータ） (2023-11-25T17:01:38Z)
• Structured Video-Language Modeling with Temporal Grouping and Spatial Grounding [112.3913646778859]
  簡単なビデオ言語モデリングフレームワークであるS-ViLMを提案する。 これには、学習領域オブジェクトのアライメントと時間認識機能を促進するために、クリップ間の空間的接地と、クリップ内の時間的グループ化という、2つの新しい設計が含まれている。 S-ViLMは4つの下流タスクにおいて、最先端の手法を大幅に超えている。
  論文  参考訳（メタデータ） (2023-03-28T22:45:07Z)
• Fine-tuned CLIP Models are Efficient Video Learners [54.96069171726668]
  画像テキストペアによる大規模マルチモーダルトレーニングは、CLIPモデルに強力な一般化を与える。 Video Fine-Tuned CLIP (ViFi-CLIP) ベースラインは一般的に、画像からビデオへの領域ギャップを埋めるのに十分である。
  論文  参考訳（メタデータ） (2022-12-06T18:59:58Z)
• Slow-Fast Visual Tempo Learning for Video-based Action Recognition [78.3820439082979]
  アクション・ビジュアル・テンポ(Action visual tempo)は、アクションのダイナミクスと時間スケールを特徴付ける。 以前の方法は、複数のレートで生のビデオをサンプリングするか、階層的にバックボーンの特徴をサンプリングすることによって、視覚的テンポをキャプチャする。 単一層における低レベルバックボーン特徴からアクション・テンポを抽出するための時間相関モジュール(TCM)を提案する。
  論文  参考訳（メタデータ） (2022-02-24T14:20:04Z)
• TCGL: Temporal Contrastive Graph for Self-supervised Video Representation Learning [79.77010271213695]
  本稿では,TCGL(Temporal Contrastive Graph Learning)という,ビデオの自己教師型学習フレームワークを提案する。 TCGLは、フレームとスニペットの順序に関する以前の知識をグラフ構造、すなわち、インター/インタースニペットの時間トラストグラフ(TCG)に統合します。 ラベルなしビデオの監視信号を生成するために,適応スニペット順序予測(ASOP)モジュールを導入する。
  論文  参考訳（メタデータ） (2021-12-07T09:27:56Z)
• Enhancing Self-supervised Video Representation Learning via Multi-level Feature Optimization [30.670109727802494]
  本稿では,学習ビデオ表現の一般化と時間的モデリング能力を改善するための多段階特徴最適化フレームワークを提案する。 実験により,グラフ制約と時間的モデリングによるマルチレベル特徴最適化は,映像理解における表現能力を大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2021-08-04T17:16:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。