論文の概要: Video-Text Pre-training with Learned Regions

• arxiv url: http://arxiv.org/abs/2112.01194v2
• Date: Mon, 6 Dec 2021 07:25:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-07 12:25:43.062890
• Title: Video-Text Pre-training with Learned Regions
• Title（参考訳）: 学習領域を用いたビデオテキスト事前学習
• Authors: Rui Yan, Mike Zheng Shou, Yixiao Ge, Alex Jinpeng Wang, Xudong Lin, Guanyu Cai, Jinhui Tang
• Abstract要約: Video-Textプレトレーニングは、大規模なビデオテキストペアから転送可能な表現を学ぶことを目的としている。 本研究では,大規模ビデオテキストペアの事前学習において,対象物の構造を考慮に入れたビデオテキスト学習用モジュール「RereaLearner」を提案する。
• 参考スコア（独自算出の注目度）: 59.30893505895156
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video-Text pre-training aims at learning transferable representations from large-scale video-text pairs via aligning the semantics between visual and textual information. State-of-the-art approaches extract visual features from raw pixels in an end-to-end fashion. However, these methods operate at frame-level directly and thus overlook the spatio-temporal structure of objects in video, which yet has a strong synergy with nouns in textual descriptions. In this work, we propose a simple yet effective module for video-text representation learning, namely RegionLearner, which can take into account the structure of objects during pre-training on large-scale video-text pairs. Given a video, our module (1) first quantizes visual features into semantic clusters, then (2) generates learnable masks and uses them to aggregate the features belonging to the same semantic region, and finally (3) models the interactions between different aggregated regions. In contrast to using off-the-shelf object detectors, our proposed module does not require explicit supervision and is much more computationally efficient. We pre-train the proposed approach on the public WebVid2M and CC3M datasets. Extensive evaluations on four downstream video-text retrieval benchmarks clearly demonstrate the effectiveness of our RegionLearner. The code will be available at https://github.com/ruiyan1995/Region_Learner.
• Abstract（参考訳）: ビデオテキスト事前学習は、視覚情報とテキスト情報のセマンティクスを整合させることにより、大規模なビデオテキストペアから転送可能な表現を学習することを目的としている。 最先端のアプローチは、エンドツーエンドで生のピクセルから視覚的特徴を抽出する。 しかし、これらの手法はフレームレベルで直接動作し、ビデオ内のオブジェクトの時空間構造を見落としている。 本研究では,大規模ビデオテキストペアの事前学習において,オブジェクトの構造を考慮に入れた,ビデオテキスト表現学習のための簡易かつ効果的なモジュールを提案する。 ビデオでは,(1)視覚的特徴をセマンティッククラスタに量子化し,(2)学習可能なマスクを生成し,それらを用いて同じセマンティック領域に属する特徴を集約し,(3)異なる集約領域間の相互作用をモデル化する。 市販の物体検出器を使うのとは対照的に、提案するモジュールは明示的な監督を必要としないし、計算効率もはるかに高い。 提案手法をWebVid2MおよびCC3Mデータセット上で事前学習する。 4つのダウンストリームビデオテキスト検索ベンチマークにおける広範囲な評価結果から,本手法の有効性が明らかとなった。 コードはhttps://github.com/ruiyan1995/region_learnerで入手できる。

関連論文リスト

• Structured Video-Language Modeling with Temporal Grouping and Spatial Grounding [112.3913646778859]
  簡単なビデオ言語モデリングフレームワークであるS-ViLMを提案する。 これには、学習領域オブジェクトのアライメントと時間認識機能を促進するために、クリップ間の空間的接地と、クリップ内の時間的グループ化という、2つの新しい設計が含まれている。 S-ViLMは4つの下流タスクにおいて、最先端の手法を大幅に超えている。
  論文  参考訳（メタデータ） (2023-03-28T22:45:07Z)
• Towards Generalisable Video Moment Retrieval: Visual-Dynamic Injection to Image-Text Pre-Training [70.83385449872495]
  映像モーメント検索(VMR)における視覚とテキストの相関 既存の方法は、視覚的およびテキスト的理解のために、個別の事前学習機能抽出器に依存している。 本稿では,映像モーメントの理解を促進するために,ビジュアルダイナミックインジェクション(Visual-Dynamic Injection, VDI)と呼ばれる汎用手法を提案する。
  論文  参考訳（メタデータ） (2023-02-28T19:29:05Z)
• Temporal Perceiving Video-Language Pre-training [112.1790287726804]
  本研究は、時間的・意味的な微粒なアライメントを可能にする、新しいテキスト-ビデオのローカライゼーション・プレテキストタスクを導入する。 具体的には、テキスト-ビデオのローカライゼーションは、テキスト記述が与えられたビデオの開始と終了の境界を予測するモーメント検索から成っている。 提案手法は,細粒度フレーム表現と単語表現を結合し,単一モードにおける異なるインスタンスの表現を暗黙的に区別する。
  論文  参考訳（メタデータ） (2023-01-18T12:15:47Z)
• Contrastive Graph Multimodal Model for Text Classification in Videos [9.218562155255233]
  我々は、マルチモーダル情報を融合させることで、ビデオテキスト分類の新しい課題に最初に対処する。 レイアウト情報を明示的に抽出することで特徴表現を強化するために、相関ネットと呼ばれる特定のモジュールを調整します。 我々は、ビデオテキスト認識および分類アプリケーションの構築と評価を目的とした、TI-Newsと呼ばれるニュースドメインから、明確に定義された新しい産業データセットを構築した。
  論文  参考訳（メタデータ） (2022-06-06T04:06:21Z)
• MILES: Visual BERT Pre-training with Injected Language Semantics for Video-text Retrieval [43.2299969152561]
  ゼロショット・ファインチューン評価プロトコルを用いた4つのデータセットのテキスト・ビデオ検索手法 提案手法は,ゼロショットおよびファインチューン評価プロトコルを用いた4つのデータセット上でのテキスト・ビデオ検索における最先端手法よりも優れる。
  論文  参考訳（メタデータ） (2022-04-26T16:06:31Z)
• Reading-strategy Inspired Visual Representation Learning for Text-to-Video Retrieval [41.420760047617506]
  クロスモーダル表現学習は、ビデオと文の両方を、意味的類似性のための共通空間に計画する。 人間の読み方から着想を得た映像表現学習(RIVRL)を提案する。 我々のモデル RIVRL は TGIF と VATEX の新たな最先端を実現する。
  論文  参考訳（メタデータ） (2022-01-23T03:38:37Z)
• Align and Prompt: Video-and-Language Pre-training with Entity Prompts [111.23364631136339]
  ビデオと言語による事前トレーニングは、様々なダウンストリームタスクに有望な改善を示している。 Align and Prompt: クロスモーダルアライメントを改良した,効率的かつ効果的なビデオ・言語事前学習フレームワークを提案する。 私たちのコードと事前訓練されたモデルはリリースされます。
  論文  参考訳（メタデータ） (2021-12-17T15:55:53Z)
• Watch and Learn: Mapping Language and Noisy Real-world Videos with Self-supervision [54.73758942064708]
  我々は、明示的なアノテーションを使わずに、文章と騒々しいビデオスニペットのマッピングを学習することで、視覚と自然言語を理解するように機械に教える。 トレーニングと評価のために、多数のオンラインビデオとサブタイトルを含む新しいデータセットApartmenTourをコントリビュートする。
  論文  参考訳（メタデータ） (2020-11-19T03:43:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。