論文の概要: Reading-strategy Inspired Visual Representation Learning for Text-to-Video Retrieval

• arxiv url: http://arxiv.org/abs/2201.09168v1
• Date: Sun, 23 Jan 2022 03:38:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-28 02:21:42.569203
• Title: Reading-strategy Inspired Visual Representation Learning for Text-to-Video Retrieval
• Title（参考訳）: テキスト・ビデオ検索のための読解戦略に基づく視覚表現学習
• Authors: Jianfeng Dong, Yabing Wang, Xianke Chen, Xiaoye Qu, Xirong Li, Yuan He, Xun Wang
• Abstract要約: クロスモーダル表現学習は、ビデオと文の両方を、意味的類似性のための共通空間に計画する。 人間の読み方から着想を得た映像表現学習(RIVRL)を提案する。 我々のモデル RIVRL は TGIF と VATEX の新たな最先端を実現する。
• 参考スコア（独自算出の注目度）: 41.420760047617506
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper aims for the task of text-to-video retrieval, where given a query in the form of a natural-language sentence, it is asked to retrieve videos which are semantically relevant to the given query, from a great number of unlabeled videos. The success of this task depends on cross-modal representation learning that projects both videos and sentences into common spaces for semantic similarity computation. In this work, we concentrate on video representation learning, an essential component for text-to-video retrieval. Inspired by the reading strategy of humans, we propose a Reading-strategy Inspired Visual Representation Learning (RIVRL) to represent videos, which consists of two branches: a previewing branch and an intensive-reading branch. The previewing branch is designed to briefly capture the overview information of videos, while the intensive-reading branch is designed to obtain more in-depth information. Moreover, the intensive-reading branch is aware of the video overview captured by the previewing branch. Such holistic information is found to be useful for the intensive-reading branch to extract more fine-grained features. Extensive experiments on three datasets are conducted, where our model RIVRL achieves a new state-of-the-art on TGIF and VATEX. Moreover, on MSR-VTT, our model using two video features shows comparable performance to the state-of-the-art using seven video features and even outperforms models pre-trained on the large-scale HowTo100M dataset.
• Abstract（参考訳）: 本稿では,テキストからビデオへの検索を目的とし,自然言語文形式でのクエリを与えられた場合,多数の未ラベルビデオから,与えられたクエリに意味的に関連のあるビデオの検索を依頼する。 このタスクの成功は、ビデオと文の両方を共通の空間に投影して意味的類似性を計算するクロスモーダル表現学習に依存する。 本研究は,テキストからビデオへの検索に不可欠な要素である映像表現学習に焦点をあてる。 そこで,人間の読書戦略に触発されて,映像表現の表現にrivrl(reading-strategy inspired visual representation learning)を提案する。 プレビューブランチは、ビデオの概要情報を簡潔にキャプチャするために設計され、集中読み込みブランチは、より詳細な情報を得るために設計されている。 さらに、集中読み取りブランチは、プレビューブランチがキャプチャしたビデオ概要を認識している。 このような包括的情報は、よりきめ細かな特徴を抽出する集約読解枝に有用である。 3つのデータセットに対する大規模な実験を行い、我々のモデルRIVRLはTGIFとVATEXの新たな最先端を実現する。 さらに,msr-vttでは,2つのビデオ機能を用いたモデルが,大規模howto100mデータセットで事前トレーニングされたモデルよりも優れた7つのビデオ機能を用いて,最先端と同等のパフォーマンスを示している。

関連論文リスト

• Composed Video Retrieval via Enriched Context and Discriminative Embeddings [118.66322242183249]
  コンポジションビデオ検索(CoVR)はコンピュータビジョンにおいて難しい問題である。 本稿では,クエリ固有のコンテキスト情報を明示的にエンコードするために,詳細な言語記述を活用する新しいCoVRフレームワークを提案する。 我々の手法はリコール@K=1のスコアで7%の上昇を達成した。
  論文  参考訳（メタデータ） (2024-03-25T17:59:03Z)
• InternVid: A Large-scale Video-Text Dataset for Multimodal Understanding and Generation [90.71796406228265]
  InternVidは大規模なビデオ中心のマルチモーダルデータセットで、強力で転送可能なビデオテキスト表現の学習を可能にする。 InternVidデータセットは700万本以上のビデオが760万時間近く持続し、合計4.1Bワードの詳細な記述を伴う234万本のビデオクリップが生成される。
  論文  参考訳（メタデータ） (2023-07-13T17:58:32Z)
• Deep Learning for Video-Text Retrieval: a Review [13.341694455581363]
  Video-Text Retrieval (VTR) は、ある文のセマンティクスに関連する最も関連性の高いビデオを探すことを目的としている。 本稿では,VTRに関する100以上の研究論文をレビューし,要約する。
  論文  参考訳（メタデータ） (2023-02-24T10:14:35Z)
• Are All Combinations Equal? Combining Textual and Visual Features with Multiple Space Learning for Text-Based Video Retrieval [9.537322316673617]
  多様なテキスト・視覚的特徴を特徴対に最適に組み合わせる方法について検討する。 これらの表現を学習するために、提案するネットワークアーキテクチャは、複数の空間学習手順に従って訓練される。
  論文  参考訳（メタデータ） (2022-11-21T11:08:13Z)
• Towards Fast Adaptation of Pretrained Contrastive Models for Multi-channel Video-Language Retrieval [70.30052749168013]
  マルチチャンネルビデオ言語検索は、異なるチャンネルからの情報を理解するためにモデルを必要とする。 対照的なマルチモーダルモデルは、画像やビデオやテキストのエンティティの整合に非常に効果的であることが示されている。 これら2つの行を、限られたデータとリソースを持つマルチチャンネルビデオ言語検索に迅速に適応する方法は、明らかではない。
  論文  参考訳（メタデータ） (2022-06-05T01:43:52Z)
• Video-Text Pre-training with Learned Regions [59.30893505895156]
  Video-Textプレトレーニングは、大規模なビデオテキストペアから転送可能な表現を学ぶことを目的としている。 本研究では,大規模ビデオテキストペアの事前学習において,対象物の構造を考慮に入れたビデオテキスト学習用モジュール「RereaLearner」を提案する。
  論文  参考訳（メタデータ） (2021-12-02T13:06:53Z)
• Watch and Learn: Mapping Language and Noisy Real-world Videos with Self-supervision [54.73758942064708]
  我々は、明示的なアノテーションを使わずに、文章と騒々しいビデオスニペットのマッピングを学習することで、視覚と自然言語を理解するように機械に教える。 トレーニングと評価のために、多数のオンラインビデオとサブタイトルを含む新しいデータセットApartmenTourをコントリビュートする。
  論文  参考訳（メタデータ） (2020-11-19T03:43:56Z)
• Straight to the Point: Fast-forwarding Videos via Reinforcement Learning Using Textual Data [1.004766879203303]
  本稿では,指導ビデオの高速化を目的とした強化学習の定式化に基づく新しい手法を提案する。 本手法では,最終映像のギャップを生じさせることなく,情報伝達に関係のないフレームを適応的に選択できる。 本稿では,VDAN(Visually-Guided Document Attention Network)と呼ばれる新しいネットワークを提案する。
  論文  参考訳（メタデータ） (2020-03-31T14:07:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。