論文の概要: TS2-Net: Token Shift and Selection Transformer for Text-Video Retrieval

• arxiv url: http://arxiv.org/abs/2207.07852v1
• Date: Sat, 16 Jul 2022 06:50:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-20 07:32:37.141189
• Title: TS2-Net: Token Shift and Selection Transformer for Text-Video Retrieval
• Title（参考訳）: TS2-Net:テキストビデオ検索のためのトークンシフトと選択変換器
• Authors: Yuqi Liu, Pengfei Xiong, Luhui Xu, Shengming Cao and Qin Jin
• Abstract要約: Token Shift and Selection Network (TS2-Net) を提案する。 詳細な実験に基づいて、提案したTS2-Netは、主要なテキストビデオ検索ベンチマークで最先端のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 42.0544426476143
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text-Video retrieval is a task of great practical value and has received increasing attention, among which learning spatial-temporal video representation is one of the research hotspots. The video encoders in the state-of-the-art video retrieval models usually directly adopt the pre-trained vision backbones with the network structure fixed, they therefore can not be further improved to produce the fine-grained spatial-temporal video representation. In this paper, we propose Token Shift and Selection Network (TS2-Net), a novel token shift and selection transformer architecture, which dynamically adjusts the token sequence and selects informative tokens in both temporal and spatial dimensions from input video samples. The token shift module temporally shifts the whole token features back-and-forth across adjacent frames, to preserve the complete token representation and capture subtle movements. Then the token selection module selects tokens that contribute most to local spatial semantics. Based on thorough experiments, the proposed TS2-Net achieves state-of-the-art performance on major text-video retrieval benchmarks, including new records on MSRVTT, VATEX, LSMDC, ActivityNet, and DiDeMo.
• Abstract（参考訳）: テキストビデオ検索は,非常に実践的な課題であり,空間的時間的映像表現の学習がホットスポットの1つとして注目されている。 最先端映像検索モデルにおける映像エンコーダは通常、ネットワーク構造が固定された事前学習されたビジョンバックボーンを直接採用するので、細粒度の空間時空間映像表現を生成するようには改善できない。 本稿では,トークンシーケンスを動的に調整し,入力ビデオサンプルから時間的・空間的両方の情報的トークンを選択する,新しいトークンシフト選択トランスアーキテクチャであるtoken shift and selection network (ts2-net)を提案する。 トークンシフトモジュールは、トークン全体の特徴を隣接するフレーム間で時間的にシフトし、完全なトークン表現を保持し、微妙な動きをキャプチャする。 次にトークン選択モジュールは、局所的な空間意味論に最も寄与するトークンを選択する。 提案したTS2-Netは、MSRVTT, VATEX, LSMDC, ActivityNet, DiDeMoの新たなレコードを含む、主要なテキストビデオ検索ベンチマークにおける最先端のパフォーマンスを実現する。

関連論文リスト

• Latent-Shift: Latent Diffusion with Temporal Shift for Efficient Text-to-Video Generation [115.09597127418452]
  Latent-Shiftは、事前訓練されたテキスト・ツー・イメージ生成モデルに基づく効率的なテキスト・ツー・ビデオ生成手法である。 Latent-Shiftは、より効率的でありながら、同等またはより良い結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-04-17T17:57:06Z)
• MILES: Visual BERT Pre-training with Injected Language Semantics for Video-text Retrieval [43.2299969152561]
  ゼロショット・ファインチューン評価プロトコルを用いた4つのデータセットのテキスト・ビデオ検索手法 提案手法は,ゼロショットおよびファインチューン評価プロトコルを用いた4つのデータセット上でのテキスト・ビデオ検索における最先端手法よりも優れる。
  論文  参考訳（メタデータ） (2022-04-26T16:06:31Z)
• Video-Text Pre-training with Learned Regions [59.30893505895156]
  Video-Textプレトレーニングは、大規模なビデオテキストペアから転送可能な表現を学ぶことを目的としている。 本研究では,大規模ビデオテキストペアの事前学習において,対象物の構造を考慮に入れたビデオテキスト学習用モジュール「RereaLearner」を提案する。
  論文  参考訳（メタデータ） (2021-12-02T13:06:53Z)
• Efficient Video Transformers with Spatial-Temporal Token Selection [68.27784654734396]
  入力ビデオサンプルに条件付き時間的・空間的両方のトークンを動的に選択するトークン選択フレームワークSTTSを提案する。 我々のフレームワークは、20%の計算を必要としながら、同様の結果を得る。
  論文  参考訳（メタデータ） (2021-11-23T00:35:58Z)
• Spatial-Temporal Transformer for Dynamic Scene Graph Generation [34.190733855032065]
  本研究では,(1)入力フレームを用いてフレーム内の視覚的関係を抽出する空間エンコーダと,(2)空間エンコーダの出力を入力とする時間デコーダの2つのコアモジュールからなるニューラルネットワークを提案する。 我々の方法はベンチマークデータセットAction Genome(AG)で検証されている。
  論文  参考訳（メタデータ） (2021-07-26T16:30:30Z)
• Video Corpus Moment Retrieval with Contrastive Learning [56.249924768243375]
  ビデオコーパスモーメント検索(VCMR)は、与えられたテキストクエリに意味的に対応する時間モーメントを取得することです。 VCMRのためのコントラシブラーニング(ReLoCLNet)を用いた検索・ローカリゼーションネットワークを提案する。 実験の結果、ReLoCLNetは効率のためにテキストとビデオを個別にエンコードし、その検索精度はクロスモーダル相互作用学習を採用するベースラインと匹敵する。
  論文  参考訳（メタデータ） (2021-05-13T12:54:39Z)
• Coarse-Fine Networks for Temporal Activity Detection in Videos [45.03545172714305]
  Co-Fine Networks」は、時間分解の異なる抽象化の恩恵を受け、長期的な動きのためのより良いビデオ表現を学ぶ2流アーキテクチャです。 提案手法は,計算量とメモリフットプリントを大幅に削減して,公開データセットにおける動作検出の最先端を上回ることができることを示す。
  論文  参考訳（メタデータ） (2021-03-01T20:48:01Z)
• Motion-Attentive Transition for Zero-Shot Video Object Segmentation [99.44383412488703]
  ゼロショットオブジェクトセグメンテーションのためのモーション・アテンタティブ・トランジション・ネットワーク(MATNet)を提案する。 モーション・アテンティブ・トランジション (MAT) と呼ばれる非対称のアテンションブロックは、2ストリームエンコーダ内に設計されている。 このように、エンコーダは深く相互に作用し、物体の動きと外観の間の密な階層的な相互作用を可能にする。
  論文  参考訳（メタデータ） (2020-03-09T16:58:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。