論文の概要: VicTR: Video-conditioned Text Representations for Activity Recognition
- arxiv url: http://arxiv.org/abs/2304.02560v1
- Date: Wed, 5 Apr 2023 16:30:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-06 12:06:30.650935
- Title: VicTR: Video-conditioned Text Representations for Activity Recognition
- Title(参考訳): VicTR:活動認識のためのビデオ条件付きテキスト表現
- Authors: Kumara Kahatapitiya, Anurag Arnab, Arsha Nagrani and Michael S. Ryoo
- Abstract要約: テキストとビデオトークンを共同で最適化し,「ビデオ条件付きテキスト」埋め込みを生成するVicTRを提案する。
本手法は,視覚的な補助テキストの形で,自由に利用できるセマンティック情報を活用することができる。
- 参考スコア(独自算出の注目度): 70.48740920699194
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-Language models have shown strong performance in the image-domain --
even in zero-shot settings, thanks to the availability of large amount of
pretraining data (i.e., paired image-text examples). However for videos, such
paired data is not as abundant. Thus, video-text models are usually designed by
adapting pretrained image-text models to video-domain, instead of training from
scratch. All such recipes rely on augmenting visual embeddings with temporal
information (i.e., image -> video), often keeping text embeddings unchanged or
even being discarded. In this paper, we argue that such adapted video-text
models can benefit more by augmenting text rather than visual information. We
propose VicTR, which jointly-optimizes text and video tokens, generating
'Video-conditioned Text' embeddings. Our method can further make use of
freely-available semantic information, in the form of visually-grounded
auxiliary text (e.g., object or scene information). We conduct experiments on
multiple benchmarks including supervised (Kinetics-400, Charades), zero-shot
and few-shot (HMDB-51, UCF-101) settings, showing competitive performance on
activity recognition based on video-text models.
- Abstract(参考訳): ビジョンランゲージモデルは、大量の事前学習データ(ペア画像テキストの例)が利用可能であるため、ゼロショット設定でも、画像領域で強いパフォーマンスを示している。
しかしビデオでは、このようなペアデータはあまり豊富ではない。
したがって、ビデオテキストモデルは、スクラッチからトレーニングする代わりに、訓練済みの画像テキストモデルをビデオドメインに適応することで設計される。
これらのレシピはすべて、時間的情報(画像 -> ビデオ)で視覚的な埋め込みを増強することに依存しており、しばしばテキストの埋め込みは変わらないか、破棄されるかさえある。
本稿では、このような適応型ビデオテキストモデルは、視覚情報よりもテキストを増補することで、より有益であると論じる。
本稿では,テキストとビデオトークンを共同で最適化するVicTRを提案する。
本手法は,視覚的な補助テキスト(オブジェクトやシーン情報など)の形式で,自由に利用できる意味情報を利用することができる。
我々は,ビデオテキストモデルに基づく行動認識における競合性能を示す,教師付き(kinetics-400,charades),ゼロショットおよび少数ショット(hmdb-51,utf-101)などのベンチマーク実験を行った。
関連論文リスト
- VideoCon: Robust Video-Language Alignment via Contrast Captions [80.08882631838914]
ビデオ言語アライメントモデルは、ビデオキャプションのセマンティックなコントラスト変化に対して堅牢ではない。
私たちの研究は、エンティティの置換やアクション、イベント順序の反転など、幅広いコントラストのミスアライメントを特定します。
本モデルは,時間的に拡大したビデオ言語タスクにおけるゼロショット性能の新たな状態を設定する。
論文 参考訳(メタデータ) (2023-11-15T19:51:57Z) - Analyzing Zero-Shot Abilities of Vision-Language Models on Video
Understanding Tasks [6.925770576386087]
本稿では,ゼロショット環境における映像理解タスクの評価において,画像テキストモデルの一般化能力について詳細に検討する。
実験の結果,映像テキストモデルでは,映像AR,ビデオRT,ビデオMCに優れた性能を示すことがわかった。
これらの結果は、コストのかかる事前学習のステップを回避しつつ、基礎的な画像テキストモデルを一連のビデオタスクに適応する利点を浮き彫りにした。
論文 参考訳(メタデータ) (2023-10-07T20:57:54Z) - In-Style: Bridging Text and Uncurated Videos with Style Transfer for
Text-Video Retrieval [72.98185525653504]
トレーニング中は、テキストクエリと未処理のWebビデオのみを併用する、未修正データによる新しい設定、テキストビデオ検索を提案する。
一般化を改善するために、複数のテキストスタイルで1つのモデルを訓練できることを示す。
提案手法の利点を実証するため,複数のデータセットを対象とした検索性能のモデルの評価を行った。
論文 参考訳(メタデータ) (2023-09-16T08:48:21Z) - COSA: Concatenated Sample Pretrained Vision-Language Foundation Model [78.32081709802873]
ほとんどの視覚言語基盤モデルは、事前トレーニングに画像テキストデータセットを使用している。
我々は,COncatenated SAmple pretrained vision- language foundation modelであるCOSAを提案する。
複数の画像テキストペアを事前学習用入力として逐次結合することで、これを実現する。
この変換により、既存の画像テキストコーパスを擬似長文ビデオパラグラフコーパスに変換する。
論文 参考訳(メタデータ) (2023-06-15T12:29:42Z) - Scalable and Accurate Self-supervised Multimodal Representation Learning
without Aligned Video and Text Data [18.479220305684837]
画像キャプションの最近の進歩により、並列なビデオテキストデータなしで高品質な映像モデルを事前訓練することが可能になった。
既存のHowTo100M ASRキャプションよりも,イメージキャプションの擬似ラベルが事前学習に有効であることを示す。
論文 参考訳(メタデータ) (2023-04-04T19:11:05Z) - Towards Generalisable Video Moment Retrieval: Visual-Dynamic Injection
to Image-Text Pre-Training [70.83385449872495]
映像モーメント検索(VMR)における視覚とテキストの相関
既存の方法は、視覚的およびテキスト的理解のために、個別の事前学習機能抽出器に依存している。
本稿では,映像モーメントの理解を促進するために,ビジュアルダイナミックインジェクション(Visual-Dynamic Injection, VDI)と呼ばれる汎用手法を提案する。
論文 参考訳(メタデータ) (2023-02-28T19:29:05Z) - Language Models with Image Descriptors are Strong Few-Shot
Video-Language Learners [167.0346394848718]
画像と言語モデルを用いたビデオ言語学習システムVidILを提案する。
画像言語モデルを用いて、映像コンテンツをフレームキャプション、オブジェクト、属性、イベントフレーズに変換する。
次に、いくつかのインコンテキスト例を含むプロンプトを持つ言語モデルに指示して、合成されたコンテンツからターゲット出力を生成する。
論文 参考訳(メタデータ) (2022-05-22T05:18:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。