論文の概要: Helping Hands: An Object-Aware Ego-Centric Video Recognition Model
- arxiv url: http://arxiv.org/abs/2308.07918v1
- Date: Tue, 15 Aug 2023 17:58:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-16 11:42:08.510384
- Title: Helping Hands: An Object-Aware Ego-Centric Video Recognition Model
- Title（参考訳）: ヘルプハンド:オブジェクト認識型エゴ中心ビデオ認識モデル
- Authors: Chuhan Zhang, Ankush Gupta, Andrew Zisserman
- Abstract要約: オブジェクト認識デコーダを導入し、エゴ中心の動画におけるエゴ中心の表現の性能を向上させる。
このモデルは,エゴ認識ビデオモデルの代替として機能し,視覚テキストのグラウンド化による性能向上を図っている。
- 参考スコア（独自算出の注目度）: 60.350851196619296
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce an object-aware decoder for improving the performance of
spatio-temporal representations on ego-centric videos. The key idea is to
enhance object-awareness during training by tasking the model to predict hand
positions, object positions, and the semantic label of the objects using paired
captions when available. At inference time the model only requires RGB frames
as inputs, and is able to track and ground objects (although it has not been
trained explicitly for this). We demonstrate the performance of the
object-aware representations learnt by our model, by: (i) evaluating it for
strong transfer, i.e. through zero-shot testing, on a number of downstream
video-text retrieval and classification benchmarks; and (ii) by using the
representations learned as input for long-term video understanding tasks (e.g.
Episodic Memory in Ego4D). In all cases the performance improves over the state
of the art -- even compared to networks trained with far larger batch sizes. We
also show that by using noisy image-level detection as pseudo-labels in
training, the model learns to provide better bounding boxes using video
consistency, as well as grounding the words in the associated text
descriptions. Overall, we show that the model can act as a drop-in replacement
for an ego-centric video model to improve performance through visual-text
grounding.
- Abstract（参考訳）: 本稿では,エゴ中心ビデオにおける時空間表現の性能向上を目的としたオブジェクト認識デコーダを提案する。
キーとなるアイデアは、モデルに手の位置、オブジェクトの位置、および、ペアキャプションを使用してオブジェクトの意味ラベルを予測するように指示することで、トレーニング中のオブジェクト認識を高めることである。
推論時には、モデルは入力としてRGBフレームしか必要とせず、オブジェクトの追跡とグラウンドが可能である(ただし、これは明示的に訓練されていない)。
我々は,本モデルで学習したオブジェクト認識表現の性能を示す。
(i)数多くの下流ビデオテキスト検索・分類ベンチマークにおいて、強力な転送、すなわちゼロショットテストにより評価すること。
(ii)長期映像理解タスク(例えば、ego4dにおけるエピソディックメモリ)の入力として学習された表現を用いて
いずれの場合も、非常に大きなバッチサイズでトレーニングされたネットワークと比較しても、パフォーマンスは最先端に向上します。
また,学習中の疑似ラベルとして雑音画像レベル検出を用いることで,映像の一貫性を利用した境界ボックスの改善や,関連するテキスト記述の単語のグラウンド化が実現することを示す。
全体として、このモデルがエゴ中心のビデオモデルのドロップイン代替として機能し、視覚テキストのグラウンド化による性能向上を図っている。
関連論文リスト
- Rethinking Image-to-Video Adaptation: An Object-centric Perspective [61.833533295978484]
本稿では,オブジェクト中心の視点から,画像から映像への適応戦略を提案する。
人間の知覚に触発されて、物体発見のプロキシタスクを画像-映像間移動学習に統合する。
論文 参考訳（メタデータ） (2024-07-09T13:58:10Z) - Vamos: Versatile Action Models for Video Understanding [23.631145570126268]
「多元的行動モデル(Vamos)は、大言語モデルを利用した学習フレームワークである。」
Ego4D,NeXT-QA,IntentQA,Spacewalk-18,Egoの5つのベンチマークでVamosを評価する。
論文 参考訳（メタデータ） (2023-11-22T17:44:24Z) - Frozen CLIP Models are Efficient Video Learners [86.73871814176795]
ビデオ認識はエンドツーエンドの学習パラダイムに支配されている。
Contrastive Vision-Language Pre-Trainingの最近の進歩は、視覚認識タスクのための新しいルートの道を開く。
高品質なビデオ認識モデルを直接トレーニングする効率的なフレームワークである、効率的なビデオ学習を提案する。
論文 参考訳（メタデータ） (2022-08-06T17:38:25Z) - Revisiting Classifier: Transferring Vision-Language Models for Video
Recognition [102.93524173258487]
ダウンストリームタスクのためのタスク非依存の深層モデルから知識を伝達することは、コンピュータビジョン研究において重要なトピックである。
本研究では,映像分類作業における知識の伝達に着目した。
予測された言語モデルを用いて、効率的な翻訳学習のための適切なセマンティックターゲットを生成する。
論文 参考訳（メタデータ） (2022-07-04T10:00:47Z) - Align and Prompt: Video-and-Language Pre-training with Entity Prompts [111.23364631136339]
ビデオと言語による事前トレーニングは、様々なダウンストリームタスクに有望な改善を示している。
Align and Prompt: クロスモーダルアライメントを改良した,効率的かつ効果的なビデオ・言語事前学習フレームワークを提案する。
私たちのコードと事前訓練されたモデルはリリースされます。
論文 参考訳（メタデータ） (2021-12-17T15:55:53Z) - Prompting Visual-Language Models for Efficient Video Understanding [28.754997650215486]
本稿では,事前学習した1つの視覚言語モデルを,最小限のトレーニングで新しいタスクに効果的に適応させる方法を提案する。
静的画像とビデオのギャップを埋めるために、フレームワイドの視覚的特徴の上に軽量なトランスフォーマーを積み重ねたテンポラリな情報をエンコードする。
論文 参考訳（メタデータ） (2021-12-08T18:58:16Z) - Spatio-Temporal Graph for Video Captioning with Knowledge Distillation [50.034189314258356]
空間と時間におけるオブジェクトの相互作用を利用したビデオキャプションのためのグラフモデルを提案する。
我々のモデルは解釈可能なリンクを構築し、明示的な視覚的グラウンドを提供することができる。
オブジェクト数の変動による相関を回避するため,オブジェクト認識型知識蒸留機構を提案する。
論文 参考訳（メタデータ） (2020-03-31T03:58:11Z) - Learning Spatiotemporal Features via Video and Text Pair Discrimination [30.64670449131973]
クロスモーダルペア(CPD)フレームワークは、ビデオとその関連テキスト間の相関をキャプチャする。
我々は、標準的なビデオデータセット(Kinetics-210k)と未処理のWebビデオデータセット(-300k)でCDDモデルをトレーニングし、その効果を実証する。
論文 参考訳（メタデータ） (2020-01-16T08:28:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。