論文の概要: Self-supervised video pretraining yields strong image representations
- arxiv url: http://arxiv.org/abs/2210.06433v1
- Date: Wed, 12 Oct 2022 17:30:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-13 12:25:38.784195
- Title: Self-supervised video pretraining yields strong image representations
- Title(参考訳): 自己教師付きビデオプリトレーニングは強い画像表現をもたらす
- Authors: Nikhil Parthasarathy, S. M. Ali Eslami, Jo\~ao Carreira, Olivier J.
H\'enaff
- Abstract要約: ビデオフレームの動的進化から画像表現の自己教師型学習を再考する。
ビデオと画像のデータセット間のドメインミスマッチに対処するデータセットキュレーション手法を提案する。
本研究では,自然ビデオに現れる複雑な変換を扱うコントラスト学習フレームワークを開発する。
- 参考スコア(独自算出の注目度): 10.406358397515838
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Videos contain far more information than still images and hold the potential
for learning rich representations of the visual world. Yet, pretraining on
image datasets has remained the dominant paradigm for learning representations
that capture spatial information, and previous attempts at video pretraining
have fallen short on image understanding tasks. In this work we revisit
self-supervised learning of image representations from the dynamic evolution of
video frames. To that end, we propose a dataset curation procedure that
addresses the domain mismatch between video and image datasets, and develop a
contrastive learning framework which handles the complex transformations
present in natural videos. This simple paradigm for distilling knowledge from
videos to image representations, called VITO, performs surprisingly well on a
variety of image-based transfer learning tasks. For the first time, our
video-pretrained model closes the gap with ImageNet pretraining on semantic
segmentation on PASCAL and ADE20K and object detection on COCO and LVIS,
suggesting that video-pretraining could become the new default for learning
image representations.
- Abstract(参考訳): ビデオには静止画よりもはるかに多くの情報が含まれており、視覚世界の豊かな表現を学ぶ可能性を秘めている。
しかし、画像データセットの事前トレーニングは、空間情報をキャプチャする表現を学習するための主要なパラダイムであり続けており、以前のビデオ事前トレーニングの試みは、画像理解タスクに不足している。
本研究では,映像フレームの動的進化から映像表現の自己教師あり学習を再考する。
そこで本研究では,映像と画像データセットのドメインミスマッチに対処するデータセットキュレーション手法を提案し,自然映像に存在する複雑な変換を扱うコントラスト学習フレームワークを開発した。
ビデオから画像表現へ知識を抽出する、VTOと呼ばれるこのシンプルなパラダイムは、さまざまな画像ベースの転写学習タスクで驚くほどうまく機能する。
ビデオ事前学習モデルは,PASCALとADE20KのセマンティックセグメンテーションとCOCOとLVISのオブジェクト検出によるImageNet事前学習とギャップを埋めることで,ビデオ事前学習が画像表現の新たなデフォルトとなる可能性が示唆された。
関連論文リスト
- Human-oriented Representation Learning for Robotic Manipulation [64.59499047836637]
人間は本質的に、操作作業において環境を効率的に探索し、相互作用することを可能にする、一般化可能な視覚表現を持っている。
我々は、このアイデアを、事前訓練された視覚エンコーダの上に、人間指向のマルチタスク微調整のレンズを通してフォーマル化する。
我々のタスクフュージョンデコーダは、下流操作ポリシー学習のための最先端の3つのビジュアルエンコーダの表現を一貫して改善する。
論文 参考訳(メタデータ) (2023-10-04T17:59:38Z) - Tem-adapter: Adapting Image-Text Pretraining for Video Question Answer [79.20605034378187]
ビデオ言語事前学習モデルは、ビデオ質問応答タスクの指導において顕著な成功を収めている。
ビデオシーケンスの長さのため、大規模なビデオベースモデルのトレーニングは、画像ベースモデルのトレーニングよりもかなりコストがかかる。
これは、画像ドメインとビデオドメインの間に明らかなギャップがあるにもかかわらず、画像ベースの事前学習からの知識を活用する動機となります。
論文 参考訳(メタデータ) (2023-08-16T15:00:50Z) - ImageBrush: Learning Visual In-Context Instructions for Exemplar-Based
Image Manipulation [49.07254928141495]
我々は、より正確な画像編集のための視覚的指示を学習する、ImageBrushと呼ばれる新しい操作手法を提案する。
私たちのキーとなるアイデアは、人間の意図を正確に捉えた2つの変換画像を視覚的指示として使うことです。
提案モデルでは,ポーズ伝達,画像翻訳,映像インパインティングなどの下流タスクに対して,ロバストな一般化機能を示す。
論文 参考訳(メタデータ) (2023-08-02T01:57:11Z) - How Would The Viewer Feel? Estimating Wellbeing From Video Scenarios [73.24092762346095]
情緒応答と主観的幸福感に注釈を付けた6万本以上のビデオを備えた大規模データセットを2つ導入した。
Video Cognitive Empathyデータセットには、微粒な感情応答の分布のためのアノテーションが含まれており、モデルが感情状態の詳細な理解を得ることができる。
Video to Valenceデータセットには、ビデオ間の相対的な快適性のアノテーションが含まれている。
論文 参考訳(メタデータ) (2022-10-18T17:58:25Z) - Prompting Visual-Language Models for Efficient Video Understanding [28.754997650215486]
本稿では,事前学習した1つの視覚言語モデルを,最小限のトレーニングで新しいタスクに効果的に適応させる方法を提案する。
静的画像とビデオのギャップを埋めるために、フレームワイドの視覚的特徴の上に軽量なトランスフォーマーを積み重ねたテンポラリな情報をエンコードする。
論文 参考訳(メタデータ) (2021-12-08T18:58:16Z) - PreViTS: Contrastive Pretraining with Video Tracking Supervision [53.73237606312024]
PreViTSは、同じオブジェクトを含むクリップを選択するための教師なしSSLフレームワークである。
PreViTSはフレーム領域を空間的に制約し、モデルから学習し、意味のあるオブジェクトを見つけるように訓練する。
モーメントコントラスト(MoCo)エンコーダを,PreViTSを用いてVGG-SoundとKinetics-400データセットでトレーニングする。
論文 参考訳(メタデータ) (2021-12-01T19:49:57Z) - Weakly Supervised Human-Object Interaction Detection in Video via
Contrastive Spatiotemporal Regions [81.88294320397826]
システムは、ビデオに人間と物体の相互作用が存在するか、あるいは人間と物体の実際の位置を知らない。
文節から収集した人-物間相互作用による6.5k以上のビデオからなるデータセットを提案する。
ビデオデータセットのアノテーションに適応した弱教師付きベースラインの性能向上を実証した。
論文 参考訳(メタデータ) (2021-10-07T15:30:18Z) - Self-Supervised Human Depth Estimation from Monocular Videos [99.39414134919117]
人間の深度を推定する従来の方法は、しばしば地上の真実の深度データを用いた教師あり訓練を必要とする。
本稿では,YouTubeビデオの奥行きを知ることなく,自己指導型手法を提案する。
実験により,本手法はより一般化され,野生のデータに対してより優れた性能を発揮することが示された。
論文 参考訳(メタデータ) (2020-05-07T09:45:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。