論文の概要: Unsupervised Visual Representation Learning by Tracking Patches in Video

• arxiv url: http://arxiv.org/abs/2105.02545v1
• Date: Thu, 6 May 2021 09:46:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-07 13:23:29.254492
• Title: Unsupervised Visual Representation Learning by Tracking Patches in Video
• Title（参考訳）: 映像のパッチ追跡による教師なし視覚表現学習
• Authors: Guangting Wang, Yizhou Zhou, Chong Luo, Wenxuan Xie, Wenjun Zeng, and Zhiwei Xiong
• Abstract要約: 本研究では,コンピュータビジョンシステムのプロキシタスクとしてトラッキングを用いて視覚表現を学習することを提案する。 子どもたちがプレイするキャッチゲームをベースに、視覚表現を学ぶ3D-CNNモデルのためのキャッチ・ザ・パッチ(CtP)ゲームを設計します。
• 参考スコア（独自算出の注目度）: 88.56860674483752
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Inspired by the fact that human eyes continue to develop tracking ability in early and middle childhood, we propose to use tracking as a proxy task for a computer vision system to learn the visual representations. Modelled on the Catch game played by the children, we design a Catch-the-Patch (CtP) game for a 3D-CNN model to learn visual representations that would help with video-related tasks. In the proposed pretraining framework, we cut an image patch from a given video and let it scale and move according to a pre-set trajectory. The proxy task is to estimate the position and size of the image patch in a sequence of video frames, given only the target bounding box in the first frame. We discover that using multiple image patches simultaneously brings clear benefits. We further increase the difficulty of the game by randomly making patches invisible. Extensive experiments on mainstream benchmarks demonstrate the superior performance of CtP against other video pretraining methods. In addition, CtP-pretrained features are less sensitive to domain gaps than those trained by a supervised action recognition task. When both trained on Kinetics-400, we are pleasantly surprised to find that CtP-pretrained representation achieves much higher action classification accuracy than its fully supervised counterpart on Something-Something dataset. Code is available online: github.com/microsoft/CtP.
• Abstract（参考訳）: 人間の目が幼少期から中年期にかけて追跡能力の発達を続けていることに触発されて,コンピュータビジョンシステムにおいて,トラッキングを代用タスクとして利用して視覚表現を学習することを提案する。 子どもたちがプレイするキャッチゲームに基づいて、3d-cnnモデルのためのキャッチ・ザ・パッチ(ctp)ゲームをデザインし、ビデオ関連のタスクに役立つ視覚表現を学ぶ。 提案する事前学習フレームワークでは、所定のビデオから画像パッチをカットし、予め設定された軌道に従って拡大移動させる。 プロキシタスクは、第1フレームの目標バウンディングボックスのみを与えられたビデオフレームのシーケンスにおける画像パッチの位置とサイズを推定することである。 複数のイメージパッチを同時に使用すると、明らかなメリットが得られます。 我々は、ランダムにパッチを見えないものにすることで、ゲームの難しさをさらに高める。 メインストリームベンチマークに関する広範囲な実験は、ctpが他のビデオプリトレーニング法に対して優れた性能を示す。 さらに、CtPで事前訓練された機能は、教師付きアクション認識タスクによって訓練されたものよりもドメインギャップに敏感ではない。 Kinetics-400でトレーニングされた場合、CtPで事前訓練された表現が、Somethingデータセットの完全な教師付きデータセットよりもはるかに高い動作分類精度を達成できることに、私たちは喜んで驚きます。 コードはオンラインで入手できる: github.com/microsoft/CtP。

関連論文リスト

• Self-supervised and Weakly Supervised Contrastive Learning for Frame-wise Action Representations [26.09611987412578]
  本稿では,フレームワイドな行動表現を自己監督的あるいは弱監督的に学習するための,コントラッシブ・アクション表現学習(CARL)の枠組みを紹介する。 具体的には,空間的コンテキストと時間的コンテキストの両方を考慮した,シンプルだが効果的なビデオエンコーダを提案する。 提案手法は,下流の微細な動作分類とより高速な推論において,従来の最先端技術よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-12-06T16:42:22Z)
• Frozen CLIP Models are Efficient Video Learners [86.73871814176795]
  ビデオ認識はエンドツーエンドの学習パラダイムに支配されている。 Contrastive Vision-Language Pre-Trainingの最近の進歩は、視覚認識タスクのための新しいルートの道を開く。 高品質なビデオ認識モデルを直接トレーニングする効率的なフレームワークである、効率的なビデオ学習を提案する。
  論文  参考訳（メタデータ） (2022-08-06T17:38:25Z)
• PreViTS: Contrastive Pretraining with Video Tracking Supervision [53.73237606312024]
  PreViTSは、同じオブジェクトを含むクリップを選択するための教師なしSSLフレームワークである。 PreViTSはフレーム領域を空間的に制約し、モデルから学習し、意味のあるオブジェクトを見つけるように訓練する。 モーメントコントラスト(MoCo)エンコーダを,PreViTSを用いてVGG-SoundとKinetics-400データセットでトレーニングする。
  論文  参考訳（メタデータ） (2021-12-01T19:49:57Z)
• RSPNet: Relative Speed Perception for Unsupervised Video Representation Learning [100.76672109782815]
  本研究では,未ラベル映像のみから動作特徴と外観特徴の両方を学習するための教師なし映像表現学習について検討する。 動作と外観の両方をうまくモデル化するために、適切な自己指導タスクを構築することは困難である。 再生速度を知覚し、2つのビデオクリップ間の相対速度をラベルとして利用するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-10-27T16:42:50Z)
• SeCo: Exploring Sequence Supervision for Unsupervised Representation Learning [114.58986229852489]
  本稿では,空間的,シーケンシャル,時間的観点から,シーケンスの基本的および汎用的な監視について検討する。 私たちはContrastive Learning(SeCo)という特定の形式を導き出します。 SeCoは、アクション認識、未トリムアクティビティ認識、オブジェクト追跡に関する線形プロトコルにおいて、優れた結果を示す。
  論文  参考訳（メタデータ） (2020-08-03T15:51:35Z)
• VirTex: Learning Visual Representations from Textual Annotations [25.104705278771895]
  VirTexは、意味的に密接なキャプションを使用して視覚表現を学習する事前学習のアプローチである。 我々はCOCOキャプションのスクラッチから畳み込みネットワークを訓練し、それらを下流認識タスクに転送する。 すべてのタスクにおいて、VirTexはImageNetで学んだもの(教師なしまたは教師なし)と一致するか、あるいは超える機能を提供します。
  論文  参考訳（メタデータ） (2020-06-11T17:58:48Z)
• Disentangling Controllable Object through Video Prediction Improves Visual Reinforcement Learning [82.25034245150582]
  多くの視覚に基づく強化学習問題において、エージェントは視野内の可動物体を制御する。 制御可能なオブジェクトを観測信号から切り離すためのエンドツーエンド学習フレームワークを提案する。 不整合表現は、RLがエージェントに追加の観察チャネルとして有用であることが示されている。
  論文  参考訳（メタデータ） (2020-02-21T05:43:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。