論文の概要: RSPNet: Relative Speed Perception for Unsupervised Video Representation Learning

• arxiv url: http://arxiv.org/abs/2011.07949v2
• Date: Mon, 15 Mar 2021 10:52:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-02 12:23:13.083549
• Title: RSPNet: Relative Speed Perception for Unsupervised Video Representation Learning
• Title（参考訳）: RSPNet:教師なしビデオ表現学習のための相対速度知覚
• Authors: Peihao Chen and Deng Huang and Dongliang He and Xiang Long and Runhao Zeng and Shilei Wen and Mingkui Tan and Chuang Gan
• Abstract要約: 本研究では,未ラベル映像のみから動作特徴と外観特徴の両方を学習するための教師なし映像表現学習について検討する。 動作と外観の両方をうまくモデル化するために、適切な自己指導タスクを構築することは困難である。 再生速度を知覚し、2つのビデオクリップ間の相対速度をラベルとして利用するための新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 100.76672109782815
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study unsupervised video representation learning that seeks to learn both motion and appearance features from unlabeled video only, which can be reused for downstream tasks such as action recognition. This task, however, is extremely challenging due to 1) the highly complex spatial-temporal information in videos; and 2) the lack of labeled data for training. Unlike the representation learning for static images, it is difficult to construct a suitable self-supervised task to well model both motion and appearance features. More recently, several attempts have been made to learn video representation through video playback speed prediction. However, it is non-trivial to obtain precise speed labels for the videos. More critically, the learnt models may tend to focus on motion pattern and thus may not learn appearance features well. In this paper, we observe that the relative playback speed is more consistent with motion pattern, and thus provide more effective and stable supervision for representation learning. Therefore, we propose a new way to perceive the playback speed and exploit the relative speed between two video clips as labels. In this way, we are able to well perceive speed and learn better motion features. Moreover, to ensure the learning of appearance features, we further propose an appearance-focused task, where we enforce the model to perceive the appearance difference between two video clips. We show that optimizing the two tasks jointly consistently improves the performance on two downstream tasks, namely action recognition and video retrieval. Remarkably, for action recognition on UCF101 dataset, we achieve 93.7% accuracy without the use of labeled data for pre-training, which outperforms the ImageNet supervised pre-trained model. Code and pre-trained models can be found at https://github.com/PeihaoChen/RSPNet.
• Abstract（参考訳）: 動作認識などの下流タスクに再利用可能な、ラベルのないビデオのみから、動きと外観の特徴の両方を学習するための教師なしビデオ表現学習について検討する。 しかし、この課題は、非常に困難です。 1)ビデオにおける高度に複雑な時空間情報,及び 2) 学習のためのラベル付きデータの欠如。 静的画像の表現学習とは異なり、動きと外観の両方をうまくモデル化する適切な自己教師付きタスクを構築することは困難である。 近年,ビデオ再生速度予測により映像表現を学習する試みがいくつか行われている。 しかし、ビデオの正確な速度ラベルを得るのは簡単ではない。 より重要なことは、学習したモデルは動きパターンにフォーカスする傾向があるため、外観の特徴をうまく学ばない可能性がある。 本稿では,相対再生速度が運動パターンとより整合していることを観察し,表現学習においてより効果的で安定した監督を行う。 そこで本稿では,再生速度を知覚し,2つのビデオクリップ間の相対速度をラベルとして利用する方法を提案する。 このようにして、私たちは、速度をよく認識し、より優れた動きの特徴を学ぶことができます。 さらに,外観特徴の学習を確実にするために,2つのビデオクリップ間の外観差を知覚するためにモデルを適用し,外観に着目したタスクを提案する。 この2つのタスクの最適化は、アクション認識とビデオ検索という2つの下流タスクのパフォーマンスを一貫して改善することを示す。 注目すべきは、UCF101データセット上のアクション認識において、ラベル付きデータを事前トレーニングに使わずに93.7%の精度を達成することだ。 コードと事前トレーニングされたモデルはhttps://github.com/peihaochen/rspnetで見ることができる。

関連論文リスト

• TimeBalance: Temporally-Invariant and Temporally-Distinctive Video Representations for Semi-Supervised Action Recognition [68.53072549422775]
  学生教師による半教師付き学習フレームワークTimeBalanceを提案する。 時間的に不変であり,時間的に異なる教師から知識を抽出する。 提案手法は,3つの動作認識ベンチマーク上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-03-28T19:28:54Z)
• Masked Video Distillation: Rethinking Masked Feature Modeling for Self-supervised Video Representation Learning [123.63301596019522]
  Masked Video distillation (MVD) は、ビデオ表現学習のための単純な2段階マスク付き特徴モデリングフレームワークである。 教師モデルを選択するために,ビデオ教師が教える生徒が時間重のビデオタスクにおいて,より優れたパフォーマンスを発揮することを観察する。 我々は,異なる教師の利点を活用するために,MVDのための時空間協調学習法を設計する。
  論文  参考訳（メタデータ） (2022-12-08T18:59:59Z)
• Self-supervised and Weakly Supervised Contrastive Learning for Frame-wise Action Representations [26.09611987412578]
  本稿では,フレームワイドな行動表現を自己監督的あるいは弱監督的に学習するための,コントラッシブ・アクション表現学習(CARL)の枠組みを紹介する。 具体的には,空間的コンテキストと時間的コンテキストの両方を考慮した,シンプルだが効果的なビデオエンコーダを提案する。 提案手法は,下流の微細な動作分類とより高速な推論において,従来の最先端技術よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-12-06T16:42:22Z)
• PreViTS: Contrastive Pretraining with Video Tracking Supervision [53.73237606312024]
  PreViTSは、同じオブジェクトを含むクリップを選択するための教師なしSSLフレームワークである。 PreViTSはフレーム領域を空間的に制約し、モデルから学習し、意味のあるオブジェクトを見つけるように訓練する。 モーメントコントラスト(MoCo)エンコーダを,PreViTSを用いてVGG-SoundとKinetics-400データセットでトレーニングする。
  論文  参考訳（メタデータ） (2021-12-01T19:49:57Z)
• ASCNet: Self-supervised Video Representation Learning with Appearance-Speed Consistency [62.38914747727636]
  本研究では,1)明示的な監督のためのラベルの欠如,2)構造化されていない,ノイズの多い視覚情報による自己指導型映像表現学習について検討する。 既存の方法は、主にビデオクリップをインスタンスとしてコントラスト損失を使用し、互いにインスタンスを識別することで視覚的表現を学ぶ。 本稿では,ロバストな映像表現を学ぶ上で,正のサンプル間の一貫性が鍵となることを観察する。
  論文  参考訳（メタデータ） (2021-06-04T08:44:50Z)
• Semi-Supervised Action Recognition with Temporal Contrastive Learning [50.08957096801457]
  2つの異なる速度でラベル付きビデオを用いて2経路の時間的コントラストモデルを学習する。 我々は最先端の半教師付き画像認識手法の映像拡張性能を著しく向上させた。
  論文  参考訳（メタデータ） (2021-02-04T17:28:35Z)
• Self-supervised Video Representation Learning by Pace Prediction [48.029602040786685]
  本稿では,ビデオペース予測による自己指導型映像表現学習の課題に対処する。 人間の視覚系がビデオのペースに敏感であるという観察に由来する。 我々は、異なるペースでトレーニングクリップをランダムにサンプリングし、ニューラルネットワークに各ビデオクリップのペースを特定するよう依頼する。
  論文  参考訳（メタデータ） (2020-08-13T12:40:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。