論文の概要: Unsupervised Video Representation Learning by Bidirectional Feature Prediction

• arxiv url: http://arxiv.org/abs/2011.06037v1
• Date: Wed, 11 Nov 2020 19:42:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-26 23:32:07.613512
• Title: Unsupervised Video Representation Learning by Bidirectional Feature Prediction
• Title（参考訳）: 双方向特徴予測による教師なし映像表現学習
• Authors: Nadine Behrmann and Juergen Gall and Mehdi Noroozi
• Abstract要約: 本稿では,特徴予測を用いた自己教師型映像表現学習手法を提案する。 我々は、観測されていない過去のフレームから発生する監視信号は、将来のフレームから生じるものと相補的であると論じる。 両信号の利用により,下流の行動認識タスクにおいて学習した表現が強化されることを実証的に示す。
• 参考スコア（独自算出の注目度）: 16.074111448606512
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper introduces a novel method for self-supervised video representation learning via feature prediction. In contrast to the previous methods that focus on future feature prediction, we argue that a supervisory signal arising from unobserved past frames is complementary to one that originates from the future frames. The rationale behind our method is to encourage the network to explore the temporal structure of videos by distinguishing between future and past given present observations. We train our model in a contrastive learning framework, where joint encoding of future and past provides us with a comprehensive set of temporal hard negatives via swapping. We empirically show that utilizing both signals enriches the learned representations for the downstream task of action recognition. It outperforms independent prediction of future and past.
• Abstract（参考訳）: 本稿では,特徴予測を用いた自己教師型映像表現学習手法を提案する。 将来の特徴予測に焦点をあてた従来の手法とは対照的に、観測されていない過去のフレームから発生する監視信号は、将来のフレームから発生するものと相補的であると論じる。 提案手法の背景にある理論的根拠は,映像の時間構造を将来と過去を区別してネットワークに探索させることである。 我々は、未来と過去の共同符号化によって、スワップによる時間的ハードネガティブの包括的セットを提供する、対照的な学習フレームワークでモデルをトレーニングする。 実験により,両信号の活用は,学習した表現を動作認識の下流タスクに富むことを示した。 それは未来と過去の独立した予測を上回る。

関連論文リスト

• Object-Centric Temporal Consistency via Conditional Autoregressive Inductive Biases [69.46487306858789]
  Conditional Autoregressive Slot Attention (CA-SA) は、ビデオ中心の視覚タスクにおいて抽出されたオブジェクト中心の表現の時間的一貫性を高めるフレームワークである。 本稿では,提案手法が下流タスクのベースラインよりも優れていることを示す定性的,定量的な結果を示す。
  論文  参考訳（メタデータ） (2024-10-21T07:44:44Z)
• Visual Representation Learning with Stochastic Frame Prediction [90.99577838303297]
  本稿では,フレーム予測における不確実性を捉えることを学ぶ映像生成の考え方を再考する。 フレーム間の時間情報を学習するためのフレーム予測モデルを訓練するフレームワークを設計する。 このアーキテクチャは、両目的を相乗的かつ計算効率のよい方法で組み合わせることができる。
  論文  参考訳（メタデータ） (2024-06-11T16:05:15Z)
• Predicting Long-horizon Futures by Conditioning on Geometry and Time [49.86180975196375]
  我々は,過去を前提とした将来のセンサ観測の課題を探求する。 マルチモーダリティを扱える画像拡散モデルの大規模事前学習を活用する。 我々は、屋内と屋外のシーンにまたがる多様なビデオのセットについて、ビデオ予測のためのベンチマークを作成する。
  論文  参考訳（メタデータ） (2024-04-17T16:56:31Z)
• Inductive Attention for Video Action Anticipation [16.240254363118016]
  我々は、現在の予測を将来の行動を予測するクエリとして活用する、IAMと呼ばれるインダクティブアテンションモデルを提案する。 提案手法は,複数の大規模エゴセントリックビデオデータセット上での最先端の予測モデルより一貫して優れている。
  論文  参考訳（メタデータ） (2022-12-17T09:51:17Z)
• Unified Recurrence Modeling for Video Action Anticipation [16.240254363118016]
  本稿では,メッセージパッシングフレームワークを用いたビデオアクション予測のための統合再帰モデルを提案する。 提案手法は,EPIC-Kitchenデータセットの大規模化において,従来よりも優れている。
  論文  参考訳（メタデータ） (2022-06-02T12:16:44Z)
• Stochastic Coherence Over Attention Trajectory For Continuous Learning In Video Streams [64.82800502603138]
  本稿では,映像ストリーム中のピクセルワイズ表現を段階的かつ自律的に開発するための,ニューラルネットワークに基づく新しいアプローチを提案する。 提案手法は, 参加者の入場地を観察することで, エージェントが学習できる, 人間の様の注意機構に基づく。 実験では,3次元仮想環境を利用して,映像ストリームを観察することで,エージェントが物体の識別を学べることを示す。
  論文  参考訳（メタデータ） (2022-04-26T09:52:31Z)
• Self-Regulated Learning for Egocentric Video Activity Anticipation [147.9783215348252]
  自己制御学習(SRL)は、中間表現を連続的に制御し、現在のタイムスタンプのフレームにおける新しい情報を強調する表現を作り出すことを目的としている。 SRLは2つのエゴセントリックなビデオデータセットと2つの第三者のビデオデータセットにおいて、既存の最先端技術よりも大幅に優れています。
  論文  参考訳（メタデータ） (2021-11-23T03:29:18Z)
• Fourier-based Video Prediction through Relational Object Motion [28.502280038100167]
  ビデオ予測のタスクには, 深い再帰的アーキテクチャが適用されている。 本稿では、周波数領域のアプローチをビデオ予測に用い、異なるアプローチを提案する。 結果の予測は、シーンの観察されたダイナミクスと一致しており、ぼやけに苦しむことはない。
  論文  参考訳（メタデータ） (2021-10-12T10:43:05Z)
• Self-Supervision by Prediction for Object Discovery in Videos [62.87145010885044]
  本稿では,この予測タスクを自己監督として利用し,画像シーケンス表現のための新しいオブジェクト中心モデルを構築する。 私たちのフレームワークは、手動アノテーションや事前トレーニングされたネットワークを使わずにトレーニングできます。 最初の実験では、提案されたパイプラインがオブジェクト中心のビデオ予測への有望なステップであることを確認した。
  論文  参考訳（メタデータ） (2021-03-09T19:14:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。