論文の概要: Self-supervised Co-training for Video Representation Learning

• arxiv url: http://arxiv.org/abs/2010.09709v2
• Date: Mon, 11 Jan 2021 20:53:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-05 22:15:14.981789
• Title: Self-supervised Co-training for Video Representation Learning
• Title（参考訳）: 映像表現学習のための自己指導型協調学習
• Authors: Tengda Han, Weidi Xie, Andrew Zisserman
• Abstract要約: 実例に基づく情報ノイズコントラスト推定訓練に意味クラス正の付加を施すことの利点について検討する。 本稿では,インフォネッションNCEの損失を改善するための,自己指導型協調学習手法を提案する。 本研究では,2つの下流タスク(行動認識とビデオ検索)における学習表現の質を評価する。
• 参考スコア（独自算出の注目度）: 103.69904379356413
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The objective of this paper is visual-only self-supervised video representation learning. We make the following contributions: (i) we investigate the benefit of adding semantic-class positives to instance-based Info Noise Contrastive Estimation (InfoNCE) training, showing that this form of supervised contrastive learning leads to a clear improvement in performance; (ii) we propose a novel self-supervised co-training scheme to improve the popular infoNCE loss, exploiting the complementary information from different views, RGB streams and optical flow, of the same data source by using one view to obtain positive class samples for the other; (iii) we thoroughly evaluate the quality of the learnt representation on two different downstream tasks: action recognition and video retrieval. In both cases, the proposed approach demonstrates state-of-the-art or comparable performance with other self-supervised approaches, whilst being significantly more efficient to train, i.e. requiring far less training data to achieve similar performance.
• Abstract（参考訳）: 本研究の目的は,視覚のみの自己教師型ビデオ表現学習である。 私たちは次のような貢献をします (i)インスタンスベースの情報ノイズコントラスト推定(infonce)トレーニングに意味クラス正値を追加する利点について検討し、この形態の教師付きコントラスト学習により、明らかに性能が向上することを示す。 二)同一データソースの異なるビュー、rgbストリーム、及び光フローからの補完情報を、一方のビューを用いて他方の正のクラスサンプルを取得することにより、人気のあるインフォメーションロスを改善するための、新しい自己教師付き共同学習方式を提案する。 (iii)アクション認識とビデオ検索の2つの異なる下流課題において,学習表現の品質を徹底的に評価する。 どちらの場合でも、提案されたアプローチは他の自己監督アプローチと同等の性能を示す一方で、トレーニングにはるかに効率的であると同時に、同様のパフォーマンスを達成するためにはるかに少ないトレーニングデータを必要とする。

関連論文リスト

• A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• Adversarial Augmentation Training Makes Action Recognition Models More Robust to Realistic Video Distribution Shifts [13.752169303624147]
  アクション認識モデルは、トレーニングデータとテストデータの間の自然な分散シフトに直面したとき、堅牢性を欠くことが多い。 そこで本研究では,そのような分布格差に対するモデルレジリエンスを評価するための2つの新しい評価手法を提案する。 提案手法は,3つの動作認識モデルにまたがるベースラインよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-01-21T05:50:39Z)
• Revisiting Self-supervised Learning of Speech Representation from a Mutual Information Perspective [68.20531518525273]
  我々は、情報理論の観点から、既存の自己教師型音声の手法を詳しく検討する。 我々は線形プローブを用いて、対象情報と学習された表現の間の相互情報を推定する。 我々は、ラベルを使わずに、データの異なる部分間の相互情報を見積もる自己教師型の表現を評価する可能性を探る。
  論文  参考訳（メタデータ） (2024-01-16T21:13:22Z)
• From Pretext to Purpose: Batch-Adaptive Self-Supervised Learning [32.18543787821028]
  本稿では,自己教師付きコントラスト学習におけるバッチ融合の適応的手法を提案する。 公平な比較で最先端のパフォーマンスを達成する。 提案手法は,データ駆動型自己教師型学習研究の進展に寄与する可能性が示唆された。
  論文  参考訳（メタデータ） (2023-11-16T15:47:49Z)
• ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
  認知のための行動認識型身体学習(ALP)について紹介する。 ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。 ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-16T21:51:04Z)
• Additional Positive Enables Better Representation Learning for Medical Images [17.787804928943057]
  本稿では,SOTA(State-of-the-art)自己教師型学習フレームワークであるBYOLに対して,新たな肯定的なペアを特定する方法を提案する。 各画像に対して、他の画像から最も類似したサンプルを付加陽性として選択し、BYOL損失とともに特徴を引き出す。 2つの公開医療データセットの実験結果から,提案手法が分類性能を向上させることを示す。
  論文  参考訳（メタデータ） (2023-05-31T18:37:02Z)
• Contrastive Learning from Demonstrations [0.0]
  これらの表現は、ピック・アンド・プレイスを含むいくつかのロボット作業の模倣に適用可能であることを示す。 我々は、タスク関連情報を強化するためにコントラスト学習を適用することで、最近提案された自己教師付き学習アルゴリズムを最適化する。
  論文  参考訳（メタデータ） (2022-01-30T13:36:07Z)
• Co$^2$L: Contrastive Continual Learning [69.46643497220586]
  近年の自己教師型学習のブレークスルーは、このようなアルゴリズムが視覚的な表現を学習し、見えないタスクにもっとうまく移行できることを示している。 本稿では、連続的な学習と伝達可能な表現の維持に焦点を当てたリハーサルに基づく連続学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-28T06:14:38Z)
• Memory-augmented Dense Predictive Coding for Video Representation Learning [103.69904379356413]
  本稿では,新しいアーキテクチャと学習フレームワーク Memory-augmented Predictive Coding (MemDPC) を提案する。 本稿では、RGBフレームからの視覚のみの自己教師付きビデオ表現学習や、教師なし光学フローからの学習、あるいはその両方について検討する。 いずれの場合も、トレーニングデータの桁数が桁違いに少ない他のアプローチに対して、最先端または同等のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2020-08-03T17:57:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。