論文の概要: Pretext-Contrastive Learning: Toward Good Practices in Self-supervised Video Representation Leaning

• arxiv url: http://arxiv.org/abs/2010.15464v2
• Date: Sun, 4 Apr 2021 14:42:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-01 23:02:48.156276
• Title: Pretext-Contrastive Learning: Toward Good Practices in Self-supervised Video Representation Leaning
• Title（参考訳）: Pretext-Contrastive Learning: 自己教師型ビデオ表現学習の実践に向けて
• Authors: Li Tao, Xueting Wang, Toshihiko Yamasaki
• Abstract要約: そこで本稿では,プレテキストタスクとコントラスト学習の両方を強化するための共同最適化フレームワークを提案する。 PCLを標準的なトレーニング戦略として扱い、それを自己教師付きビデオ特徴学習の他の多くの分野に適用することは便利である。
• 参考スコア（独自算出の注目度）: 43.002621928500425
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, pretext-task based methods are proposed one after another in self-supervised video feature learning. Meanwhile, contrastive learning methods also yield good performance. Usually, new methods can beat previous ones as claimed that they could capture "better" temporal information. However, there exist setting differences among them and it is hard to conclude which is better. It would be much more convincing in comparison if these methods have reached as closer to their performance limits as possible. In this paper, we start from one pretext-task baseline, exploring how far it can go by combining it with contrastive learning, data pre-processing, and data augmentation. A proper setting has been found from extensive experiments, with which huge improvements over the baselines can be achieved, indicating a joint optimization framework can boost both pretext task and contrastive learning. We denote the joint optimization framework as Pretext-Contrastive Learning (PCL). The other two pretext task baselines are used to validate the effectiveness of PCL. And we can easily outperform current state-of-the-art methods in the same training manner, showing the effectiveness and the generality of our proposal. It is convenient to treat PCL as a standard training strategy and apply it to many other works in self-supervised video feature learning.
• Abstract（参考訳）: 近年,自己教師型ビデオ特徴学習において,プリテキストタスクに基づく手法が次々と提案されている。 一方、対照的な学習方法は優れたパフォーマンスをもたらす。 通常、新しい手法は、時間的情報を「より多く」捉えることができると主張するように、以前の手法を破ることができる。 しかし、両者の間には違いがあり、どちらがよいかを結論付けるのは難しい。 もしこれらのメソッドが可能な限りパフォーマンスの限界に近づいたなら、比較するとずっと説得力があるでしょう。 本稿では,1つのpretext-taskベースラインから始めて,コントラスト学習,データ前処理,データ拡張を組み合わせることで,それがどこまで進むかを検討する。 広範な実験から適切な設定が見出され、ベースラインに対する大幅な改善が得られ、共同最適化フレームワークがプレテキストタスクとコントラスト学習の両方を促進できることを示している。 共同最適化フレームワークをPCL(Pretext-Contrastive Learning)と呼ぶ。 他の2つのプリテキストタスクベースラインは、PCLの有効性を検証するために使用される。 また,提案手法の有効性と汎用性を示すために,最先端の手法を同じトレーニング方法で容易に上回ることができる。 PCLを標準的なトレーニング戦略として扱い、自己教師付きビデオ特徴学習の他の多くの分野に適用することは便利である。

関連論文リスト

• When Does Visual Prompting Outperform Linear Probing for Vision-Language Models? A Likelihood Perspective [57.05315507519704]
  本稿では,視覚的プロンプトと線形探索の利点を比較分析するために,ログ類似率(LLR)アプローチを提案する。 本測定は,最大で100倍の時間短縮が可能であり,予測精度は最大91%に達する。
  論文  参考訳（メタデータ） (2024-09-03T12:03:45Z)
• RLIF: Interactive Imitation Learning as Reinforcement Learning [56.997263135104504]
  我々は,対話型模倣学習と類似するが,さらに実践的な仮定の下で,非政治強化学習によってパフォーマンスが向上できることを実証する。 提案手法は,ユーザ介入信号を用いた強化学習を報奨として利用する。 このことは、インタラクティブな模倣学習において介入する専門家がほぼ最適であるべきだという仮定を緩和し、アルゴリズムが潜在的に最適でない人間の専門家よりも改善される行動を学ぶことを可能にする。
  論文  参考訳（メタデータ） (2023-11-21T21:05:21Z)
• From Pretext to Purpose: Batch-Adaptive Self-Supervised Learning [32.18543787821028]
  本稿では,自己教師付きコントラスト学習におけるバッチ融合の適応的手法を提案する。 公平な比較で最先端のパフォーマンスを達成する。 提案手法は,データ駆動型自己教師型学習研究の進展に寄与する可能性が示唆された。
  論文  参考訳（メタデータ） (2023-11-16T15:47:49Z)
• Improved baselines for vision-language pre-training [26.395527650984025]
  コントラスト学習と自己教師付き学習を組み合わせることで得られるいくつかのベースラインを提案し,実装し,評価する。 これらのベースラインはCLIPの基本的な実装よりも優れています。 単純なCLIPベースラインも大幅に改善され、ダウンストリームゼロショットタスクでは25%の相対的な改善が達成できる。
  論文  参考訳（メタデータ） (2023-05-15T14:31:49Z)
• Weighted Ensemble Self-Supervised Learning [67.24482854208783]
  組み立ては、モデルパフォーマンスを高めるための強力なテクニックであることが証明されている。 我々は,データ依存型重み付きクロスエントロピー損失を許容するフレームワークを開発した。 提案手法は、ImageNet-1K上での複数の評価指標において、両者に優れる。
  論文  参考訳（メタデータ） (2022-11-18T02:00:17Z)
• LEAVES: Learning Views for Time-Series Data in Contrastive Learning [16.84326709739788]
  時系列データのための学習ビュー(LEAVES)という,対照的な学習における時系列データのビュー生成を自動化するモジュールを提案する。 提案手法は, 合理的な視点の探索に有効であり, ベースラインよりも下流タスクを効果的に行う。
  論文  参考訳（メタデータ） (2022-10-13T20:18:22Z)
• CUPID: Adaptive Curation of Pre-training Data for Video-and-Language Representation Learning [49.18591896085498]
  ソースデータとターゲットデータのドメインギャップを埋めるCUPIDを提案します。 CUPIDは、複数のビデオ言語およびビデオタスクにまたがる最新のパフォーマンスを提供します。
  論文  参考訳（メタデータ） (2021-04-01T06:42:16Z)
• A Survey on Contrastive Self-supervised Learning [0.0]
  自己教師付き学習は、大規模なデータセットのアノテートコストを回避する能力によって人気を集めている。 コントラスト学習は近年,コンピュータビジョン,自然言語処理(NLP)などの分野において,自己指導型学習手法の主流となっている。 本稿では, コントラスト的アプローチに従う自己教師型手法について, 広範囲にわたるレビューを行う。
  論文  参考訳（メタデータ） (2020-10-31T21:05:04Z)
• Pre-training Text Representations as Meta Learning [113.3361289756749]
  本稿では,下流タスクを効果的に学習するために,モデルがテキスト表現を学習する能力を直接最適化する学習アルゴリズムを提案する。 マルチタスク事前学習とモデル非依存型メタラーニングの間には,一連のメタトレインステップによる本質的な関係があることが示されている。
  論文  参考訳（メタデータ） (2020-04-12T09:05:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。