論文の概要: Improved Baselines with Momentum Contrastive Learning
- arxiv url: http://arxiv.org/abs/2003.04297v1
- Date: Mon, 9 Mar 2020 17:56:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-25 09:10:15.348488
- Title: Improved Baselines with Momentum Contrastive Learning
- Title(参考訳): モーメントコントラスト学習によるベースラインの改良
- Authors: Xinlei Chen and Haoqi Fan and Ross Girshick and Kaiming He
- Abstract要約: 本稿では,MoCoフレームワークに実装することで,SimCLRの設計改善の2つの有効性を検証する。
SimCLRより優れたベースラインを確立し、大規模なトレーニングバッチを必要としない。
- 参考スコア(独自算出の注目度): 57.79672976817166
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Contrastive unsupervised learning has recently shown encouraging progress,
e.g., in Momentum Contrast (MoCo) and SimCLR. In this note, we verify the
effectiveness of two of SimCLR's design improvements by implementing them in
the MoCo framework. With simple modifications to MoCo---namely, using an MLP
projection head and more data augmentation---we establish stronger baselines
that outperform SimCLR and do not require large training batches. We hope this
will make state-of-the-art unsupervised learning research more accessible. Code
will be made public.
- Abstract(参考訳): 対照的に教師なしの学習は近年、Momentum Contrast (MoCo) やSimCLRなど、活発な進歩を示している。
本稿では,MoCoフレームワークに実装することで,SimCLRの設計改善の2つの有効性を検証する。
つまり、MLPプロジェクションヘッドとさらなるデータ拡張を使用することで、SimCLRよりも優れたベースラインを確立し、大規模なトレーニングバッチを必要としない。
これが、最先端の教師なし学習研究をよりアクセスしやすくすることを期待しています。
コードは公開されます。
関連論文リスト
- CAMBranch: Contrastive Learning with Augmented MILPs for Branching [5.216027167816416]
本稿では,従来のMILPから限られた専門家データに可変シフトを適用することで,AMILP(Augmented MILP)を生成するフレームワークを提案する。
結果は、完全なデータセットの10%しかトレーニングされていないCAMBranchが、優れたパフォーマンスを示していることを示している。
論文 参考訳(メタデータ) (2024-02-06T02:47:16Z) - MA2CL:Masked Attentive Contrastive Learning for Multi-Agent
Reinforcement Learning [128.19212716007794]
我々はtextbfMulti-textbfAgent textbfMasked textbfAttentive textbfContrastive textbfLearning (MA2CL) という効果的なフレームワークを提案する。
MA2CLは、潜伏空間におけるマスクされたエージェント観察を再構築することにより、時間的およびエージェントレベルの予測の両方の学習表現を奨励する。
提案手法は,様々なMARLアルゴリズムの性能とサンプル効率を大幅に向上させ,様々な視覚的,状態的シナリオにおいて,他の手法よりも優れる。
論文 参考訳(メタデータ) (2023-06-03T05:32:19Z) - Benchopt: Reproducible, efficient and collaborative optimization
benchmarks [67.29240500171532]
Benchoptは、機械学習で最適化ベンチマークを自動化、再生、公開するためのフレームワークである。
Benchoptは実験を実行、共有、拡張するための既製のツールを提供することで、コミュニティのベンチマークを簡単にする。
論文 参考訳(メタデータ) (2022-06-27T16:19:24Z) - Dual Temperature Helps Contrastive Learning Without Many Negative
Samples: Towards Understanding and Simplifying MoCo [75.44800530840389]
本稿では,MoCoファミリーにおけるコントラスト学習(CL)のためのモーメントベースのキュー辞書を提案する。
私たちのフレームワークであるSimMoCoとSimCoは、MoCo v2よりも目に見えるマージンで優れています。
私たちの作業は、CLと非CLフレームワークのギャップを埋め、SSLにおけるこれらの2つの主流フレームワークのより統一された理解に寄与します。
論文 参考訳(メタデータ) (2022-03-30T13:39:05Z) - Conditional Prompt Learning for Vision-Language Models [107.06776396086471]
近ごろ提案されたContext Optimization (CoOp) は、文脈単語をプロンプトで学習可能なベクトルの集合に変換する。
CoOpは、CoOpよりもはるかに優れたクラスを非表示に一般化し、単一のデータセットを超える有望な転送可能性を示している。
我々の実験によると、CoCoOpはCoOpよりもはるかに優れたクラスに一般化しており、単一のデータセットを超える有望な転送可能性を示している。
論文 参考訳(メタデータ) (2022-03-10T18:59:41Z) - Mask-based Latent Reconstruction for Reinforcement Learning [58.43247393611453]
マスクをベースとした遅延再構成(MLR)は,空間的および時間的マスキング画素を用いた観測から潜在空間の完全な状態表現を予測するために提案される。
広汎な実験により,MLRは深部強化学習における試料効率を著しく向上させることが示された。
論文 参考訳(メタデータ) (2022-01-28T13:07:11Z) - SimCLS: A Simple Framework for Contrastive Learning of Abstractive
Summarization [14.16710715347118]
我々は抽象的な要約のための概念的に単純だが経験的に強力なフレームワークSimを提案する。
既存のトップスコアシステムに対して小さな変更を加えることで、Simは既存のトップスコアシステムの性能を大きなマージンで向上させることができる。
提案したモデルの結果はExplainaBoardプラットフォームにデプロイされ、研究者はより詳細な方法でシステムを理解することができる。
論文 参考訳(メタデータ) (2021-06-03T14:34:17Z) - Concurrent Training Improves the Performance of Behavioral Cloning from
Observation [10.939683083130616]
デモから学ぶことは、ロボットが新しいスキルを身につけるための効率的な方法として広く利用されている。
観察から学ぶことは、ラベルのないデモ(例えばビデオ)を使って模倣学習を行う手段を提供する。
これに対する1つのアプローチは、観察からの行動クローニング(BCO)である。
本稿では,BCO の新たな理論的解析,修正 BCO* の導入,および半教師付き設定において,BCO* は逆ダイナミクスモデルとエキスパートポリシーの両方の見積もりを同時に改善可能であることを示す。
論文 参考訳(メタデータ) (2020-08-03T21:30:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。