Fugu-MT 論文翻訳(概要): Improved Baselines with Momentum Contrastive Learning

論文の概要: Improved Baselines with Momentum Contrastive Learning

arxiv url: http://arxiv.org/abs/2003.04297v1
Date: Mon, 9 Mar 2020 17:56:49 GMT
ステータス: 処理完了
システム内更新日: 2022-12-25 09:10:15.348488
Title: Improved Baselines with Momentum Contrastive Learning
Title（参考訳）: モーメントコントラスト学習によるベースラインの改良
Authors: Xinlei Chen and Haoqi Fan and Ross Girshick and Kaiming He
Abstract要約: 本稿では,MoCoフレームワークに実装することで,SimCLRの設計改善の2つの有効性を検証する。 SimCLRより優れたベースラインを確立し、大規模なトレーニングバッチを必要としない。
参考スコア（独自算出の注目度）: 57.79672976817166
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Contrastive unsupervised learning has recently shown encouraging progress, e.g., in Momentum Contrast (MoCo) and SimCLR. In this note, we verify the effectiveness of two of SimCLR's design improvements by implementing them in the MoCo framework. With simple modifications to MoCo---namely, using an MLP projection head and more data augmentation---we establish stronger baselines that outperform SimCLR and do not require large training batches. We hope this will make state-of-the-art unsupervised learning research more accessible. Code will be made public.
Abstract（参考訳）: 対照的に教師なしの学習は近年、Momentum Contrast (MoCo) やSimCLRなど、活発な進歩を示している。本稿では,MoCoフレームワークに実装することで,SimCLRの設計改善の2つの有効性を検証する。つまり、MLPプロジェクションヘッドとさらなるデータ拡張を使用することで、SimCLRよりも優れたベースラインを確立し、大規模なトレーニングバッチを必要としない。これが、最先端の教師なし学習研究をよりアクセスしやすくすることを期待しています。コードは公開されます。

関連論文リスト

Teaching Models to Improve on Tape [30.330699770714165]
大きな言語モデル(LLM)は、特定の制約の下でコンテンツを生成するよう促されたときにしばしば苦労する。最近の研究によると、LLMはそのような「修正的フィードバック」の恩恵を受けることができる。本稿では,そのような報酬をモデルに教えるためのRLフレームワークを紹介し,その制約を満たす能力に応じてモデルに報酬を与える。
論文参考訳（メタデータ） (2024-11-03T08:49:55Z)
Hierarchical and Decoupled BEV Perception Learning Framework for Autonomous Driving [52.808273563372126]
本稿では,基本認識モジュールとユーザフレンドリなグラフィカルインタフェースのライブラリの提供を目的とした,新しい階層的BEV知覚パラダイムを提案する。我々は,大規模公開データセットと合理化開発プロセスを効果的に活用するために,Pretrain-Finetune戦略を実行している。また、マルチモジュールラーニング(MML)アプローチを提案し、複数のモデルの相乗的かつ反復的な訓練により性能を向上させる。
論文参考訳（メタデータ） (2024-07-17T11:17:20Z)
CuMo: Scaling Multimodal LLM with Co-Upcycled Mixture-of-Experts [41.80218225636109]
CuMoは、より小さなモデルと同様の推論コストを維持しながら、トレーニング中のモデルのスケーラビリティを改善します。 CuMoは視覚エンコーダとコネクタの両方にスパースゲートのMixture-of-Expertsブロックを組み込んでいる。 CuMoのコードとモデルの重み付けはhttps://github.com/SHI-Labs/CuMoでオープンソース化されている。
論文参考訳（メタデータ） (2024-05-09T17:37:20Z)
Demonstration Guided Multi-Objective Reinforcement Learning [2.9845592719739127]
実証誘導多目的強化学習(DG-MORL)を導入する。この新しいアプローチでは、事前のデモンストレーションを利用し、コーナーウェイトサポートを通じてユーザの好みに合わせて調整し、自己進化メカニズムを取り入れて、準最適デモを洗練させる。我々の実証研究は、DG-MORLが既存のMORLアルゴリズムよりも優れていることを示し、その堅牢性と有効性を確立した。
論文参考訳（メタデータ） (2024-04-05T10:19:04Z)
MA2CL:Masked Attentive Contrastive Learning for Multi-Agent Reinforcement Learning [128.19212716007794]
我々はtextbfMulti-textbfAgent textbfMasked textbfAttentive textbfContrastive textbfLearning (MA2CL) という効果的なフレームワークを提案する。 MA2CLは、潜伏空間におけるマスクされたエージェント観察を再構築することにより、時間的およびエージェントレベルの予測の両方の学習表現を奨励する。提案手法は,様々なMARLアルゴリズムの性能とサンプル効率を大幅に向上させ,様々な視覚的,状態的シナリオにおいて,他の手法よりも優れる。
論文参考訳（メタデータ） (2023-06-03T05:32:19Z)
Benchopt: Reproducible, efficient and collaborative optimization benchmarks [67.29240500171532]
Benchoptは、機械学習で最適化ベンチマークを自動化、再生、公開するためのフレームワークである。 Benchoptは実験を実行、共有、拡張するための既製のツールを提供することで、コミュニティのベンチマークを簡単にする。
論文参考訳（メタデータ） (2022-06-27T16:19:24Z)
Dual Temperature Helps Contrastive Learning Without Many Negative Samples: Towards Understanding and Simplifying MoCo [75.44800530840389]
本稿では,MoCoファミリーにおけるコントラスト学習(CL)のためのモーメントベースのキュー辞書を提案する。私たちのフレームワークであるSimMoCoとSimCoは、MoCo v2よりも目に見えるマージンで優れています。私たちの作業は、CLと非CLフレームワークのギャップを埋め、SSLにおけるこれらの2つの主流フレームワークのより統一された理解に寄与します。
論文参考訳（メタデータ） (2022-03-30T13:39:05Z)
Mask-based Latent Reconstruction for Reinforcement Learning [58.43247393611453]
マスクをベースとした遅延再構成(MLR)は,空間的および時間的マスキング画素を用いた観測から潜在空間の完全な状態表現を予測するために提案される。広汎な実験により,MLRは深部強化学習における試料効率を著しく向上させることが示された。
論文参考訳（メタデータ） (2022-01-28T13:07:11Z)
Concurrent Training Improves the Performance of Behavioral Cloning from Observation [10.939683083130616]
デモから学ぶことは、ロボットが新しいスキルを身につけるための効率的な方法として広く利用されている。観察から学ぶことは、ラベルのないデモ(例えばビデオ)を使って模倣学習を行う手段を提供する。これに対する1つのアプローチは、観察からの行動クローニング(BCO)である。本稿では,BCO の新たな理論的解析,修正 BCO* の導入,および半教師付き設定において,BCO* は逆ダイナミクスモデルとエキスパートポリシーの両方の見積もりを同時に改善可能であることを示す。
論文参考訳（メタデータ） (2020-08-03T21:30:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。