論文の概要: Fast-MoCo: Boost Momentum-based Contrastive Learning with Combinatorial Patches

• arxiv url: http://arxiv.org/abs/2207.08220v1
• Date: Sun, 17 Jul 2022 16:28:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-20 05:46:09.203796
• Title: Fast-MoCo: Boost Momentum-based Contrastive Learning with Combinatorial Patches
• Title（参考訳）: Fast-MoCo: CombinatorのパッチによるMomentumベースのコントラスト学習
• Authors: Yuanzheng Ci, Chen Lin, Lei Bai, Wanli Ouyang
• Abstract要約: この研究は運動量に基づくコントラスト学習フレームワークを再考し、2つの拡張ビューが1つの正のペアだけを生成する非効率性を同定する。 我々は2つの拡張ビューから複数の正のペアを構築するためにパッチを利用する新しいフレームワークであるFast-MoCoを提案する。 100エポックでトレーニングされたFast-MoCoは、800エポックでトレーニングされたMoCo v3と同様、73.5%の線形評価精度を達成する。
• 参考スコア（独自算出の注目度）: 75.41348688487525
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contrastive-based self-supervised learning methods achieved great success in recent years. However, self-supervision requires extremely long training epochs (e.g., 800 epochs for MoCo v3) to achieve promising results, which is unacceptable for the general academic community and hinders the development of this topic. This work revisits the momentum-based contrastive learning frameworks and identifies the inefficiency in which two augmented views generate only one positive pair. We propose Fast-MoCo - a novel framework that utilizes combinatorial patches to construct multiple positive pairs from two augmented views, which provides abundant supervision signals that bring significant acceleration with neglectable extra computational cost. Fast-MoCo trained with 100 epochs achieves 73.5% linear evaluation accuracy, similar to MoCo v3 (ResNet-50 backbone) trained with 800 epochs. Extra training (200 epochs) further improves the result to 75.1%, which is on par with state-of-the-art methods. Experiments on several downstream tasks also confirm the effectiveness of Fast-MoCo.
• Abstract（参考訳）: コントラストに基づく自己指導型学習手法は近年大きな成功を収めている。 しかし、自己監督には非常に長い訓練エポック(例えばMoCo v3の800エポック)が必要であり、一般の学術コミュニティには受け入れられず、このトピックの開発を妨げている。 この研究は運動量に基づくコントラスト学習フレームワークを再考し、2つの拡張ビューが1つの正のペアだけを生成する非効率性を同定する。 本稿では、2つの拡張ビューから複数の正のペアを構成するために組合せパッチを利用する新しいフレームワークであるFast-MoCoを提案する。 100エポックでトレーニングされたFast-MoCoは、800エポックでトレーニングされたMoCo v3(ResNet-50バックボーン)と同様、73.5%の線形評価精度を達成する。 余剰訓練(200エポック)はさらに75.1%に改善し、これは最先端の手法と同等である。 いくつかの下流タスクにおける実験もfast-mocoの有効性を確認した。

関連論文リスト

• SynCo: Synthetic Hard Negatives in Contrastive Learning for Better Unsupervised Visual Representations [6.24302896438145]
  表現空間上で合成ハードネガティブを生成することによってモデル性能を向上させる新しい手法であるSynCoを導入する。 MoCoフレームワーク上に構築されたSynCoは,計算オーバーヘッドを最小限に抑えた,さまざまな合成ハードネガをオンザフライで生成するための6つの戦略を導入している。 我々の合成ハード・ネガティブ・ジェネレーション・アプローチは、自己教師付きコントラスト学習を通じて学習した視覚的表現を著しく向上させる。
  論文  参考訳（メタデータ） (2024-10-03T11:29:09Z)
• Lancet: Accelerating Mixture-of-Experts Training via Whole Graph Computation-Communication Overlapping [14.435637320909663]
  MoEテクニックは、DNNモデルパラメータのサイズを拡大する上で重要な役割を果たす。 既存の手法は、全てを専門家の計算でオーバーラップすることでこの問題を緩和しようとする。 本研究では,より広いトレーニンググラフレベルでのオーバーラップを考慮し,この課題の範囲を広げる。 コンパイラをベースとした最適化により,MoEモデルトレーニングを自動的に強化するシステムであるLancetにこれらの手法を実装した。
  論文  参考訳（メタデータ） (2024-04-30T10:17:21Z)
• Peeling the Onion: Hierarchical Reduction of Data Redundancy for Efficient Vision Transformer Training [110.79400526706081]
  ビジョントランス (ViT) は近年多くのアプリケーションで成功を収めているが、その計算量とメモリ使用量によって一般化が制限されている。 従来の圧縮アルゴリズムは通常、事前訓練された高密度モデルから始まり、効率的な推論のみに焦点を当てる。 本稿では,3つのスパースの観点から,Tri-Level E-ViTと呼ばれるエンドツーエンドの効率的なトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-19T21:15:47Z)
• CaCo: Both Positive and Negative Samples are Directly Learnable via Cooperative-adversarial Contrastive Learning [45.68097757313092]
  クエリアンカーが与えられた負のサンプルと正のサンプルを区別することで、エンコーダを訓練する。 比較損失の最小化と最大化により, 正および負のサンプルを協調的に, 対角的に学習できることが示唆された。 提案手法は、ImageNet1K上で事前トレーニングされたResNet-50バックボーンの200と800のエポックに対して、トップ1の精度で71.3%と75.3%を達成する。
  論文  参考訳（メタデータ） (2022-03-27T18:50:39Z)
• Energy-Based Contrastive Learning of Visual Representations [54.06799491319278]
  コントラスト学習とエネルギーベースモデル(EBM)を組み合わせたエネルギーベースコントラスト学習(EBCLR)を提案する。 EBCLRは254対の負対(バッチサイズ128)と30対の負対(バッチサイズ16)でほぼ同じ性能を達成し、少数の負対に対してEBCLRの堅牢性を示す。
  論文  参考訳（メタデータ） (2022-02-10T09:46:10Z)
• Value Function is All You Need: A Unified Learning Framework for Ride Hailing Platforms [57.21078336887961]
  DiDi、Uber、Lyftなどの大型配車プラットフォームは、都市内の数万台の車両を1日中数百万の乗車要求に接続している。 両課題に対処するための統合価値に基づく動的学習フレームワーク(V1D3)を提案する。
  論文  参考訳（メタデータ） (2021-05-18T19:22:24Z)
• Faster Meta Update Strategy for Noise-Robust Deep Learning [62.08964100618873]
  我々は,メタグラデーションの最も高価なステップをより高速なレイヤワイズ近似に置き換えるために,新しいファMUS(Faster Meta Update Strategy)を導入する。 本手法は,同等あるいはさらに優れた一般化性能を維持しつつ,トレーニング時間の3分の2を節約できることを示す。
  論文  参考訳（メタデータ） (2021-04-30T16:19:07Z)
• DiPair: Fast and Accurate Distillation for Trillion-Scale Text Matching and Pair Modeling [24.07558669713062]
  テキストペアタスクの高速かつ正確なモデルを蒸留するためのフレームワークであるDiPairを提案する。 スケーラビリティも高く、品質と速度のトレードオフも改善されている。 学術および実世界のeコマースベンチマークで実施された実証研究は,提案手法の有効性を実証している。
  論文  参考訳（メタデータ） (2020-10-07T01:19:23Z)
• Compounding the Performance Improvements of Assembled Techniques in a Convolutional Neural Network [6.938261599173859]
  基本CNNモデルの精度とロバスト性を改善する方法について述べる。 提案したResNet-50は、トップ1の精度を76.3%から82.78%、mCEを76.0%から48.9%、mFRを57.7%から32.3%に改善した。 CVPR 2019でiFood Competition Fine-Grained Visual Recognitionで1位を獲得した。
  論文  参考訳（メタデータ） (2020-01-17T12:42:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。