論文の概要: Unsupervised Feature Learning by Cross-Level Instance-Group Discrimination

• arxiv url: http://arxiv.org/abs/2008.03813v5
• Date: Sun, 16 May 2021 03:11:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-01 04:00:25.403561
• Title: Unsupervised Feature Learning by Cross-Level Instance-Group Discrimination
• Title（参考訳）: クロスレベルインスタンス群識別による教師なし特徴学習
• Authors: Xudong Wang, Ziwei Liu, Stella X. Yu
• Abstract要約: 我々は、インスタンスグループ化ではなく、クロスレベルな識別によって、インスタンス間の類似性を対照的な学習に統合する。 CLDは、教師なし学習を、自然データや現実世界のアプリケーションに効果的に近づける。 セルフスーパービジョン、セミスーパービジョン、トランスファーラーニングベンチマークに関する新たな最先端技術は、報告されたすべてのパフォーマンスでMoCo v2とSimCLRを上回っている。
• 参考スコア（独自算出の注目度）: 68.83098015578874
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unsupervised feature learning has made great strides with contrastive learning based on instance discrimination and invariant mapping, as benchmarked on curated class-balanced datasets. However, natural data could be highly correlated and long-tail distributed. Natural between-instance similarity conflicts with the presumed instance distinction, causing unstable training and poor performance. Our idea is to discover and integrate between-instance similarity into contrastive learning, not directly by instance grouping, but by cross-level discrimination (CLD) between instances and local instance groups. While invariant mapping of each instance is imposed by attraction within its augmented views, between-instance similarity could emerge from common repulsion against instance groups. Our batch-wise and cross-view comparisons also greatly improve the positive/negative sample ratio of contrastive learning and achieve better invariant mapping. To effect both grouping and discrimination objectives, we impose them on features separately derived from a shared representation. In addition, we propose normalized projection heads and unsupervised hyper-parameter tuning for the first time. Our extensive experimentation demonstrates that CLD is a lean and powerful add-on to existing methods such as NPID, MoCo, InfoMin, and BYOL on highly correlated, long-tail, or balanced datasets. It not only achieves new state-of-the-art on self-supervision, semi-supervision, and transfer learning benchmarks, but also beats MoCo v2 and SimCLR on every reported performance attained with a much larger compute. CLD effectively brings unsupervised learning closer to natural data and real-world applications. Our code is publicly available at: https://github.com/frank-xwang/CLD-UnsupervisedLearning.
• Abstract（参考訳）: 教師なしの機能学習は、計算済みのクラスバランスデータセットでベンチマークされるように、インスタンスの識別と不変マッピングに基づく対照的な学習で大きな進歩を遂げた。 しかし、自然データは高い相関関係があり、長い尾の分布がある。 インスタンス間の自然な類似性は、想定されるインスタンスの区別と矛盾し、不安定なトレーニングとパフォーマンスの低下を引き起こす。 我々の考えは、インスタンスグループ化ではなく、インスタンスとローカルインスタンスグループ間のクロスレベル識別(CLD)によって、インスタンス間の類似性を対照的な学習に発見し、統合することである。 各インスタンスの不変写像は拡張ビュー内のアトラクションによって課されるが、インスタンス群に対する共通の反発から、インスタンス間の類似性が生じる可能性がある。 バッチ別およびクロスビュー比較は,コントラスト学習の正・負のサンプル比を大幅に改善し,不変マッピングも向上した。 グループ化と識別の目的の両方に影響を及ぼすため、共有表現から分離した特徴にそれらを課す。 さらに,正規化投影ヘッドと教師なしハイパーパラメータチューニングを初めて提案する。 広範な実験により,cld が npid,moco,infomin,byol などの既存メソッドに対する,高度に相関した,ロングテール,あるいはバランスの取れたデータセットに対するリーンかつ強力なアドオンであることを実証した。 セルフスーパービジョン、セミスーパービジョン、トランスファーラーニングのベンチマークで新しい最先端を達成するだけでなく、はるかに大きな計算で得られた報告されたパフォーマンスでMoCo v2とSimCLRに勝っている。 cldは、教師なし学習を自然データや現実世界のアプリケーションに近づける。 私たちのコードは、https://github.com/frank-xwang/CLD-UnsupervisedLearningで公開されています。

関連論文リスト

• Decoupled Contrastive Learning for Long-Tailed Recognition [58.255966442426484]
  Supervised Contrastive Loss (SCL) は視覚表現学習で人気がある。 ロングテール認識のシナリオでは、各クラスのサンプル数が不均衡である場合、2種類の正のサンプルを同じように扱うと、カテゴリー内距離に対するバイアス最適化が導かれる。 そこで我々は,尾級の低表現を緩和するために,頭級から尾級へ知識を伝達するためのパッチベースの自己蒸留法を提案する。
  論文  参考訳（メタデータ） (2024-03-10T09:46:28Z)
• FedUV: Uniformity and Variance for Heterogeneous Federated Learning [5.9330433627374815]
  フェデレーション学習は、広く分散されたデータでニューラルネットワークをトレーニングするための有望なフレームワークである。 最近の研究によると、ネットワークの最終層が局所バイアスの傾向が最も大きいためである。 凍結重量が一定の特異値をもたらすという観測によって動機付けられた重みにSVDを適用して分類器の訓練力学を考察する。
  論文  参考訳（メタデータ） (2024-02-27T15:53:15Z)
• Semantic Positive Pairs for Enhancing Visual Representation Learning of Instance Discrimination methods [4.680881326162484]
  インスタンス識別に基づく自己教師付き学習アルゴリズム(SSL)は有望な結果を示している。 類似したセマンティックコンテンツを用いてそれらの画像を識別し、肯定的な例として扱うアプローチを提案する。 我々は、ImageNet、STL-10、CIFAR-10の3つのベンチマークデータセットで、異なるインスタンス識別SSLアプローチで実験を行った。
  論文  参考訳（メタデータ） (2023-06-28T11:47:08Z)
• Beyond Instance Discrimination: Relation-aware Contrastive Self-supervised Learning [75.46664770669949]
  本稿では,関係認識型コントラスト型自己教師型学習(ReCo)をインスタンス関係に統合するために提案する。 当社のReCoは、常に顕著なパフォーマンス改善を実現しています。
  論文  参考訳（メタデータ） (2022-11-02T03:25:28Z)
• Non-contrastive representation learning for intervals from well logs [58.70164460091879]
  石油・ガス産業における表現学習問題は、ログデータに基づく表現を一定間隔で提供するモデルを構築することを目的としている。 可能なアプローチの1つは、自己教師付き学習(SSL)である。 私たちは、よくログするデータのための非コントラストSSLを最初に導入しました。
  論文  参考訳（メタデータ） (2022-09-28T13:27:10Z)
• Adaptive Soft Contrastive Learning [19.45520684918576]
  本稿では,適応型ソフトコントラスト学習(ASCL)という,サンプル間のソフトな関係を導入する適応手法を提案する。 既存の自己教師付き学習フレームワークのための効果的で簡潔なプラグインモジュールとして、ASCLはいくつかのベンチマークで最高のパフォーマンスを達成している。
  論文  参考訳（メタデータ） (2022-07-22T16:01:07Z)
• Weakly Supervised Contrastive Learning [68.47096022526927]
  この問題に対処するために,弱教師付きコントラスト学習フレームワーク(WCL)を導入する。 WCLはResNet50を使用して65%と72%のImageNet Top-1の精度を実現している。
  論文  参考訳（メタデータ） (2021-10-10T12:03:52Z)
• Hybrid Dynamic Contrast and Probability Distillation for Unsupervised Person Re-Id [109.1730454118532]
  非監督的人物再識別(Re-Id)は、リードワールドビデオ監視システムにおける実践的応用により注目されている。 本稿では,ハイブリッド動的クラスタコントラストと確率蒸留アルゴリズムを提案する。 教師なしRe-Id問題を局所-言語的ダイナミックコントラスト学習と自己教師付き確率蒸留の枠組みに統合する。
  論文  参考訳（メタデータ） (2021-09-29T02:56:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。