論文の概要: A Framework For Contrastive Self-Supervised Learning And Designing A New Approach

• arxiv url: http://arxiv.org/abs/2009.00104v1
• Date: Mon, 31 Aug 2020 21:11:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-23 06:53:26.542991
• Title: A Framework For Contrastive Self-Supervised Learning And Designing A New Approach
• Title（参考訳）: コントラスト型自己教師付き学習の枠組みと新しいアプローチの設計
• Authors: William Falcon, Kyunghyun Cho
• Abstract要約: コントラスト型自己教師学習(コントラスト型自己教師学習、Contrastive self-supervised learning、CSL)は、プレテキストタスクを解くことで有用な表現を学習する手法である。 本稿では,CSLアプローチを5つの側面で特徴付ける概念的枠組みを提案する。
• 参考スコア（独自算出の注目度）: 78.62764948912502
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastive self-supervised learning (CSL) is an approach to learn useful representations by solving a pretext task that selects and compares anchor, negative and positive (APN) features from an unlabeled dataset. We present a conceptual framework that characterizes CSL approaches in five aspects (1) data augmentation pipeline, (2) encoder selection, (3) representation extraction, (4) similarity measure, and (5) loss function. We analyze three leading CSL approaches--AMDIM, CPC, and SimCLR--, and show that despite different motivations, they are special cases under this framework. We show the utility of our framework by designing Yet Another DIM (YADIM) which achieves competitive results on CIFAR-10, STL-10 and ImageNet, and is more robust to the choice of encoder and the representation extraction strategy. To support ongoing CSL research, we release the PyTorch implementation of this conceptual framework along with standardized implementations of AMDIM, CPC (V2), SimCLR, BYOL, Moco (V2) and YADIM.
• Abstract（参考訳）: コントラスト自己教師学習(Contrastive Self-supervised Learning, CSL)は、ラベルなしデータセットからアンカー、負、正の機能を選択・比較するプレテキストタスクを解くことで、有用な表現を学習するアプローチである。 本稿では,cslアプローチを特徴付ける概念的枠組みとして,(1)データ拡張パイプライン,(2)エンコーダ選択,(3)表現抽出,(4)類似度尺度,(5)損失関数を提案する。 我々は、AMDIM、CPC、SimCLRの3つの主要なCSLアプローチを分析し、異なるモチベーションにもかかわらず、これらが特別な場合であることを示す。 我々は,CIFAR-10,STL-10,ImageNet上での競合的な結果を実現し,エンコーダの選択や表現抽出戦略に対してより堅牢なYADIMを設計することで,我々のフレームワークの有用性を示す。 現在進行中のCSL研究を支援するため、AMDIM、CPC(V2)、SimCLR、BYOL、Moco(V2)、YADIMの標準化実装とともに、この概念フレームワークのPyTorch実装をリリースする。

関連論文リスト

• In-Context Learning for Few-Shot Nested Named Entity Recognition [53.55310639969833]
  数発のネストネストNERの設定に有効で革新的なICLフレームワークを導入する。 我々は、新しい実演選択機構であるEnDe retrieverを考案し、ICLプロンプトを改善する。 EnDe検索では,意味的類似性,境界類似性,ラベル類似性という3種類の表現学習を行うために,コントラスト学習を用いる。
  論文  参考訳（メタデータ） (2024-02-02T06:57:53Z)
• CSL: Class-Agnostic Structure-Constrained Learning for Segmentation Including the Unseen [62.72636247006293]
  クラス非依存構造制約学習(Class-Agnostic Structure-Constrained Learning)は、既存のメソッドと統合可能なプラグインフレームワークである。 OODオブジェクトセグメンテーションを強化するソフトアサインとマスク分割手法を提案する。 実証的な評価は、OODセグメンテーション、ZS3、DAセグメンテーションにまたがる既存のアルゴリズムの性能を向上させるCSLの進歩を示している。
  論文  参考訳（メタデータ） (2023-12-09T11:06:18Z)
• Semantic Positive Pairs for Enhancing Visual Representation Learning of Instance Discrimination methods [4.680881326162484]
  インスタンス識別に基づく自己教師付き学習アルゴリズム(SSL)は有望な結果を示している。 類似したセマンティックコンテンツを用いてそれらの画像を識別し、肯定的な例として扱うアプローチを提案する。 我々は、ImageNet、STL-10、CIFAR-10の3つのベンチマークデータセットで、異なるインスタンス識別SSLアプローチで実験を行った。
  論文  参考訳（メタデータ） (2023-06-28T11:47:08Z)
• Deciphering the Projection Head: Representation Evaluation Self-supervised Learning [6.375931203397043]
  自己教師付き学習(SSL)は、ラベルなしで固有の特徴を学習することを目的としている。 プロジェクションヘッドは、ダウンストリームタスクのパフォーマンスを改善する上で、常に重要な役割を果たす。 本稿では,表現と投影ベクトルとのショートカット接続を構築するSSLモデルにおける表現評価設計(RED)を提案する。
  論文  参考訳（メタデータ） (2023-01-28T13:13:53Z)
• Decoupled Adversarial Contrastive Learning for Self-supervised Adversarial Robustness [69.39073806630583]
  頑健な表現学習のための対人訓練(AT)と教師なし表現学習のための自己教師型学習(SSL)は2つの活発な研究分野である。 Decoupled Adversarial Contrastive Learning (DeACL) と呼ばれる2段階のフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-22T06:30:44Z)
• 3D Human Action Representation Learning via Cross-View Consistency Pursuit [52.19199260960558]
  教師なし3次元骨格に基づく行動表現(CrosSCLR)のためのクロスビューコントラスト学習フレームワークを提案する。 CrosSCLRは、シングルビューのコントラスト学習(SkeletonCLR)とクロスビューの一貫した知識マイニング(CVC-KM)モジュールの両方で構成されています。
  論文  参考訳（メタデータ） (2021-04-29T16:29:41Z)
• Spatial-Temporal Multi-Cue Network for Continuous Sign Language Recognition [141.24314054768922]
  本稿では、視覚に基づくシーケンス学習問題を解決するために、時空間マルチキュー(STMC)ネットワークを提案する。 有効性を検証するため、3つの大規模CSLRベンチマークで実験を行った。
  論文  参考訳（メタデータ） (2020-02-08T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。