論文の概要: Non-contrastive approaches to similarity learning: positive examples are all you need

• arxiv url: http://arxiv.org/abs/2209.14750v1
• Date: Wed, 28 Sep 2022 13:27:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-30 16:29:36.889971
• Title: Non-contrastive approaches to similarity learning: positive examples are all you need
• Title（参考訳）: 類似性学習への非矛盾的アプローチ - ポジティブな例だけ
• Authors: Alexander Marusov, Valerii Baianov, Alexey Zaytsev
• Abstract要約: 本稿では,区間類似性問題と時系列表現学習のための非コントラスト型自己教師型アプローチを提案する。 特に,BYOL法とBarlow Twins法に基づいて,負のペアの使用を回避し,正のペアのマッチングにのみ焦点をあてる。 BYOLとBarlow Twinsの強化戦略と適応によって、より高い品質を実現することができます。
• 参考スコア（独自算出の注目度）: 69.77452691994712
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: The similarity learning problem in the oil \& gas industry aims to construct a model that estimates similarity between interval measurements for logging data. Previous attempts are mostly based on empirical rules, so our goal is to automate this process and exclude expensive and time-consuming expert labelling. One of the approaches for similarity learning is self-supervised learning (SSL). In contrast to the supervised paradigm, this one requires little or no labels for the data. Thus, we can learn such models even if the data labelling is absent or scarce. Nowadays, most SSL approaches are contrastive and non-contrastive. However, due to possible wrong labelling of positive and negative samples, contrastive methods don't scale well with the number of objects. Non-contrastive methods don't rely on negative samples. Such approaches are actively used in the computer vision. We introduce non-contrastive SSL for time series data. In particular, we build on top of BYOL and Barlow Twins methods that avoid using negative pairs and focus only on matching positive pairs. The crucial part of these methods is an augmentation strategy. Different augmentations of time series exist, while their effect on the performance can be both positive and negative. Our augmentation strategies and adaption for BYOL and Barlow Twins together allow us to achieve a higher quality (ARI $= 0.49$) than other self-supervised methods (ARI $= 0.34$ only), proving usefulness of the proposed non-contrastive self-supervised approach for the interval similarity problem and time series representation learning in general.
• Abstract（参考訳）: 石油・ガス産業における類似性学習問題は,ログデータの間隔測定の類似性を推定するモデルを構築することを目的としている。 これまでの試みは、主に経験則に基づいていますので、このプロセスの自動化と、高価で時間を要する専門家のラベルの排除を目標としています。 類似性学習のアプローチの1つは、自己教師付き学習(SSL)である。 教師付きパラダイムとは対照的に、データのラベルはほとんど、あるいは全く必要としない。 したがって、データラベリングが欠如している場合でも、そのようなモデルを学ぶことができる。 現在、ほとんどのSSLアプローチは対照的で非コントラスト的です。 しかし、正と負のサンプルの誤ったラベル付けのため、対照的なメソッドはオブジェクトの数とうまくスケールしない。 非矛盾的手法は負のサンプルに依存しない。 このようなアプローチはコンピュータビジョンで積極的に使われている。 時系列データに対する非コントラストSSLを導入する。 特に,BYOL法とBarlow Twins法に基づいて,負のペアの使用を回避し,正のペアにのみ焦点を合わせる。 これらの方法の重要な部分は強化戦略である。 時系列の異なる拡張は存在するが、その性能への影響は正と負の両方である。 BYOLとBarlow Twinsの強化戦略と適応により、他の自己教師付き手法(ARI $= 0.34$)よりも高い品質(ARI $= 0.49$)を達成することができ、時間間隔類似性問題や時系列表現学習に対する非競合的自己教師付きアプローチの有用性を証明できる。

関連論文リスト

• Regularized Contrastive Partial Multi-view Outlier Detection [76.77036536484114]
  RCPMOD(Regularized Contrastive partial Multi-view Outlier Detection)と呼ばれる新しい手法を提案する。 このフレームワークでは、コントラスト学習を利用して、ビュー一貫性のある情報を学び、一貫性の度合いでアウトレイラを識別する。 4つのベンチマークデータセットによる実験結果から,提案手法が最先端の競合より優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-02T14:34:27Z)
• A Closer Look at Benchmarking Self-Supervised Pre-training with Image Classification [51.35500308126506]
  自己教師付き学習(SSL)は、データ自体が監視を提供する機械学習アプローチであり、外部ラベルの必要性を排除している。 SSLの分類に基づく評価プロトコルがどのように相関し、異なるデータセットのダウンストリーム性能を予測するかを検討する。
  論文  参考訳（メタデータ） (2024-07-16T23:17:36Z)
• Prototypical Contrastive Learning through Alignment and Uniformity for Recommendation [6.790779112538357]
  提案するアンダーライン・アライメントとアンダーライン・ユニフォーマル性によるインダーライン型コントラスト学習について述べる。 具体的には、まず、原点グラフから異なる拡張点間の整合性を確保するために、潜時空間としてプロトタイプを提案する。 明示的な負の欠如は、インスタンスとプロトタイプ間の整合性損失を直接最適化することで、次元的な崩壊の問題が容易に生じることを意味する。
  論文  参考訳（メタデータ） (2024-02-03T08:19:26Z)
• Semantic Positive Pairs for Enhancing Visual Representation Learning of Instance Discrimination methods [4.680881326162484]
  インスタンス識別に基づく自己教師付き学習アルゴリズム(SSL)は有望な結果を示している。 類似したセマンティックコンテンツを用いてそれらの画像を識別し、肯定的な例として扱うアプローチを提案する。 我々は、ImageNet、STL-10、CIFAR-10の3つのベンチマークデータセットで、異なるインスタンス識別SSLアプローチで実験を行った。
  論文  参考訳（メタデータ） (2023-06-28T11:47:08Z)
• Revisiting Contrastive Methods for Unsupervised Learning of Visual Representations [78.12377360145078]
  対照的な自己教師型学習は、セグメンテーションやオブジェクト検出といった多くの下流タスクにおいて教師付き事前訓練よりも優れています。 本稿では,データセットのバイアスが既存手法にどのように影響するかを最初に検討する。 現在のコントラストアプローチは、(i)オブジェクト中心対シーン中心、(ii)一様対ロングテール、(iii)一般対ドメイン固有データセットなど、驚くほどうまく機能することを示す。
  論文  参考訳（メタデータ） (2021-06-10T17:59:13Z)
• Understanding self-supervised Learning Dynamics without Contrastive Pairs [72.1743263777693]
  自己監視学習(SSL)に対する対照的アプローチは、同じデータポイントの2つの拡張ビュー間の距離を最小限にすることで表現を学習する。 BYOLとSimSiamは、負のペアなしで素晴らしいパフォーマンスを示す。 単純線形ネットワークにおける非コントラストSSLの非線形学習ダイナミクスについて検討する。
  論文  参考訳（メタデータ） (2021-02-12T22:57:28Z)
• Unsupervised Feature Learning by Cross-Level Instance-Group Discrimination [68.83098015578874]
  我々は、インスタンスグループ化ではなく、クロスレベルな識別によって、インスタンス間の類似性を対照的な学習に統合する。 CLDは、教師なし学習を、自然データや現実世界のアプリケーションに効果的に近づける。 セルフスーパービジョン、セミスーパービジョン、トランスファーラーニングベンチマークに関する新たな最先端技術は、報告されたすべてのパフォーマンスでMoCo v2とSimCLRを上回っている。
  論文  参考訳（メタデータ） (2020-08-09T21:13:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。