論文の概要: Non-contrastive approaches to similarity learning: positive examples are
all you need
- arxiv url: http://arxiv.org/abs/2209.14750v1
- Date: Wed, 28 Sep 2022 13:27:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-30 16:29:36.889971
- Title: Non-contrastive approaches to similarity learning: positive examples are
all you need
- Title(参考訳): 類似性学習への非矛盾的アプローチ - ポジティブな例だけ
- Authors: Alexander Marusov, Valerii Baianov, Alexey Zaytsev
- Abstract要約: 本稿では,区間類似性問題と時系列表現学習のための非コントラスト型自己教師型アプローチを提案する。
特に,BYOL法とBarlow Twins法に基づいて,負のペアの使用を回避し,正のペアのマッチングにのみ焦点をあてる。
BYOLとBarlow Twinsの強化戦略と適応によって、より高い品質を実現することができます。
- 参考スコア(独自算出の注目度): 69.77452691994712
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: The similarity learning problem in the oil \& gas industry aims to construct
a model that estimates similarity between interval measurements for logging
data. Previous attempts are mostly based on empirical rules, so our goal is to
automate this process and exclude expensive and time-consuming expert
labelling.
One of the approaches for similarity learning is self-supervised learning
(SSL). In contrast to the supervised paradigm, this one requires little or no
labels for the data. Thus, we can learn such models even if the data labelling
is absent or scarce. Nowadays, most SSL approaches are contrastive and
non-contrastive. However, due to possible wrong labelling of positive and
negative samples, contrastive methods don't scale well with the number of
objects. Non-contrastive methods don't rely on negative samples. Such
approaches are actively used in the computer vision.
We introduce non-contrastive SSL for time series data. In particular, we
build on top of BYOL and Barlow Twins methods that avoid using negative pairs
and focus only on matching positive pairs. The crucial part of these methods is
an augmentation strategy. Different augmentations of time series exist, while
their effect on the performance can be both positive and negative. Our
augmentation strategies and adaption for BYOL and Barlow Twins together allow
us to achieve a higher quality (ARI $= 0.49$) than other self-supervised
methods (ARI $= 0.34$ only), proving usefulness of the proposed non-contrastive
self-supervised approach for the interval similarity problem and time series
representation learning in general.
- Abstract(参考訳): 石油・ガス産業における類似性学習問題は,ログデータの間隔測定の類似性を推定するモデルを構築することを目的としている。
これまでの試みは、主に経験則に基づいていますので、このプロセスの自動化と、高価で時間を要する専門家のラベルの排除を目標としています。
類似性学習のアプローチの1つは、自己教師付き学習(SSL)である。
教師付きパラダイムとは対照的に、データのラベルはほとんど、あるいは全く必要としない。
したがって、データラベリングが欠如している場合でも、そのようなモデルを学ぶことができる。
現在、ほとんどのSSLアプローチは対照的で非コントラスト的です。
しかし、正と負のサンプルの誤ったラベル付けのため、対照的なメソッドはオブジェクトの数とうまくスケールしない。
非矛盾的手法は負のサンプルに依存しない。
このようなアプローチはコンピュータビジョンで積極的に使われている。
時系列データに対する非コントラストSSLを導入する。
特に,BYOL法とBarlow Twins法に基づいて,負のペアの使用を回避し,正のペアにのみ焦点を合わせる。
これらの方法の重要な部分は強化戦略である。
時系列の異なる拡張は存在するが、その性能への影響は正と負の両方である。
BYOLとBarlow Twinsの強化戦略と適応により、他の自己教師付き手法(ARI $= 0.34$)よりも高い品質(ARI $= 0.49$)を達成することができ、時間間隔類似性問題や時系列表現学習に対する非競合的自己教師付きアプローチの有用性を証明できる。
関連論文リスト
- Prototypical Contrastive Learning through Alignment and Uniformity for
Recommendation [6.790779112538357]
提案するアンダーライン・アライメントとアンダーライン・ユニフォーマル性によるインダーライン型コントラスト学習について述べる。
具体的には、まず、原点グラフから異なる拡張点間の整合性を確保するために、潜時空間としてプロトタイプを提案する。
明示的な負の欠如は、インスタンスとプロトタイプ間の整合性損失を直接最適化することで、次元的な崩壊の問題が容易に生じることを意味する。
論文 参考訳(メタデータ) (2024-02-03T08:19:26Z) - SSB: Simple but Strong Baseline for Boosting Performance of Open-Set
Semi-Supervised Learning [106.46648817126984]
本稿では,挑戦的で現実的なオープンセットSSL設定について検討する。
目標は、inlierを正しく分類し、outlierを検知することである。
信頼度の高い疑似ラベル付きデータを組み込むことで、不整合分類性能を大幅に改善できることが判明した。
論文 参考訳(メタデータ) (2023-11-17T15:14:40Z) - Few-shot Learning via Dependency Maximization and Instance Discriminant
Analysis [21.8311401851523]
そこで本研究では,カテゴリ毎にラベル付きデータが極めて少ない新しいオブジェクトの認識をモデルが学習する,数ショットの学習問題について検討する。
本稿では,少数ショット処理に伴うラベルなしデータを利用して,少数ショット性能を向上させるための簡単な手法を提案する。
論文 参考訳(メタデータ) (2021-09-07T02:19:01Z) - Trash to Treasure: Harvesting OOD Data with Cross-Modal Matching for
Open-Set Semi-Supervised Learning [101.28281124670647]
オープンセット半教師付き学習(Open-set SSL)では、ラベルなしデータにOOD(Out-of-distribution)サンプルを含む、難しいが実用的なシナリオを調査する。
我々は、OODデータの存在を効果的に活用し、特徴学習を増強する新しいトレーニングメカニズムを提案する。
我々のアプローチは、オープンセットSSLのパフォーマンスを大幅に向上させ、最先端技術よりも大きなマージンで性能を向上します。
論文 参考訳(メタデータ) (2021-08-12T09:14:44Z) - Revisiting Contrastive Methods for Unsupervised Learning of Visual
Representations [78.12377360145078]
対照的な自己教師型学習は、セグメンテーションやオブジェクト検出といった多くの下流タスクにおいて教師付き事前訓練よりも優れています。
本稿では,データセットのバイアスが既存手法にどのように影響するかを最初に検討する。
現在のコントラストアプローチは、(i)オブジェクト中心対シーン中心、(ii)一様対ロングテール、(iii)一般対ドメイン固有データセットなど、驚くほどうまく機能することを示す。
論文 参考訳(メタデータ) (2021-06-10T17:59:13Z) - Understanding self-supervised Learning Dynamics without Contrastive
Pairs [72.1743263777693]
自己監視学習(SSL)に対する対照的アプローチは、同じデータポイントの2つの拡張ビュー間の距離を最小限にすることで表現を学習する。
BYOLとSimSiamは、負のペアなしで素晴らしいパフォーマンスを示す。
単純線形ネットワークにおける非コントラストSSLの非線形学習ダイナミクスについて検討する。
論文 参考訳(メタデータ) (2021-02-12T22:57:28Z) - Unsupervised Feature Learning by Cross-Level Instance-Group
Discrimination [68.83098015578874]
我々は、インスタンスグループ化ではなく、クロスレベルな識別によって、インスタンス間の類似性を対照的な学習に統合する。
CLDは、教師なし学習を、自然データや現実世界のアプリケーションに効果的に近づける。
セルフスーパービジョン、セミスーパービジョン、トランスファーラーニングベンチマークに関する新たな最先端技術は、報告されたすべてのパフォーマンスでMoCo v2とSimCLRを上回っている。
論文 参考訳(メタデータ) (2020-08-09T21:13:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。