論文の概要: Learning by Sorting: Self-supervised Learning with Group Ordering Constraints

• arxiv url: http://arxiv.org/abs/2301.02009v2
• Date: Sat, 19 Aug 2023 01:07:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-23 01:56:06.626506
• Title: Learning by Sorting: Self-supervised Learning with Group Ordering Constraints
• Title（参考訳）: ソートによる学習: グループ順序制約による自己教師付き学習
• Authors: Nina Shvetsova, Felix Petersen, Anna Kukleva, Bernt Schiele, Hilde Kuehne
• Abstract要約: 本稿では,対照学習目標である群順序制約(GroCo)の新たなバリエーションを提案する。 正の対と負の対の距離をソートし、正の対が負の対よりも多くの距離を持つかに基づいてそれぞれの損失を計算するという考え方を利用しており、したがって正しく順序付けされていない。 各種自己教師付き学習ベンチマークの定式化について検討し、バニラのコントラスト学習と比較して結果が向上するだけでなく、k-NNの性能において、線形探索や性能向上において同等の手法と競合する性能を示すことを示す。
• 参考スコア（独自算出の注目度）: 75.89238437237445
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastive learning has become an important tool in learning representations from unlabeled data mainly relying on the idea of minimizing distance between positive data pairs, e.g., views from the same images, and maximizing distance between negative data pairs, e.g., views from different images. This paper proposes a new variation of the contrastive learning objective, Group Ordering Constraints (GroCo), that leverages the idea of sorting the distances of positive and negative pairs and computing the respective loss based on how many positive pairs have a larger distance than the negative pairs, and thus are not ordered correctly. To this end, the GroCo loss is based on differentiable sorting networks, which enable training with sorting supervision by matching a differentiable permutation matrix, which is produced by sorting a given set of scores, to a respective ground truth permutation matrix. Applying this idea to groupwise pre-ordered inputs of multiple positive and negative pairs allows introducing the GroCo loss with implicit emphasis on strong positives and negatives, leading to better optimization of the local neighborhood. We evaluate the proposed formulation on various self-supervised learning benchmarks and show that it not only leads to improved results compared to vanilla contrastive learning but also shows competitive performance to comparable methods in linear probing and outperforms current methods in k-NN performance.
• Abstract（参考訳）: コントラスト学習は、主に正のデータ対間の距離を最小化し、例えば同じ画像からのビューを最大化し、異なる画像からのビューを最大化するという考え方に依存して、ラベルのないデータから表現を学習する上で重要なツールとなっている。 本稿では, 正対と負対の距離を分類し, 正対が負対よりも大きい距離を持つかに基づいて各損失を計算し, 正対の距離を正しく順序付けしない, コントラスト学習目標である群順序制約(groco)の新たなバリエーションを提案する。 この目的のためにグロコロスは微分可能ソートネットワークに基づいており、与えられたスコアのセットをソートして生成される微分可能順列行列を各基底真理順列行列にマッチングすることにより、ソート監督によるトレーニングを可能にする。 このアイデアを、複数の正と負のペアの事前順序付けされた入力にグループ的に適用することで、強い正と負に暗黙的に強調したグロコロスの導入が可能になり、局所近傍の最適化が向上する。 提案手法は,様々な自己教師付き学習ベンチマークを用いて評価し,バニラコントラスト学習と比較して結果が向上するだけでなく,k-nn性能の現在の手法を上回って,線形プローブ法と同等の性能を示す。

関連論文リスト

• Smoothed Graph Contrastive Learning via Seamless Proximity Integration [35.73306919276754]
  グラフコントラスト学習(GCL)はノードペアを正と負に分類することでノード表現を整列させる。 SGCL(Smoothed Graph Contrastive Learning Model)を提案する。 提案したSGCLは, 3つの異なる平滑化手法を取り入れることで, ノード対に付随するペナルティを対照的な損失で調整する。
  論文  参考訳（メタデータ） (2024-02-23T11:32:46Z)
• Bipartite Ranking Fairness through a Model Agnostic Ordering Adjustment [54.179859639868646]
  本稿では,二部類ランキングにおける公平性を実現するためのモデルに依存しない後処理フレームワークxOrderを提案する。 xOrderは、教師なしおよび教師なしの公正度メトリックを含む、さまざまな分類モデルとランキングフェアネスメトリクスと互換性がある。 提案アルゴリズムを,4つのベンチマークデータセットと2つの実世界の患者電子健康記録リポジトリ上で評価した。
  論文  参考訳（メタデータ） (2023-07-27T07:42:44Z)
• Deep Negative Correlation Classification [82.45045814842595]
  既存のディープアンサンブル手法は、多くの異なるモデルをナビゲートし、予測を集約する。 深部負相関分類(DNCC)を提案する。 DNCCは、個々の推定器が正確かつ負の相関を持つ深い分類アンサンブルを生成する。
  論文  参考訳（メタデータ） (2022-12-14T07:35:20Z)
• Twin Contrastive Learning for Online Clustering [15.9794051341163]
  本稿では、インスタンスとクラスタレベルで双対学習(TCL)を行うことにより、オンラインクラスタリングを実現することを提案する。 対象のクラスタ番号の次元を持つ特徴空間にデータを投影すると、その特徴行列の行と列がインスタンスとクラスタ表現に対応していることがわかった。
  論文  参考訳（メタデータ） (2022-10-21T02:12:48Z)
• Contrasting quadratic assignments for set-based representation learning [5.142415132534397]
  コントラスト学習の標準的なアプローチは、データの異なるビュー間の合意を最大化することです。 本研究では、個々のペアを考えるアプローチは、セット内およびセット間類似性の両方を考慮できないことに留意する。 我々は、オブジェクトを集合として対比することに焦点をあてて、個々のオブジェクトの対を対比する以上のことを提案する。
  論文  参考訳（メタデータ） (2022-05-31T14:14:36Z)
• Learning to Hash Naturally Sorts [84.90210592082829]
  そこで我々はNaturely-Sorted Hashing (NSH)を導入し,最終結果のソートによる深層ハッシュモデルのトレーニングを行った。 NSHはサンプルのハッシュコードのハミング距離をソートし、それに従って自己教師付きトレーニングのための潜伏した表現を収集する。 Sorted Noise-Contrastive Estimation (SortedNCE) の新たな損失について述べる。
  論文  参考訳（メタデータ） (2022-01-31T16:19:02Z)
• Not All Negatives are Equal: Label-Aware Contrastive Loss for Fine-grained Text Classification [0.0]
  2つの細粒度テキスト分類タスクにおいて、事前訓練された言語モデルの対照的な微調整を解析する。 クラス関係を比較対象関数に適応的に組み込んで、正と負の異なる評価を支援する。 ラベルを意識したContrastive Lossは,従来のコントラスト手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-09-12T04:19:17Z)
• Contrastive Attraction and Contrastive Repulsion for Representation Learning [131.72147978462348]
  コントラスト学習(CL)法は,複数の負のサンプルに対して,エンコーダが各正のサンプルと対比する自己超越的な方法でデータ表現を学習する。 最近のCL法は、ImageNetのような大規模データセットで事前訓練された場合、有望な結果を得た。 自己グループ内の正と負のサンプルを別々に比較し、正と負の群を対比して進行する2つのCL戦略を提案する。
  論文  参考訳（メタデータ） (2021-05-08T17:25:08Z)
• Contrastive Clustering [57.71729650297379]
  本稿では,インスタンスレベルのコントラスト学習を明示的に行うContrastive Clustering (CC)を提案する。 特にCCは、CIFAR-10(CIFAR-100)データセット上で0.705(0.431)のNMIを達成しており、最高のベースラインと比較して最大19%(39%)のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2020-09-21T08:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。