論文の概要: Learning by Sorting: Self-supervised Learning with Group Ordering Constraints

• arxiv url: http://arxiv.org/abs/2301.02009v1
• Date: Thu, 5 Jan 2023 11:17:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-06 14:08:10.976177
• Title: Learning by Sorting: Self-supervised Learning with Group Ordering Constraints
• Title（参考訳）: ソートによる学習: グループ順序制約による自己教師付き学習
• Authors: Nina Shvetsova, Felix Petersen, Anna Kukleva, Bernt Schiele, Hilde Kuehne
• Abstract要約: 本稿では,グループ順序制約(GroCo)に基づく自己指導型コントラスト学習への新たなアプローチを提案する。 最近の微分可能なソートアルゴリズムの成功に基づいて、グループ順序付けの制約は、全ての正のサンプルの距離が全ての負のイメージの距離よりも小さいことを強制する。 提案手法は, 線形探索において, 現在の手法と競合するだけでなく, 局所表現の整合性も高いことを示す。
• 参考スコア（独自算出の注目度）: 80.94779023510739
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastive learning has become a prominent ingredient in learning representations from unlabeled data. However, existing methods primarily consider pairwise relations. This paper proposes a new approach towards self-supervised contrastive learning based on Group Ordering Constraints (GroCo). The GroCo loss leverages the idea of comparing groups of positive and negative images instead of pairs of images. Building on the recent success of differentiable sorting algorithms, group ordering constraints enforce that the distances of all positive samples (a positive group) are smaller than the distances of all negative images (a negative group); thus, enforcing positive samples to gather around an anchor. This leads to a more holistic optimization of the local neighborhoods. We evaluate the proposed setting on a suite of competitive self-supervised learning benchmarks and show that our method is not only competitive to current methods in the case of linear probing but also leads to higher consistency in local representations, as can be seen from a significantly improved k-NN performance across all benchmarks.
• Abstract（参考訳）: 対照的な学習はラベルのないデータから表現を学ぶ上で重要な要素となっている。 しかし、既存の手法は主にペア関係を考慮する。 本稿では,グループ順序制約(groco)に基づく自己教師ありコントラスト学習への新しいアプローチを提案する。 GroCoの損失は、対のイメージではなく、正と負のイメージのグループを比較するという考え方を活用する。 最近の微分可能ソートアルゴリズムの成功に基づいて、グループ順序付けの制約は、すべての正のサンプル(正のグループ)の距離が、負のイメージ(負のグループ)の距離よりも小さいことを強制し、正のサンプルをアンカーの周りに集めるように強制する。 これにより、局所的な地区のより包括的な最適化がもたらされる。 提案手法は,競争的自己教師付き学習ベンチマークのスイート上で評価し,線形プローブの場合の現在の手法と競合するだけでなく,すべてのベンチマークにおけるk-nn性能が大幅に向上したことから,局所表現の一貫性も高まることを示した。

関連論文リスト

• Smoothed Graph Contrastive Learning via Seamless Proximity Integration [30.247207861739245]
  グラフコントラスト学習(GCL)はノードペアを正と負に分類することでノード表現を整列させる。 SGCL(Smoothed Graph Contrastive Learning Model)を提案する。 提案したSGCLは,3つの異なる平滑化手法を取り入れることで,ノード対に付随するペナルティを対照的な損失で調整する。
  論文  参考訳（メタデータ） (2024-02-23T11:32:46Z)
• Bipartite Ranking Fairness through a Model Agnostic Ordering Adjustment [54.179859639868646]
  本稿では,二部類ランキングにおける公平性を実現するためのモデルに依存しない後処理フレームワークxOrderを提案する。 xOrderは、教師なしおよび教師なしの公正度メトリックを含む、さまざまな分類モデルとランキングフェアネスメトリクスと互換性がある。 提案アルゴリズムを,4つのベンチマークデータセットと2つの実世界の患者電子健康記録リポジトリ上で評価した。
  論文  参考訳（メタデータ） (2023-07-27T07:42:44Z)
• Deep Negative Correlation Classification [82.45045814842595]
  既存のディープアンサンブル手法は、多くの異なるモデルをナビゲートし、予測を集約する。 深部負相関分類(DNCC)を提案する。 DNCCは、個々の推定器が正確かつ負の相関を持つ深い分類アンサンブルを生成する。
  論文  参考訳（メタデータ） (2022-12-14T07:35:20Z)
• Twin Contrastive Learning for Online Clustering [15.9794051341163]
  本稿では、インスタンスとクラスタレベルで双対学習(TCL)を行うことにより、オンラインクラスタリングを実現することを提案する。 対象のクラスタ番号の次元を持つ特徴空間にデータを投影すると、その特徴行列の行と列がインスタンスとクラスタ表現に対応していることがわかった。
  論文  参考訳（メタデータ） (2022-10-21T02:12:48Z)
• Contrasting quadratic assignments for set-based representation learning [5.142415132534397]
  コントラスト学習の標準的なアプローチは、データの異なるビュー間の合意を最大化することです。 本研究では、個々のペアを考えるアプローチは、セット内およびセット間類似性の両方を考慮できないことに留意する。 我々は、オブジェクトを集合として対比することに焦点をあてて、個々のオブジェクトの対を対比する以上のことを提案する。
  論文  参考訳（メタデータ） (2022-05-31T14:14:36Z)
• Learning to Hash Naturally Sorts [84.90210592082829]
  そこで我々はNaturely-Sorted Hashing (NSH)を導入し,最終結果のソートによる深層ハッシュモデルのトレーニングを行った。 NSHはサンプルのハッシュコードのハミング距離をソートし、それに従って自己教師付きトレーニングのための潜伏した表現を収集する。 Sorted Noise-Contrastive Estimation (SortedNCE) の新たな損失について述べる。
  論文  参考訳（メタデータ） (2022-01-31T16:19:02Z)
• Not All Negatives are Equal: Label-Aware Contrastive Loss for Fine-grained Text Classification [0.0]
  2つの細粒度テキスト分類タスクにおいて、事前訓練された言語モデルの対照的な微調整を解析する。 クラス関係を比較対象関数に適応的に組み込んで、正と負の異なる評価を支援する。 ラベルを意識したContrastive Lossは,従来のコントラスト手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-09-12T04:19:17Z)
• Contrastive Attraction and Contrastive Repulsion for Representation Learning [131.72147978462348]
  コントラスト学習(CL)法は,複数の負のサンプルに対して,エンコーダが各正のサンプルと対比する自己超越的な方法でデータ表現を学習する。 最近のCL法は、ImageNetのような大規模データセットで事前訓練された場合、有望な結果を得た。 自己グループ内の正と負のサンプルを別々に比較し、正と負の群を対比して進行する2つのCL戦略を提案する。
  論文  参考訳（メタデータ） (2021-05-08T17:25:08Z)
• Contrastive Clustering [57.71729650297379]
  本稿では,インスタンスレベルのコントラスト学習を明示的に行うContrastive Clustering (CC)を提案する。 特にCCは、CIFAR-10(CIFAR-100)データセット上で0.705(0.431)のNMIを達成しており、最高のベースラインと比較して最大19%(39%)のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2020-09-21T08:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。