論文の概要: Beyond Supervised vs. Unsupervised: Representative Benchmarking and Analysis of Image Representation Learning

• arxiv url: http://arxiv.org/abs/2206.08347v1
• Date: Thu, 16 Jun 2022 17:51:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-17 17:26:38.080389
• Title: Beyond Supervised vs. Unsupervised: Representative Benchmarking and Analysis of Image Representation Learning
• Title（参考訳）: 監督された対教師なし:画像表現学習の代表的ベンチマークと分析
• Authors: Matthew Gwilliam, Abhinav Shrivastava
• Abstract要約: イメージ表現を学習するための教師なしの手法は、標準ベンチマークで印象的な結果に達した。 実装が大幅に異なる多くのメソッドは、一般的なベンチマークでほぼ同じように見える結果をもたらす。 本稿では, 線形評価, 近隣分類, クラスタリングなど, 性能ベースのベンチマークを用いた手法の比較を行った。
• 参考スコア（独自算出の注目度）: 37.81297650369799
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: By leveraging contrastive learning, clustering, and other pretext tasks, unsupervised methods for learning image representations have reached impressive results on standard benchmarks. The result has been a crowded field - many methods with substantially different implementations yield results that seem nearly identical on popular benchmarks, such as linear evaluation on ImageNet. However, a single result does not tell the whole story. In this paper, we compare methods using performance-based benchmarks such as linear evaluation, nearest neighbor classification, and clustering for several different datasets, demonstrating the lack of a clear front-runner within the current state-of-the-art. In contrast to prior work that performs only supervised vs. unsupervised comparison, we compare several different unsupervised methods against each other. To enrich this comparison, we analyze embeddings with measurements such as uniformity, tolerance, and centered kernel alignment (CKA), and propose two new metrics of our own: nearest neighbor graph similarity and linear prediction overlap. We reveal through our analysis that in isolation, single popular methods should not be treated as though they represent the field as a whole, and that future work ought to consider how to leverage the complimentary nature of these methods. We also leverage CKA to provide a framework to robustly quantify augmentation invariance, and provide a reminder that certain types of invariance will be undesirable for downstream tasks.
• Abstract（参考訳）: コントラスト学習、クラスタリング、その他のプリテキストタスクを活用することで、イメージ表現を学習するための教師なしの手法が標準ベンチマークで印象的な結果に達した。 その結果は、非常に異なる実装を持つ多くのメソッドが、ImageNetの線形評価など、一般的なベンチマークでほぼ同じように見える結果をもたらします。 しかし、一つの結果は物語全体を語らない。 本稿では,線形評価や近辺の分類,複数のデータセットのクラスタリングなど,パフォーマンスベースのベンチマークを用いた手法を比較し,現状における明確なフロントランナーの欠如を実証する。 教師なし比較と教師なし比較のみを行う先行研究とは対照的に,複数の教師なし比較方法を比較した。 この比較を豊かにするために, 均一性, 耐性, 中心核アライメント(CKA)の測定値を用いた埋め込み解析を行い, 近接グラフ類似度と線形予測重なりの2つの新しい指標を提案する。 分析の結果,単一の一般的なメソッドは,単独でフィールド全体を表現しているかのように扱うべきではないこと,そして,これらのメソッドの補完的性質をどのように活用するかを今後の作業で検討する必要があることが明らかとなった。 また、CKAを利用して拡張不変性を堅牢に定量化するためのフレームワークを提供し、下流タスクではある種の不変性が望ましくないことを思い出させる。

関連論文リスト

• Unsupervised Representation Learning by Balanced Self Attention Matching [2.3020018305241337]
  本稿では,BAMと呼ばれる画像特徴を埋め込む自己教師型手法を提案する。 我々は,これらの分布とグローバルな均衡とエントロピー正規化バージョンに一致する損失を最小化することにより,豊かな表現と特徴の崩壊を回避する。 半教師付きベンチマークと移動学習ベンチマークの両方において,先行手法と競合する性能を示す。
  論文  参考訳（メタデータ） (2024-08-04T12:52:44Z)
• Asymmetric Patch Sampling for Contrastive Learning [17.922853312470398]
  正対間の非対称な出現は、対照的な学習における表現劣化のリスクを効果的に減少させる。 比較学習のための新しい非対称なパッチサンプリング戦略を提案し、より良い表現のために外見非対称性を高める。
  論文  参考訳（メタデータ） (2023-06-05T13:10:48Z)
• Accounting for multiplicity in machine learning benchmark performance [0.0]
  最先端のパフォーマンスをSOTA(State-of-the-art)のパフォーマンスの見積として使うのはバイアスのある推定器であり、過度に楽観的な結果をもたらす。 本稿では、複数の分類器の場合の確率分布について、既知の解析手法を適用できるようにし、より優れたSOTA推定値を提供する。
  論文  参考訳（メタデータ） (2023-03-10T10:32:18Z)
• Rethinking Clustering-Based Pseudo-Labeling for Unsupervised Meta-Learning [146.11600461034746]
  教師なしメタラーニングのメソッドであるCACTUsは、擬似ラベル付きクラスタリングベースのアプローチである。 このアプローチはモデルに依存しないため、教師付きアルゴリズムと組み合わせてラベルのないデータから学習することができる。 このことの核となる理由は、埋め込み空間においてクラスタリングに優しい性質が欠如していることである。
  論文  参考訳（メタデータ） (2022-09-27T19:04:36Z)
• Prototypical Graph Contrastive Learning [141.30842113683775]
  本稿では,有意なサンプリングバイアスを緩和するために,プロトタイプグラフコントラスト学習(PGCL)手法を提案する。 具体的には、PGCLは、グラフデータの基盤となる意味構造を、意味論的に類似したグラフを同じグループにクラスタリングすることでモデル化し、同時に、同じグラフの異なる拡張に対するクラスタリング一貫性を奨励する。 クエリのために、PGCLはさらに、プロトタイプ(クラスタセントロイド)とクエリプロトタイプの間の距離に基づいて、負のサンプルを再重み付けする。
  論文  参考訳（メタデータ） (2021-06-17T16:45:31Z)
• Revisiting Contrastive Methods for Unsupervised Learning of Visual Representations [78.12377360145078]
  対照的な自己教師型学習は、セグメンテーションやオブジェクト検出といった多くの下流タスクにおいて教師付き事前訓練よりも優れています。 本稿では,データセットのバイアスが既存手法にどのように影響するかを最初に検討する。 現在のコントラストアプローチは、(i)オブジェクト中心対シーン中心、(ii)一様対ロングテール、(iii)一般対ドメイン固有データセットなど、驚くほどうまく機能することを示す。
  論文  参考訳（メタデータ） (2021-06-10T17:59:13Z)
• With a Little Help from My Friends: Nearest-Neighbor Contrastive Learning of Visual Representations [87.72779294717267]
  対比損失で最も近い隣り合わせを正として使用すると、ImageNet分類でパフォーマンスが大幅に向上します。 提案手法が複雑なデータ拡張に依存しないことを実証的に証明する。
  論文  参考訳（メタデータ） (2021-04-29T17:56:08Z)
• Unsupervised Image Segmentation using Mutual Mean-Teaching [12.784209596867495]
  より安定した結果を得るために,Mutual Mean-Teaching (MMT) フレームワークに基づく教師なし画像分割モデルを提案する。 実験結果から,提案モデルでは様々な画像の分割が可能であり,既存の手法よりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2020-12-16T13:13:34Z)
• Unsupervised Learning of Visual Features by Contrasting Cluster Assignments [57.33699905852397]
  ペア比較の計算を必要とせず,コントラスト的手法を生かしたオンラインアルゴリズムSwaVを提案する。 本手法では,クラスタ割り当て間の一貫性を保ちながら,同時にデータをクラスタ化する。 我々の方法は大規模で小さなバッチで訓練でき、無制限のデータにスケールできる。
  論文  参考訳（メタデータ） (2020-06-17T14:00:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。