論文の概要: Seeing the Whole in the Parts in Self-Supervised Representation Learning

• arxiv url: http://arxiv.org/abs/2501.02860v1
• Date: Mon, 06 Jan 2025 09:08:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-07 17:08:26.316882
• Title: Seeing the Whole in the Parts in Self-Supervised Representation Learning
• Title（参考訳）: 自己指導型表現学習における部分の全体像
• Authors: Arthur Aubret, Céline Teulière, Jochen Triesch,
• Abstract要約: 局所表現をグローバルな画像表現と整列させることにより空間的共起をモデル化する新しい手法を提案する。 インスタンス識別手法のファミリーであるCO-SSLを提示し、いくつかのデータセットで過去の手法よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 7.324459578044213
• License:
• Abstract: Recent successes in self-supervised learning (SSL) model spatial co-occurrences of visual features either by masking portions of an image or by aggressively cropping it. Here, we propose a new way to model spatial co-occurrences by aligning local representations (before pooling) with a global image representation. We present CO-SSL, a family of instance discrimination methods and show that it outperforms previous methods on several datasets, including ImageNet-1K where it achieves 71.5% of Top-1 accuracy with 100 pre-training epochs. CO-SSL is also more robust to noise corruption, internal corruption, small adversarial attacks, and large training crop sizes. Our analysis further indicates that CO-SSL learns highly redundant local representations, which offers an explanation for its robustness. Overall, our work suggests that aligning local and global representations may be a powerful principle of unsupervised category learning.
• Abstract（参考訳）: 自己教師付き学習(SSL)モデルにおける最近の成功は、画像の一部をマスキングするか、積極的に収穫することで視覚的特徴の空間的共起である。 本稿では,局所的な表現(プーリング前)と大域的な画像表現を整列させることにより,空間的共起をモデル化する新しい手法を提案する。 我々は、インスタンス識別手法のファミリーであるCO-SSLを紹介し、ImageNet-1Kを含むいくつかのデータセットにおいて、100の事前学習エポックでトップ1の精度の71.5%を達成し、過去の手法よりも優れていることを示す。 CO-SSLはまた、ノイズの破損、内部の腐敗、小さな敵攻撃、大規模な訓練作物サイズに対してより堅牢である。 分析の結果,CO-SSLは高度に冗長な局所表現を学習し,その堅牢性を説明することが示唆された。 全体として、局所的およびグローバルな表現の整合性は、教師なしカテゴリー学習の強力な原則である可能性が示唆されている。

関連論文リスト

• On Higher Adversarial Susceptibility of Contrastive Self-Supervised Learning [104.00264962878956]
  コントラスト型自己教師学習(CSL)は,画像と映像の分類において,教師あり学習のパフォーマンスに適合するか上回っている。 2つの学習パラダイムによって誘導される表現の性質が似ているかどうかは、いまだに不明である。 我々は,CSL表現空間における単位超球面上のデータ表現の均一分布を,この現象の鍵となる要因として同定する。 CSLトレーニングでモデルロバスト性を改善するのにシンプルだが有効である戦略を考案する。
  論文  参考訳（メタデータ） (2022-07-22T03:49:50Z)
• Bag of Image Patch Embedding Behind the Success of Self-Supervised Learning [12.480529556920974]
  この研究は、共同埋め込み型SSLアプローチがイメージパッチの表現を学習し、その共起を反映していることを示している。 画像表現がベースライン法とよく似た結果が得られるように,固定スケールのパッチの表現を学習し,局所的なパッチの表現を集約することが実証的に示される。
  論文  参考訳（メタデータ） (2022-06-17T18:11:23Z)
• ReCLIP: A Strong Zero-Shot Baseline for Referring Expression Comprehension [114.85628613911713]
  大規模事前学習モデルは領域間の画像分類に有用である。 ReCLIPは単純だが強力なゼロショットベースラインであり、ReCのための最先端の大規模モデルであるCLIPを再利用する。
  論文  参考訳（メタデータ） (2022-04-12T17:55:38Z)
• Learning Where to Learn in Cross-View Self-Supervised Learning [54.14989750044489]
  自己教師付き学習(SSL)は大きな進歩を遂げ、教師付き学習との大きなギャップを狭めた。 現在の方法では、埋め込みにピクセルの統一的なアグリゲーションを採用する。 本稿では,特徴の空間情報を適応的に集約する学習方法であるLearning Where to Learn(LEWEL)を提案する。
  論文  参考訳（メタデータ） (2022-03-28T17:02:42Z)
• UniVIP: A Unified Framework for Self-Supervised Visual Pre-training [50.87603616476038]
  単一中心オブジェクトまたは非調和データセット上で,汎用的な視覚表現を学習するための,新しい自己教師型フレームワークを提案する。 大規模実験により、非高調波COCOで事前訓練されたUniVIPは、最先端の転送性能を実現することが示された。 また、ImageNetのような単一中心オブジェクトのデータセットを利用でき、線形探索において同じ事前学習エポックでBYOLを2.5%上回る。
  論文  参考訳（メタデータ） (2022-03-14T10:04:04Z)
• CoSSL: Co-Learning of Representation and Classifier for Imbalanced Semi-Supervised Learning [98.89092930354273]
  本稿では,非バランスなSSLのための非結合表現学習と分類器学習を用いた新しいコラーニングフレームワーク(CoSSL)を提案する。 データ不均衡に対処するため、分類器学習のためのTFE(Tail-class Feature Enhancement)を考案した。 実験により,本手法は様々な分散分布において,他の手法よりも優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-12-08T20:13:13Z)
• Spatially Consistent Representation Learning [12.120041613482558]
  本研究では,空間的に一貫した表現学習アルゴリズム(SCRL)を提案する。 ランダムに切り抜かれた局所領域のコヒーレントな空間表現を作ろうとする新しい自己教師付き目的を考案する。 ベンチマークデータセットを用いた下流のローカライゼーションタスクでは、提案したSCRLは大幅な性能改善を示す。
  論文  参考訳（メタデータ） (2021-03-10T15:23:45Z)
• PGL: Prior-Guided Local Self-supervised Learning for 3D Medical Image Segmentation [87.50205728818601]
  本稿では,潜在特徴空間における局所的一貫性を学習するPGL(PresideedGuided Local)自己教師モデルを提案する。 我々のPGLモデルは、局所領域の特異な表現を学習し、したがって構造情報を保持できる。
  論文  参考訳（メタデータ） (2020-11-25T11:03:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。