論文の概要: Evaluating The Robustness of Self-Supervised Representations to
Background/Foreground Removal
- arxiv url: http://arxiv.org/abs/2306.01398v1
- Date: Fri, 2 Jun 2023 09:46:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-05 15:54:50.793144
- Title: Evaluating The Robustness of Self-Supervised Representations to
Background/Foreground Removal
- Title（参考訳）: バックグラウンド・フォアグラウンド除去に対する自己監督表現のロバスト性の評価
- Authors: Xavier F. Cadet, Ranya Aloufi, Alain Miranville, Sara Ahmadi-Abhari,
Hamed Haddadi
- Abstract要約: DINOv2, MAE, SwaVといった最先端のSSL事前トレーニングモデルを検討し, 4つの画像分類データセットの表現レベルの変化を分析した。
経験的に、すべてのモデルが前景、背景、および完全なイメージを分離する表現につながるわけではない。
- 参考スコア（独自算出の注目度）: 4.007351600492541
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite impressive empirical advances of SSL in solving various tasks, the
problem of understanding and characterizing SSL representations learned from
input data remains relatively under-explored. We provide a comparative analysis
of how the representations produced by SSL models differ when masking parts of
the input. Specifically, we considered state-of-the-art SSL pretrained models,
such as DINOv2, MAE, and SwaV, and analyzed changes at the representation
levels across 4 Image Classification datasets. First, we generate variations of
the datasets by applying foreground and background segmentation. Then, we
conduct statistical analysis using Canonical Correlation Analysis (CCA) and
Centered Kernel Alignment (CKA) to evaluate the robustness of the
representations learned in SSL models. Empirically, we show that not all models
lead to representations that separate foreground, background, and complete
images. Furthermore, we test different masking strategies by occluding the
center regions of the images to address cases where foreground and background
are difficult. For example, the DTD dataset that focuses on texture rather
specific objects.
- Abstract（参考訳）: さまざまなタスクの解決におけるSSLの顕著な進歩にもかかわらず、入力データから学習したSSL表現の理解と特徴化の問題は、いまだに未解決のままである。
入力の一部をマスキングする際にSSLモデルで生成された表現がどのように異なるかの比較分析を行う。
具体的には, dinov2, mae, swavなどの最先端sslプリトレーニングモデルを検討し, 4つの画像分類データセットにおける表現レベルの変化を分析した。
まず、前景と背景セグメンテーションを適用してデータセットのバリエーションを生成する。
次に,CCA(Canonical correlation Analysis)とCKA(Centered Kernel Alignment)を用いて統計解析を行い,SSLモデルで学習した表現の堅牢性を評価する。
経験的に、すべてのモデルが前景、背景、および完全なイメージを分離する表現につながるわけではない。
さらに,前景や背景が難しい場合に対処するために,画像の中心領域を疎外することにより,異なるマスキング戦略を試す。
例えば、特定のオブジェクトよりもテクスチャに焦点を当てたDTDデータセット。
関連論文リスト
- A Closer Look at Benchmarking Self-Supervised Pre-training with Image Classification [51.35500308126506]
自己教師付き学習(SSL)は、データ自体が監視を提供する機械学習アプローチであり、外部ラベルの必要性を排除している。
SSLの分類に基づく評価プロトコルがどのように相関し、異なるデータセットのダウンストリーム性能を予測するかを検討する。
論文 参考訳（メタデータ） (2024-07-16T23:17:36Z) - Visual Self-supervised Learning Scheme for Dense Prediction Tasks on X-ray Images [3.782392436834913]
自己教師付き学習(SSL)は自然言語処理(NLP)においてかなりの進歩をもたらした
しかし、既存のビジュアルSSLモデルにコントラスト学習を組み込むことは、しばしば監督対象を超越する、かなりの進歩をもたらした。
ここでは、セキュリティ検査X線画像を用いた密集予測タスクに着目し、提案モデルであるセグメントローカライゼーション(SegLoc)を評価する。
インスタンスローカライゼーション(InsLoc)モデルに基づいて、SegLocはコントラスト学習における重要な課題の1つ、すなわち、クエリ埋め込みの偽陰性ペアに対処する。
論文 参考訳（メタデータ） (2023-10-12T15:42:17Z) - De-coupling and De-positioning Dense Self-supervised Learning [65.56679416475943]
Dense Self-Supervised Learning (SSL)メソッドは、複数のオブジェクトでイメージを処理する際に、画像レベルの特徴表現を使用する際の制限に対処する。
本研究は, 層深度やゼロパディングに伴う受容野の増大によって生じる, 結合と位置バイアスに悩まされていることを示す。
我々はCOCOにおける本手法の利点と、オブジェクト分類、セマンティックセグメンテーション、オブジェクト検出のための新しい挑戦的ベンチマークであるOpenImage-MINIについて示す。
論文 参考訳（メタデータ） (2023-03-29T18:07:25Z) - Evaluating Self-Supervised Learning via Risk Decomposition [100.73914689472507]
自己教師付き学習(SSL)パイプラインは、アーキテクチャや拡張、事前トレーニングデータなど、多くの設計上の選択肢が異なる。
これはなぜモデルが良いのか、いつ良いのか、どのように改善するかについて、あまり洞察を提供していない。
本稿では,古典的教師付き近似-推定分解を一般化したSSLリスク分解を提案する。
論文 参考訳（メタデータ） (2023-02-06T19:09:00Z) - Consistency Regularisation in Varying Contexts and Feature Perturbations
for Semi-Supervised Semantic Segmentation of Histology Images [14.005379068469361]
この課題を軽減するために,一貫性に基づく半教師付き学習(SSL)アプローチを提案する。
SSLモデルは、コンテキストの変更や、限られたトレーニングデータのために一般化が不十分な特徴の摂動にも影響する可能性がある。
相互整合性トレーニングにより、エンコーダの特徴が異なる摂動に不変となり、予測信頼性が向上することを示す。
論文 参考訳（メタデータ） (2023-01-30T18:21:57Z) - Deciphering the Projection Head: Representation Evaluation
Self-supervised Learning [6.375931203397043]
自己教師付き学習(SSL)は、ラベルなしで固有の特徴を学習することを目的としている。
プロジェクションヘッドは、ダウンストリームタスクのパフォーマンスを改善する上で、常に重要な役割を果たす。
本稿では,表現と投影ベクトルとのショートカット接続を構築するSSLモデルにおける表現評価設計(RED)を提案する。
論文 参考訳（メタデータ） (2023-01-28T13:13:53Z) - A Study of the Generalizability of Self-Supervised Representations [0.0]
近年の自己教師付き学習(SSL)により、ラベルのないデータから一般化可能な視覚表現を学習できるようになった。
本稿では,SSLモデルとSLモデルの一般化可能性について,その予測精度および予測信頼度を用いて検討する。
SSL表現はSL表現と比較して一般化可能であることを示す。
論文 参考訳（メタデータ） (2021-09-19T15:57:37Z) - Salient Objects in Clutter [130.63976772770368]
本稿では,既存の正当性オブジェクト検出(SOD)データセットの重大な設計バイアスを特定し,対処する。
この設計バイアスは、既存のデータセットで評価した場合、最先端のSODモデルのパフォーマンスの飽和につながった。
我々は,新しい高品質データセットを提案し,前回のsaliencyベンチマークを更新する。
論文 参考訳（メタデータ） (2021-05-07T03:49:26Z) - PGL: Prior-Guided Local Self-supervised Learning for 3D Medical Image
Segmentation [87.50205728818601]
本稿では,潜在特徴空間における局所的一貫性を学習するPGL(PresideedGuided Local)自己教師モデルを提案する。
我々のPGLモデルは、局所領域の特異な表現を学習し、したがって構造情報を保持できる。
論文 参考訳（メタデータ） (2020-11-25T11:03:11Z) - Remote Sensing Image Scene Classification with Self-Supervised Paradigm
under Limited Labeled Samples [11.025191332244919]
我々は,大規模なラベル付きデータからRSIシーン分類のための高性能事前学習モデルを得るために,新たな自己教師付き学習(SSL)機構を導入する。
一般的な3つのRSIシーン分類データセットの実験により、この新たな学習パラダイムは、従来の支配的なImageNet事前学習モデルよりも優れていることが示された。
我々の研究から得られた知見は、リモートセンシングコミュニティにおけるSSLの発展を促進するのに役立ちます。
論文 参考訳（メタデータ） (2020-10-02T09:27:19Z) - Distilling Localization for Self-Supervised Representation Learning [82.79808902674282]
コントラスト学習は教師なし表現学習に革命をもたらした。
現在のコントラストモデルでは、前景オブジェクトのローカライズには効果がない。
本稿では,背景変化を学習するためのデータ駆動型手法を提案する。
論文 参考訳（メタデータ） (2020-04-14T16:29:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。