論文の概要: Investigating Self-Supervised Methods for Label-Efficient Learning

• arxiv url: http://arxiv.org/abs/2406.17460v1
• Date: Tue, 25 Jun 2024 10:56:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-26 14:42:03.049319
• Title: Investigating Self-Supervised Methods for Label-Efficient Learning
• Title（参考訳）: ラベル効率のよい学習のための自己監督手法の検討
• Authors: Srinivasa Rao Nandam, Sara Atito, Zhenhua Feng, Josef Kittler, Muhammad Awais,
• Abstract要約: 低撮影能力のためのコントラスト学習、クラスタリング、マスク付き画像モデリングなど、さまざまな自己教師付きプレテキストタスクについて検討する。 マスク画像モデリングとクラスタリングの両方をプリテキストタスクとして含むフレームワークを導入する。 実規模データセット上でモデルをテストした場合,マルチクラス分類,マルチラベル分類,セマンティックセマンティックセグメンテーションにおける性能向上を示す。
• 参考スコア（独自算出の注目度）: 27.029542823306866
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision transformers combined with self-supervised learning have enabled the development of models which scale across large datasets for several downstream tasks like classification, segmentation and detection. The low-shot learning capability of these models, across several low-shot downstream tasks, has been largely under explored. We perform a system level study of different self supervised pretext tasks, namely contrastive learning, clustering, and masked image modelling for their low-shot capabilities by comparing the pretrained models. In addition we also study the effects of collapse avoidance methods, namely centring, ME-MAX, sinkhorn, on these downstream tasks. Based on our detailed analysis, we introduce a framework involving both mask image modelling and clustering as pretext tasks, which performs better across all low-shot downstream tasks, including multi-class classification, multi-label classification and semantic segmentation. Furthermore, when testing the model on full scale datasets, we show performance gains in multi-class classification, multi-label classification and semantic segmentation.
• Abstract（参考訳）: ビジョントランスフォーマーと自己教師付き学習を組み合わせることで、分類、セグメンテーション、検出といった下流タスクのために、大規模なデータセットにわたってスケールするモデルの開発が可能になる。 これらのモデルのローショット学習能力は、いくつかのローショットダウンストリームタスクにまたがって、ほとんど検討されていない。 我々は、事前訓練されたモデルを比較することで、低撮影能力のためのコントラスト学習、クラスタリング、マスク付き画像モデリングなど、異なる自己教師付きプレテキストタスクのシステムレベルでの研究を行う。 また, 崩壊回避法, セントリング, ME-MAX, シンクホーンが下流作業に与える影響についても検討した。 詳細な分析から,マスク画像モデリングとクラスタリングの両方をプリテキストタスクとして含むフレームワークを導入し,マルチクラス分類,マルチラベル分類,セマンティックセグメンテーションなど,低ショットダウンストリームタスクのすべてにおいて,より優れたパフォーマンスを実現する。 さらに,本モデルを大規模データセット上でテストする場合,マルチクラス分類,マルチラベル分類,セマンティックセマンティックセグメンテーションでの性能向上を示す。

関連論文リスト

• Hierarchical Multi-Label Classification with Missing Information for Benthic Habitat Imagery [1.6492989697868894]
  複数のレベルのアノテーション情報が存在するシナリオでHMLトレーニングを行う能力を示す。 その結果,局所的・局所的なベントニック・サイエンス・プロジェクトで典型的な,より小さなワンホット・イメージ・ラベル・データセットを使用する場合,イメージネット上で事前学習したドメイン内ベントニック・データの大規模な収集に対して,自己スーパービジョンで事前学習したモデルの方が優れていることがわかった。
  論文  参考訳（メタデータ） (2024-09-10T16:15:01Z)
• Masked Image Modeling: A Survey [73.21154550957898]
  マスク付き画像モデリングは、コンピュータビジョンにおける強力な自己教師付き学習技術として登場した。 我々は近年,分類学を構築し,最も顕著な論文をレビューしている。 我々は,最も人気のあるデータセット上で,様々なマスク付き画像モデリング手法の性能評価結果を集約する。
  論文  参考訳（メタデータ） (2024-08-13T07:27:02Z)
• Reinforcing Pre-trained Models Using Counterfactual Images [54.26310919385808]
  本稿では,言語誘導型生成対実画像を用いた分類モデル強化のための新しいフレームワークを提案する。 逆ファクト画像データセットを用いてモデルをテストすることにより、モデルの弱点を同定する。 我々は、分類モデルを微調整し強化するために、デファクトイメージを拡張データセットとして採用する。
  論文  参考訳（メタデータ） (2024-06-19T08:07:14Z)
• Self-Supervised Open-Ended Classification with Small Visual Language Models [60.23212389067007]
  我々は、小さな視覚言語モデルを用いたオープンエンド分類のための数ショットの能力を解放する自己教師型アプローチであるSeCAtを提案する。 約1Bパラメータを持つモデルを使用することで、FrozenやBrobAGeといった、はるかに大きなモデルの少数ショット能力より優れています。
  論文  参考訳（メタデータ） (2023-09-30T21:41:21Z)
• Diffusion Models Beat GANs on Image Classification [37.70821298392606]
  拡散モデルは、画像生成、復調、塗装、超解像、操作などの最先端の手法として注目されている。 本稿では,これらの埋め込みは識別情報を含むため,ノイズ予測タスクを超えて有用であり,分類にも活用できることを示す。 注意深い特徴選択とプーリングにより、拡散モデルは、分類タスクにおいて同等な生成的識別的手法より優れていることが判明した。
  論文  参考訳（メタデータ） (2023-07-17T17:59:40Z)
• An Efficient General-Purpose Modular Vision Model via Multi-Task Heterogeneous Training [79.78201886156513]
  本稿では、複数の視覚タスクを実行でき、他の下流タスクに効率的に適応できるモデルを提案する。 提案手法は,単一タスク状態モデルに匹敵する結果を達成し,下流タスクの強力な一般化を実証する。
  論文  参考訳（メタデータ） (2023-06-29T17:59:57Z)
• A Study on Representation Transfer for Few-Shot Learning [5.717951523323085]
  ほとんどショットの分類は、いくつかのラベル付き例を使って、新しいオブジェクトカテゴリを適切に分類することを目的としていない。 本研究では, 様々な特徴表現の体系的研究を行い, 数発の分類を行う。 より複雑なタスクからの学習は、数ショットの分類においてより良い表現を与える傾向にある。
  論文  参考訳（メタデータ） (2022-09-05T17:56:02Z)
• Semi-Supervised Few-Shot Classification with Deep Invertible Hybrid Models [4.189643331553922]
  半教師付き小ショット分類のための潜在空間レベルで識別学習と生成学習を統合するディープ・インバーチブルハイブリッドモデルを提案する。 我々の主な独創性は、これらのコンポーネントを潜在空間レベルで統合することであり、過度な適合を防ぐのに有効である。
  論文  参考訳（メタデータ） (2021-05-22T05:55:16Z)
• Few-Shot Image Classification via Contrastive Self-Supervised Learning [5.878021051195956]
  本稿では,欠陥を修復するための教師なし数発学習の新たなパラダイムを提案する。 我々は2つのフェーズでいくつかの課題を解決した: 対照的な自己教師付き学習を通して、伝達可能な特徴抽出器をメタトレーニングする。 本手法は,標準的な数ショットの視覚的分類データセット上で,多数の確立された数ショットタスクにおいて,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2020-08-23T02:24:31Z)
• Overcoming Classifier Imbalance for Long-tail Object Detection with Balanced Group Softmax [88.11979569564427]
  本報告では, 長期分布前における最先端モデルの過小評価に関する最初の体系的解析を行う。 本稿では,グループワイドトレーニングを通じて検出フレームワーク内の分類器のバランスをとるための,新しいバランス付きグループソフトマックス(BAGS)モジュールを提案する。 非常に最近の長尾大語彙オブジェクト認識ベンチマークLVISの大規模な実験により,提案したBAGSは検出器の性能を著しく向上することが示された。
  論文  参考訳（メタデータ） (2020-06-18T10:24:26Z)
• UniT: Unified Knowledge Transfer for Any-shot Object Detection and Segmentation [52.487469544343305]
  オブジェクト検出とセグメンテーションの方法は、トレーニングのための大規模インスタンスレベルのアノテーションに依存します。 本稿では,直感的かつ統一的な半教師付きモデルを提案する。
  論文  参考訳（メタデータ） (2020-06-12T22:45:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。