Fugu-MT 論文翻訳(概要): FLSL: Feature-level Self-supervised Learning

論文の概要: FLSL: Feature-level Self-supervised Learning

arxiv url: http://arxiv.org/abs/2306.06203v4
Date: Mon, 6 Nov 2023 18:12:33 GMT
ステータス: 処理完了
システム内更新日: 2023-11-07 22:03:24.050112
Title: FLSL: Feature-level Self-supervised Learning
Title（参考訳）: FLSL: 機能レベルの自己教師型学習
Authors: Qing Su, Anton Netchaev, Hai Li, and Shihao Ji
Abstract要約: FLSL(Feature-Level Self-supervised Learning)と呼ばれる2段階の特徴クラスタリングSSL法を提案する。 FLSLは目覚しいセマンティッククラスタ表現を促進し,ビュー内およびビュー間特徴クラスタリングに適した埋め込みスキームを学習する。実験により、FLSLは密度予測タスクにおいて大幅な改善をもたらすことが示された。
参考スコア（独自算出の注目度）: 11.072406865310365
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Current self-supervised learning (SSL) methods (e.g., SimCLR, DINO, VICReg,MOCOv3) target primarily on representations at instance level and do not generalize well to dense prediction tasks, such as object detection and segmentation.Towards aligning SSL with dense predictions, this paper demonstrates for the first time the underlying mean-shift clustering process of Vision Transformers (ViT), which aligns well with natural image semantics (e.g., a world of objects and stuffs). By employing transformer for joint embedding and clustering, we propose a two-level feature clustering SSL method, coined Feature-Level Self-supervised Learning (FLSL). We present the formal definition of the FLSL problem and construct the objectives from the mean-shift and k-means perspectives. We show that FLSL promotes remarkable semantic cluster representations and learns an embedding scheme amenable to intra-view and inter-view feature clustering. Experiments show that FLSL yields significant improvements in dense prediction tasks, achieving 44.9 (+2.8)% AP and 46.5% AP in object detection, as well as 40.8 (+2.3)% AP and 42.1% AP in instance segmentation on MS-COCO, using Mask R-CNN with ViT-S/16 and ViT-S/8 as backbone, respectively. FLSL consistently outperforms existing SSL methods across additional benchmarks, including UAV17 object detection on UAVDT, and video instance segmentation on DAVIS 2017.We conclude by presenting visualization and various ablation studies to better understand the success of FLSL. The source code is available at https://github.com/ISL-CV/FLSL.
Abstract（参考訳）: 現在の自己教師型学習(SSL)手法(例えば、SimCLR, DINO, VICReg, MOCOv3)は、主にインスタンスレベルでの表現を目標としており、オブジェクト検出やセグメンテーションなどの高密度な予測タスクには適さない。共同埋め込みとクラスタリングにトランスフォーマーを用いることにより,FLSL(Feature-Level Self-supervised Learning)と呼ばれる2レベル特徴クラスタリングSSL法を提案する。 FLSL問題の形式的定義を示し、平均シフトおよびk平均視点から目的を構築する。 FLSLは目覚しいセマンティッククラスタ表現を促進し,ビュー内およびビュー間特徴クラスタリングに適した埋め込みスキームを学習する。実験の結果、FLSLは高密度予測タスクにおいて大幅に改善し、対象検出では44.9 (+2.8)% APと46.5% AP、MS-COCOでは40.8 (+2.3)% APと42.1% APを達成した。 FLSL は UAVDT 上の UAV17 オブジェクト検出や DAVIS 2017 上のビデオインスタンスセグメンテーションなど,既存の SSL メソッドよりも一貫して優れている。ソースコードはhttps://github.com/isl-cv/flslで入手できる。

関連論文リスト

Reverse Engineering Self-Supervised Learning [17.720366509919167]
自己教師型学習(SSL)は機械学習の強力なツールである。本稿ではSSL学習表現の詳細な実験的検討を行う。
論文参考訳（メタデータ） (2023-05-24T23:15:28Z)
An Ensemble Semi-Supervised Adaptive Resonance Theory Model with Explanation Capability for Pattern Classification [41.35711585943589]
本稿では,教師付き非教師付き適応共振理論(ART)を用いた新たなSSLモデルを提案する。 SSL-ARTの主な利点は、オンライン学習と冗長なプロトタイプノード数の削減である。 WESSL-ARTと呼ばれるアンサンブルSSL-ARTモデルを形成するために、重み付き投票方式が導入された。
論文参考訳（メタデータ） (2023-05-19T20:20:44Z)
ESPT: A Self-Supervised Episodic Spatial Pretext Task for Improving Few-Shot Learning [16.859375666701]
我々は,新しい自己教師型空間規範タスク(ESPT)により,数発の学習目標を増強することを提案する。 ESPTの目的は、原エピソードと変換されたエピソードの間の局所的な空間的関係の一貫性を最大化することである。 ESPT法は,3つのメインステイ・ベンチマーク・データセットを用いた数ショット画像分類のための新しい最先端性能を実現する。
論文参考訳（メタデータ） (2023-04-26T04:52:08Z)
De-coupling and De-positioning Dense Self-supervised Learning [65.56679416475943]
Dense Self-Supervised Learning (SSL)メソッドは、複数のオブジェクトでイメージを処理する際に、画像レベルの特徴表現を使用する際の制限に対処する。本研究は, 層深度やゼロパディングに伴う受容野の増大によって生じる, 結合と位置バイアスに悩まされていることを示す。我々はCOCOにおける本手法の利点と、オブジェクト分類、セマンティックセグメンテーション、オブジェクト検出のための新しい挑戦的ベンチマークであるOpenImage-MINIについて示す。
論文参考訳（メタデータ） (2023-03-29T18:07:25Z)
Spatiotemporal Self-supervised Learning for Point Clouds in the Wild [65.56679416475943]
空間領域と時間領域の両方で正のペアを利用するSSL戦略を導入する。 2つの大規模LiDARデータセット上で,自己教師型トレーニングによって実施した広範囲な実験を通じて,このアプローチのメリットを実証する。
論文参考訳（メタデータ） (2023-03-28T18:06:22Z)
Deciphering the Projection Head: Representation Evaluation Self-supervised Learning [6.375931203397043]
自己教師付き学習(SSL)は、ラベルなしで固有の特徴を学習することを目的としている。プロジェクションヘッドは、ダウンストリームタスクのパフォーマンスを改善する上で、常に重要な役割を果たす。本稿では,表現と投影ベクトルとのショートカット接続を構築するSSLモデルにおける表現評価設計(RED)を提案する。
論文参考訳（メタデータ） (2023-01-28T13:13:53Z)
Self-Supervised PPG Representation Learning Shows High Inter-Subject Variability [3.8036939971290007]
本稿では,信号再構成を前提とした自己教師付き学習(SSL)手法を提案し,汎用的なPSG表現を学習する。結果として、SSLを使用するラベルデータ設定(クラス毎に10のサンプル)が非常に限定されていることが分かる。 SSLは、ラベルスカースレジームにおけるPSGデータに機械学習モデルが広く使われるための道を開くかもしれない。
論文参考訳（メタデータ） (2022-12-07T19:02:45Z)
Sound and Visual Representation Learning with Multiple Pretraining Tasks [104.11800812671953]
自己管理タスク(SSL)は、データと異なる特徴を明らかにする。この作業は、下流のすべてのタスクをうまく一般化する複数のSSLタスク(Multi-SSL)を組み合わせることを目的としている。音響表現の実験では、SSLタスクのインクリメンタルラーニング(IL)によるマルチSSLが、単一のSSLタスクモデルより優れていることが示されている。
論文参考訳（メタデータ） (2022-01-04T09:09:38Z)
A Strong Baseline for Semi-Supervised Incremental Few-Shot Learning [54.617688468341704]
少ないショット学習は、限られたトレーニングサンプルを持つ新しいクラスに一般化するモデルを学ぶことを目的としている。本研究では,(1)信頼できない擬似ラベルによる基本クラスと新クラスのあいまいさを緩和する高度に設計されたメタトレーニングアルゴリズム,(2)ラベルの少ないデータとラベルなしデータを用いて基礎知識を保ちながら,新クラスの識別的特徴を学習するモデル適応機構を提案する。
論文参考訳（メタデータ） (2021-10-21T13:25:52Z)
Goal-Oriented Gaze Estimation for Zero-Shot Learning [62.52340838817908]
識別的属性の局在性を改善するために, 目標指向視線推定モジュール(GEM)を提案する。属性記述に導かれた新しい物体を認識する視覚注意領域を得るために,実際の人間の視線位置を予測することを目的とする。この研究は、高レベルのコンピュータビジョンタスクに人間の視線データセットと自動視線推定アルゴリズムを集めることの有望な利点を示しています。
論文参考訳（メタデータ） (2021-03-05T02:14:57Z)
TAFSSL: Task-Adaptive Feature Sub-Space Learning for few-shot classification [50.358839666165764]
本稿では,タスク適応機能サブスペース学習(TAFSSL)により,Few-Shot Learningシナリオの性能を大幅に向上させることができることを示す。具体的には、挑戦的な miniImageNet と tieredImageNet ベンチマークにおいて、TAFSSL はトランスダクティブおよび半教師付き FSL 設定の両方で現在の状態を改善することができることを示しています。
論文参考訳（メタデータ） (2020-03-14T16:59:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。