論文の概要: An Empirical Study Of Self-supervised Learning Approaches For Object Detection With Transformers

• arxiv url: http://arxiv.org/abs/2205.05543v1
• Date: Wed, 11 May 2022 14:39:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-12 17:21:31.651359
• Title: An Empirical Study Of Self-supervised Learning Approaches For Object Detection With Transformers
• Title（参考訳）: 変圧器を用いた物体検出のための自己教師あり学習手法の実証的研究
• Authors: Gokul Karthik Kumar, Sahal Shaji Mullappilly, Abhishek Singh Gehlot
• Abstract要約: 画像再構成,マスク画像モデリング,ジグソーに基づく自己監督手法について検討する。 iSAIDデータセットの予備実験は、事前学習とマルチタスク学習の両方において、初期のエポックにおけるDETRのより高速な収束を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised learning (SSL) methods such as masked language modeling have shown massive performance gains by pretraining transformer models for a variety of natural language processing tasks. The follow-up research adapted similar methods like masked image modeling in vision transformer and demonstrated improvements in the image classification task. Such simple self-supervised methods are not exhaustively studied for object detection transformers (DETR, Deformable DETR) as their transformer encoder modules take input in the convolutional neural network (CNN) extracted feature space rather than the image space as in general vision transformers. However, the CNN feature maps still maintain the spatial relationship and we utilize this property to design self-supervised learning approaches to train the encoder of object detection transformers in pretraining and multi-task learning settings. We explore common self-supervised methods based on image reconstruction, masked image modeling and jigsaw. Preliminary experiments in the iSAID dataset demonstrate faster convergence of DETR in the initial epochs in both pretraining and multi-task learning settings; nonetheless, similar improvement is not observed in the case of multi-task learning with Deformable DETR. The code for our experiments with DETR and Deformable DETR are available at https://github.com/gokulkarthik/detr and https://github.com/gokulkarthik/Deformable-DETR respectively.
• Abstract（参考訳）: マスク付き言語モデリングのような自己教師付き学習(SSL)手法は、様々な自然言語処理タスクのためにトランスフォーマーモデルを事前訓練することで、大きなパフォーマンス向上を示した。 追従研究は、視覚変換器におけるマスク画像モデリングのような類似の手法を適用し、画像分類タスクの改善を実証した。 オブジェクト検出変換器 (DETR, Deformable DETR) では、変換器エンコーダモジュールが画像空間ではなく、畳み込みニューラルネットワーク (CNN) によって抽出された特徴空間を一般の視覚変換器のように入力するので、このような単純な自己監督法は徹底的に研究されない。 しかし、cnn特徴マップは依然として空間的関係を維持しており、この特性を利用して、事前学習およびマルチタスク学習環境でオブジェクト検出トランスフォーマのエンコーダをトレーニングする自己教師付き学習手法を設計する。 本稿では,画像再構成,マスク画像モデリング,jigsawに基づく一般的な自己教師あり手法について検討する。 iSAIDデータセットにおける予備実験は、事前学習とマルチタスク学習の両方において初期のエポックにおけるDETRの高速収束を示すが、Deformable DETRを用いたマルチタスク学習では同様の改善は見られない。 DETR と Deformable DETR の実験コードは https://github.com/gokulkarthik/detr と https://github.com/gokulkarthik/deformable-DETR でそれぞれ公開されている。

関連論文リスト

• MTP: Advancing Remote Sensing Foundation Model via Multi-Task Pretraining [73.81862342673894]
  ファンデーションモデルは、様々な画像解釈タスクを強化することで、リモートセンシング(RS)のランドスケープを再構築した。 事前訓練されたモデルを下流のタスクに転送することは、イメージ分類やオブジェクト識別タスクとして事前訓練の定式化によるタスクの相違に遭遇する可能性がある。 SAMRSデータセット上で、セマンティックセグメンテーション、インスタンスセグメンテーション、回転オブジェクト検出を含むマルチタスクによる事前トレーニングを行う。 我々のモデルは、シーン分類、水平・回転物体検出、セマンティックセグメンテーション、変化検出など、様々なRS下流タスクに基づいて微調整される。
  論文  参考訳（メタデータ） (2024-03-20T09:17:22Z)
• Contrastive Learning for Multi-Object Tracking with Transformers [79.61791059432558]
  我々は、DETRをインスタンスレベルのコントラスト損失を用いてMOTモデルに変換する方法を示す。 本手法では,検出能力を維持しながらオブジェクトの外観を学習し,オーバーヘッドを少なく抑える。 そのパフォーマンスは、BDD100Kデータセットにおいて、以前の最先端の+2.6 mMOTAを上回っている。
  論文  参考訳（メタデータ） (2023-11-14T10:07:52Z)
• Affine-Consistent Transformer for Multi-Class Cell Nuclei Detection [76.11864242047074]
  本稿では, 原子核位置を直接生成する新しいアフィン一貫性変換器 (AC-Former) を提案する。 本稿では,AAT (Adaptive Affine Transformer) モジュールを導入し,ローカルネットワークトレーニングのためのオリジナル画像をワープするための重要な空間変換を自動学習する。 実験結果から,提案手法は様々なベンチマークにおいて既存の最先端アルゴリズムを著しく上回ることがわかった。
  論文  参考訳（メタデータ） (2023-10-22T02:27:02Z)
• Learning Explicit Object-Centric Representations with Vision Transformers [81.38804205212425]
  我々は、マスク付き自動符号化の自己超越タスクを構築し、トランスフォーマーを用いたオブジェクト中心表現学習の有効性を探求する。 複数のマルチオブジェクト・ベンチマークのセグメンテーション・メトリクスによって測定された単純なシーンを効率的に分解できることを示す。
  論文  参考訳（メタデータ） (2022-10-25T16:39:49Z)
• Shifted Chunk Transformer for Spatio-Temporal Representational Learning [24.361059477031162]
  我々は、純粋な自己注意ブロックを持つシフトチャンク変換器を構築する。 このトランスフォーマーは、小さなパッチからグローバルなビデオクリップまで、階層的な時間的特徴を学習することができる。 Kinetics, Kinetics-600, UCF101, HMDB51の最先端のアプローチより優れている。
  論文  参考訳（メタデータ） (2021-08-26T04:34:33Z)
• ViTAE: Vision Transformer Advanced by Exploring Intrinsic Inductive Bias [76.16156833138038]
  コンボリューション, ie, ViTAEから内在性IBを探索するビジョントランスフォーマーを提案する。 ViTAEはいくつかの空間ピラミッド縮小モジュールを備えており、入力イメージをリッチなマルチスケールコンテキストでトークンに埋め込む。 各トランス層では、ViTAEはマルチヘッド自己保持モジュールと平行な畳み込みブロックを持ち、その特徴は融合されフィードフォワードネットワークに供給される。
  論文  参考訳（メタデータ） (2021-06-07T05:31:06Z)
• Visual Saliency Transformer [127.33678448761599]
  RGBとRGB-Dの液状物体検出(SOD)のための、純粋な変圧器であるVST(Visual Saliency Transformer)に基づく新しい統一モデルを開発しました。 イメージパッチを入力として取り、トランスフォーマーを利用してイメージパッチ間のグローバルコンテキストを伝搬する。 実験結果から,RGBとRGB-D SODのベンチマークデータセットにおいて,本モデルが既存の最新結果を上回っていることが示された。
  論文  参考訳（メタデータ） (2021-04-25T08:24:06Z)
• Self-Supervised Learning via multi-Transformation Classification for Action Recognition [10.676377556393527]
  マルチトランスフォーメーション分類に基づく自己監督型映像表現学習手法を導入し,人間の行動を効率的に分類する。 ビデオの表現は、7つの異なる変換を分類することで自己監督的な方法で学習される。 C3Dおよび3D Resnet-18をバックボーンネットワークとして, UCF101およびHMDB51データセットの実験を行った。
  論文  参考訳（メタデータ） (2021-02-20T16:11:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。