論文の概要: Patch-level Representation Learning for Self-supervised Vision Transformers

• arxiv url: http://arxiv.org/abs/2206.07990v2
• Date: Fri, 17 Jun 2022 01:35:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-20 10:36:39.862058
• Title: Patch-level Representation Learning for Self-supervised Vision Transformers
• Title（参考訳）: 自己教師型視覚変換器のパッチレベル表現学習
• Authors: Sukmin Yun, Hankook Lee, Jaehyung Kim, Jinwoo Shin
• Abstract要約: 視覚変換器(ViT)は近年、より優れたアーキテクチャ選択として多くの注目を集めており、様々な視覚タスクにおいて畳み込みネットワークよりも優れています。 これに触発された私たちは、パッチレベルの表現をより良く学習するための、SelfPatchという、シンプルで効果的なビジュアルプリテキストタスクを設計しました。 我々は、既存のSSLメソッドの様々な視覚的タスクに対する性能を大幅に改善できることを実証した。
• 参考スコア（独自算出の注目度）: 68.8862419248863
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent self-supervised learning (SSL) methods have shown impressive results in learning visual representations from unlabeled images. This paper aims to improve their performance further by utilizing the architectural advantages of the underlying neural network, as the current state-of-the-art visual pretext tasks for SSL do not enjoy the benefit, i.e., they are architecture-agnostic. In particular, we focus on Vision Transformers (ViTs), which have gained much attention recently as a better architectural choice, often outperforming convolutional networks for various visual tasks. The unique characteristic of ViT is that it takes a sequence of disjoint patches from an image and processes patch-level representations internally. Inspired by this, we design a simple yet effective visual pretext task, coined SelfPatch, for learning better patch-level representations. To be specific, we enforce invariance against each patch and its neighbors, i.e., each patch treats similar neighboring patches as positive samples. Consequently, training ViTs with SelfPatch learns more semantically meaningful relations among patches (without using human-annotated labels), which can be beneficial, in particular, to downstream tasks of a dense prediction type. Despite its simplicity, we demonstrate that it can significantly improve the performance of existing SSL methods for various visual tasks, including object detection and semantic segmentation. Specifically, SelfPatch significantly improves the recent self-supervised ViT, DINO, by achieving +1.3 AP on COCO object detection, +1.2 AP on COCO instance segmentation, and +2.9 mIoU on ADE20K semantic segmentation.
• Abstract（参考訳）: 最近の自己教師あり学習(ssl)法はラベルなし画像から視覚的表現を学習する印象的な結果を示している。 本稿では、SSLの現在最先端のビジュアルプリテキストタスクは、アーキテクチャに依存しないというメリットを享受できないため、基盤となるニューラルネットワークのアーキテクチャ上の利点を活用することにより、パフォーマンスをさらに向上することを目的とする。 特に視覚トランスフォーマー(vits: vision transformers)に重点を置いており、近年はアーキテクチャ上の選択肢として注目を集めており、様々な視覚タスクにおいて畳み込みネットワークよりも優れています。 ViTのユニークな特徴は、画像から切り離されたパッチのシーケンスを取り、内部でパッチレベルの表現を処理することである。 それによって、パッチレベルの表現をより良く学習するために、シンプルで効果的なビジュアルプリテキストタスク、selfpatchを設計しました。 具体的には、各パッチとその隣人に対する不変性、すなわち、各パッチは類似した隣接パッチを正のサンプルとして扱う。 結果として、SelfPatchを使ったViTsのトレーニングは、より意味論的に意味のあるパッチ間の関係を学習し、特に高密度な予測型のタスクの下流で有益なものとなる。 その単純さにもかかわらず、オブジェクト検出やセマンティックセグメンテーションを含む様々な視覚的タスクに対して、既存のSSLメソッドの性能を大幅に改善できることを実証する。 具体的には、COCOオブジェクト検出において+1.3 AP、COCOインスタンスセグメンテーションでは+1.2 AP、ADE20Kセグメンテーションでは+2.9 mIoUを達成することで、最近の自己監督型ViTであるDINOを大幅に改善している。

関連論文リスト

• Semantic Graph Consistency: Going Beyond Patches for Regularizing Self-Supervised Vision Transformers [5.359378066251386]
  視覚変換器(ViT)を用いた自己教師型学習は表現学習に有効であることが証明されている。 既存のViTベースのSSLアーキテクチャは、ViTバックボーンを完全に活用していない。 本稿では,ViTベースのSSLメソッドを標準化し,パッチトークンを効果的に活用するための新しいセマンティックグラフ一貫性(SGC)モジュールを提案する。
  論文  参考訳（メタデータ） (2024-06-18T06:36:44Z)
• Intra-task Mutual Attention based Vision Transformer for Few-Shot Learning [12.5354658533836]
  人間は、ほんのわずかの例に晒された後に、新しい、目に見えない画像を正確に分類する能力を持っている。 人工ニューラルネットワークモデルでは、限られたサンプルを持つ2つのイメージを区別する最も関連性の高い特徴を決定することが課題である。 本稿では,サポートとクエリサンプルをパッチに分割するタスク内相互注意手法を提案する。
  論文  参考訳（メタデータ） (2024-05-06T02:02:57Z)
• Heuristic Vision Pre-Training with Self-Supervised and Supervised Multi-Task Learning [0.0]
  マルチタスク方式で自己教師型と教師型の両方の視覚的プレテキストタスクを採用することで、新しい事前学習フレームワークを提案する。 その結果、事前学習したモデルでは、複数の視覚的タスクにおいて、最先端(SOTA)結果と同等以上の結果が得られることがわかった。
  論文  参考訳（メタデータ） (2023-10-11T14:06:04Z)
• MOCA: Self-supervised Representation Learning by Predicting Masked Online Codebook Assignments [72.6405488990753]
  自己教師付き学習は、ビジョントランスフォーマーネットワークの欲求を軽減できる。 所望のプロパティを統一する単段および単段のMOCAを提案する。 我々は,様々な評価プロトコルにおいて,低照度設定と強力な実験結果に対して,最先端の新たな結果を得る。
  論文  参考訳（メタデータ） (2023-07-18T15:46:20Z)
• A Close Look at Spatial Modeling: From Attention to Convolution [70.5571582194057]
  ビジョントランスフォーマーは最近、洞察に富んだアーキテクチャ設計とアテンションメカニズムのために、多くのビジョンタスクに対して大きな約束をしました。 我々は、自己意図の定式化を一般化し、クエリ非関連なグローバルコンテキストを直接抽象化し、グローバルコンテキストを畳み込みに統合する。 FCViT-S12は14M未満のパラメータを持つため、ImageNet-1K上でのResT-Liteの精度は3.7%向上した。
  論文  参考訳（メタデータ） (2022-12-23T19:13:43Z)
• Vision Transformers: From Semantic Segmentation to Dense Prediction [139.15562023284187]
  視覚的予測のための視覚変換器(ViT)のグローバルな文脈学習の可能性について検討する。 我々のモチベーションは、グローバルコンテキストを全受容界層で学習することで、ViTがより強力な長距離依存性情報を取得することである。 階層型ローカル・グローバル・トランスフォーマー (HLG) のファミリを定式化し, 窓内部の局所的な注意と, ピラミッド建築における窓全体のグローバルアテンションを特徴とする。
  論文  参考訳（メタデータ） (2022-07-19T15:49:35Z)
• Self-Promoted Supervision for Few-Shot Transformer [178.52948452353834]
  SUN(Self-promoted sUpervisioN)は視覚変換器(ViT)のための数発の学習フレームワークである SUNは、数ショットの学習データセットでViTを事前トレーニングし、各パッチトークンを導くために、個別のロケーション固有の監視を生成する。 実験によると、ViTを使ったSUNは、ViTを使った他の数発の学習フレームワークを大幅に上回っており、CNNの最先端技術よりも高いパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-03-14T12:53:27Z)
• So-ViT: Mind Visual Tokens for Vision Transformer [27.243241133304785]
  本稿では,視覚トークンの2次相互分散プールとクラストークンを組み合わせ,最終分類を行う新しい分類パラダイムを提案する。 我々は,視覚トークン埋め込みのためのオフ・ザ・棚畳み込みに基づく軽量階層モジュールを開発した。 その結果、我々のモデルは、スクラッチからトレーニングされた場合、競合するViTモデルよりも優れ、最先端のCNNモデルと同等かそれ以上であることがわかった。
  論文  参考訳（メタデータ） (2021-04-22T09:05:09Z)
• Unsupervised Pretraining for Object Detection by Patch Reidentification [72.75287435882798]
  教師なし表現学習は、オブジェクトディテクタの事前トレーニング表現で有望なパフォーマンスを実現します。 本研究では,オブジェクト検出のための簡易かつ効果的な表現学習手法であるパッチ再識別(Re-ID)を提案する。 私たちの方法は、トレーニングの反復やデータパーセンテージなど、すべての設定でCOCOの同等を大幅に上回ります。
  論文  参考訳（メタデータ） (2021-03-08T15:13:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。