論文の概要: Hybrid BYOL-ViT: Efficient approach to deal with small Datasets
- arxiv url: http://arxiv.org/abs/2111.04845v1
- Date: Mon, 8 Nov 2021 21:44:31 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-10 14:46:36.431710
- Title: Hybrid BYOL-ViT: Efficient approach to deal with small Datasets
- Title(参考訳): ハイブリッドBYOL-ViT:小さなデータセットを扱うための効率的なアプローチ
- Authors: Safwen Naimi, Rien van Leeuwen, Wided Souidene and Slim Ben Saoud
- Abstract要約: 本稿では,ラベルなしデータの強大かつ十分な増大を伴う自己超越が,ニューラルネットワークの第1層を効果的に学習する方法について検討する。
自己教師型アーキテクチャから派生した低レベルの特徴は、この創発的アーキテクチャの堅牢性と全体的な性能を向上させることができることを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Supervised learning can learn large representational spaces, which are
crucial for handling difficult learning tasks. However, due to the design of
the model, classical image classification approaches struggle to generalize to
new problems and new situations when dealing with small datasets. In fact,
supervised learning can lose the location of image features which leads to
supervision collapse in very deep architectures. In this paper, we investigate
how self-supervision with strong and sufficient augmentation of unlabeled data
can train effectively the first layers of a neural network even better than
supervised learning, with no need for millions of labeled data. The main goal
is to disconnect pixel data from annotation by getting generic task-agnostic
low-level features. Furthermore, we look into Vision Transformers (ViT) and
show that the low-level features derived from a self-supervised architecture
can improve the robustness and the overall performance of this emergent
architecture. We evaluated our method on one of the smallest open-source
datasets STL-10 and we obtained a significant boost of performance from 41.66%
to 83.25% when inputting low-level features from a self-supervised learning
architecture to the ViT instead of the raw images.
- Abstract(参考訳): 教師付き学習は大きな表現空間を学習することができる。
しかし、モデルの設計により、従来の画像分類手法は、小さなデータセットを扱う際に、新しい問題や新しい状況に一般化するのに苦労する。
実際、教師付き学習は、非常に深いアーキテクチャで監督崩壊につながる画像特徴の位置を失う可能性がある。
本稿では,ラベルなしデータの強固かつ十分な拡張による自己スーパービジョンが,教師付き学習よりもニューラルネットワークの第1層を効果的に学習し,数百万のラベル付きデータを必要としないことを検討する。
主な目標は、一般的なタスクに依存しない低レベル機能を得ることで、アノテーションからピクセルデータを切り離すことである。
さらに,視覚トランスフォーマー(vit)について検討し,自己教師付きアーキテクチャから派生した低レベル機能は,この創発的アーキテクチャのロバスト性と全体的な性能を向上させることができることを示した。
提案手法を最小のオープンソースデータセットであるSTL-10を用いて評価し,自己教師付き学習アーキテクチャから生画像の代わりにViTに低レベル特徴を入力した場合,性能を41.66%から83.25%に向上させた。
関連論文リスト
- A Simple and Efficient Baseline for Data Attribution on Images [107.12337511216228]
現在の最先端のアプローチでは、モデル予測を正確に評価するために、最大30万のモデルの大規模なアンサンブルが必要となる。
本研究では、自己教師付き学習によって事前訓練されたバックボーンの特徴空間を利用して、データ帰属を行うミニマリストベースラインに焦点を当てる。
提案手法はモデルに依存しず,大規模データセットに容易にスケールできる。
論文 参考訳(メタデータ) (2023-11-03T17:29:46Z) - Dataset Quantization [72.61936019738076]
大規模データセットを小さなサブセットに圧縮する新しいフレームワークであるデータセット量子化(DQ)を提案する。
DQは、ImageNet-1kのような大規模データセットを最先端圧縮比で蒸留する最初の方法である。
論文 参考訳(メタデータ) (2023-08-21T07:24:29Z) - Let Segment Anything Help Image Dehaze [12.163299570927302]
低レベルコンピュータビジョンタスクに先立って,大規模モデルを統合するためのフレームワークを提案する。
低レベル視覚タスクの導出における大規模モデルの有効性と適用性を示す。
論文 参考訳(メタデータ) (2023-06-28T02:02:19Z) - Enhancing Performance of Vision Transformers on Small Datasets through
Local Inductive Bias Incorporation [13.056764072568749]
ビジョントランスフォーマー(ViT)は、大規模なデータセットでは顕著なパフォーマンスを達成するが、小さなデータセットでは畳み込みニューラルネットワーク(CNN)よりもパフォーマンスが悪くなる傾向がある。
本稿では、パッチレベルのローカル情報を抽出し、ViTの自己保持ブロックで使用される埋め込みに組み込む、ローカルInFormation Enhancer (LIFE) と呼ばれるモジュールを提案する。
提案するモジュールはメモリと効率が良く, 分類や蒸留トークンなどの補助トークンを処理できるほど柔軟である。
論文 参考訳(メタデータ) (2023-05-15T11:23:18Z) - Efficient entity-based reinforcement learning [3.867363075280544]
本稿では,集合表現の最近の進歩とスロットアテンションとグラフニューラルネットワークを組み合わせて構造化データを処理することを提案する。
トレーニング時間とロバスト性を大幅に改善できることを示し、構造化されたドメインと純粋に視覚的なドメインを扱う可能性を示す。
論文 参考訳(メタデータ) (2022-06-06T19:02:39Z) - In-N-Out Generative Learning for Dense Unsupervised Video Segmentation [89.21483504654282]
本稿では,ラベルなしビデオから視覚的対応を学習する,教師なしビデオオブジェクト(VOS)タスクに焦点を当てる。
In-aNd-Out(INO)生成学習を純粋に生成的観点から提案する。
我々のINOは、最先端の手法をかなりのマージンで上回っている。
論文 参考訳(メタデータ) (2022-03-29T07:56:21Z) - Transformer-Based Behavioral Representation Learning Enables Transfer
Learning for Mobile Sensing in Small Datasets [4.276883061502341]
時系列から一般化可能な特徴表現を学習できるモバイルセンシングデータのためのニューラルネットワークフレームワークを提供する。
このアーキテクチャは、CNNとTrans-formerアーキテクチャの利点を組み合わせて、より良い予測性能を実現する。
論文 参考訳(メタデータ) (2021-07-09T22:26:50Z) - Efficient Self-supervised Vision Transformers for Representation
Learning [86.57557009109411]
疎密な自己意識を持つマルチステージアーキテクチャは、モデリングの複雑さを著しく低減できることを示す。
そこで本研究では,モデルがよりきめ細かな領域依存を捕捉できるような,領域マッチングの事前学習タスクを提案する。
この2つの手法を組み合わせることで,ImageNet線形プローブ評価において,EsViTは81.3%のトップ1を達成した。
論文 参考訳(メタデータ) (2021-06-17T19:57:33Z) - Learning Visual Representations for Transfer Learning by Suppressing
Texture [38.901410057407766]
自己教師付き学習では、低レベルのキューとしてのテクスチャは、ネットワークがより高いレベルの表現を学習することを防ぐショートカットを提供する。
本稿では,異方性拡散に基づく古典的手法を用いて,テクスチャを抑圧した画像を用いた強化訓練を提案する。
提案手法は,物体検出と画像分類における最先端の成果を実証的に示す。
論文 参考訳(メタデータ) (2020-11-03T18:27:03Z) - Relation-Guided Representation Learning [53.60351496449232]
本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。
私たちのフレームワークは、サンプル間の関係をよく保存します。
サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
論文 参考訳(メタデータ) (2020-07-11T10:57:45Z) - Naive-Student: Leveraging Semi-Supervised Learning in Video Sequences
for Urban Scene Segmentation [57.68890534164427]
本研究では,未ラベル映像シーケンスと追加画像の半教師付き学習を利用して,都市景観セグメンテーションの性能を向上させることができるかどうかを問う。
我々は単にラベルのないデータに対して擬似ラベルを予測し、人間の注釈付きデータと擬似ラベル付きデータの両方でその後のモデルを訓練する。
我々のNaive-Studentモデルは、このような単純で効果的な反復的半教師付き学習で訓練され、3つのCityscapesベンチマークで最先端の結果を得る。
論文 参考訳(メタデータ) (2020-05-20T18:00:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。