論文の概要: Escaping the Big Data Paradigm with Compact Transformers
- arxiv url: http://arxiv.org/abs/2104.05704v1
- Date: Mon, 12 Apr 2021 17:58:56 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-13 14:30:09.696859
- Title: Escaping the Big Data Paradigm with Compact Transformers
- Title（参考訳）: コンパクトトランスフォーマーによるビッグデータパラダイムの脱却
- Authors: Ali Hassani, Steven Walton, Nikhil Shah, Abulikemu Abuduweili, Jiachen
Li, Humphrey Shi
- Abstract要約: 適切なサイズとトークン化によって、トランスフォーマは小さなデータセット上で最先端のcnnで頭対頭で実行できることを初めて示す。
本手法はモデルサイズで柔軟であり,0.28Mのパラメータしか持たず,妥当な結果が得られる。
- 参考スコア（独自算出の注目度）: 7.697698018200631
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the rise of Transformers as the standard for language processing, and
their advancements in computer vision, along with their unprecedented size and
amounts of training data, many have come to believe that they are not suitable
for small sets of data. This trend leads to great concerns, including but not
limited to: limited availability of data in certain scientific domains and the
exclusion of those with limited resource from research in the field. In this
paper, we dispel the myth that transformers are "data hungry" and therefore can
only be applied to large sets of data. We show for the first time that with the
right size and tokenization, transformers can perform head-to-head with
state-of-the-art CNNs on small datasets. Our model eliminates the requirement
for class token and positional embeddings through a novel sequence pooling
strategy and the use of convolutions. We show that compared to CNNs, our
compact transformers have fewer parameters and MACs, while obtaining similar
accuracies. Our method is flexible in terms of model size, and can have as
little as 0.28M parameters and achieve reasonable results. It can reach an
accuracy of 94.72% when training from scratch on CIFAR-10, which is comparable
with modern CNN based approaches, and a significant improvement over previous
Transformer based models. Our simple and compact design democratizes
transformers by making them accessible to those equipped with basic computing
resources and/or dealing with important small datasets. Our code and
pre-trained models will be made publicly available at
https://github.com/SHI-Labs/Compact-Transformers.
- Abstract（参考訳）: トランスフォーマーが言語処理の標準として台頭し、コンピュータビジョンの進歩とともに、前例のない大きさと大量のトレーニングデータとともに、小さなデータ集合には適さないと信じている人も多い。
この傾向は、特定の科学領域におけるデータの可用性の制限と、この分野の研究から限られたリソースを持つ人々の排除を含む、大きな関心事に繋がる。
本稿では,トランスフォーマーが「データ空腹」であるとする神話を排除し,大規模なデータに対してのみ適用可能であることを示す。
適切なサイズとトークン化によって、トランスフォーマは小さなデータセット上で最先端のcnnで頭対頭で実行できることを初めて示す。
提案モデルは,新しいシーケンスプーリング戦略と畳み込みの利用を通じて,クラストークンと位置埋め込みの必要性を解消する。
CNNと比較して、我々のコンパクトトランスフォーマーはパラメータやMACが少なく、類似の精度が得られる。
本手法はモデルサイズで柔軟であり,0.28Mのパラメータしか持たず,妥当な結果が得られる。
最新のcnnベースのアプローチに匹敵するcifar-10のスクラッチからトレーニングすると、94.72%の精度に達し、以前のトランスフォーマーベースのモデルよりも大幅に改善されている。
私たちのシンプルでコンパクトな設計はトランスフォーマーを、基本的な計算リソースを備えたものや重要な小さなデータセットを扱うものへのアクセスによって民主化する。
私たちのコードと事前トレーニングされたモデルは、https://github.com/SHI-Labs/Compact-Transformers.comで公開されます。
関連論文リスト
- Emergent Agentic Transformer from Chain of Hindsight Experience [96.56164427726203]
簡単なトランスフォーマーベースモデルが時間差と模倣学習に基づくアプローチの両方と競合することを示す。
単純なトランスフォーマーベースのモデルが時間差と模倣学習ベースのアプローチの両方で競合するのはこれが初めてである。
論文 参考訳（メタデータ） (2023-05-26T00:43:02Z) - Masked autoencoders are effective solution to transformer data-hungry [0.0]
ビジョントランスフォーマー(ViT)は、いくつかのビジョンタスクにおいて、そのグローバルモデリング能力で畳み込みニューラルネットワーク(CNN)を上回っている。
ViTには、畳み込みに固有の帰納バイアスがなく、トレーニングに大量のデータを必要とする。
マスク付きオートエンコーダ(MAE)は、トランスフォーマーが画像自体にもっと焦点を合わせることができる。
論文 参考訳（メタデータ） (2022-12-12T03:15:19Z) - Explicitly Increasing Input Information Density for Vision Transformers
on Small Datasets [26.257612622358614]
ビジョントランスフォーマーはビジョンタスクにおけるビジョントランスフォーマー(ViT)の実装が成功して以来、近年多くの注目を集めている。
本稿では,周波数領域における入力情報密度を明示的に向上することを提案する。
5つの小規模データセットに対して提案手法の有効性を示す実験を行った。
論文 参考訳（メタデータ） (2022-10-25T20:24:53Z) - How to Train Vision Transformer on Small-scale Datasets? [4.56717163175988]
畳み込みニューラルネットワークとは対照的に、Vision Transformerには固有の帰納バイアスがない。
自己教師付き帰納バイアスは,小規模データセットから直接学習可能であることを示す。
これにより、大規模な事前トレーニングやモデルアーキテクチャの変更、損失関数を必要とせずに、これらのモデルをトレーニングすることができる。
論文 参考訳（メタデータ） (2022-10-13T17:59:19Z) - Towards Data-Efficient Detection Transformers [77.43470797296906]
我々は、ほとんどの検出トランスフォーマーが、小さなデータセットで大きなパフォーマンス低下に悩まされていることを示す。
我々はデータ効率に影響を与える要因を、データ効率のRCNNから代表DETRへのステップバイステップ遷移によって実証的に分析する。
本稿では,よりリッチな監視とデータ効率向上を目的とした,シンプルながら効果的なラベル拡張手法を提案する。
論文 参考訳（メタデータ） (2022-03-17T17:56:34Z) - Investigating Transfer Learning Capabilities of Vision Transformers and
CNNs by Fine-Tuning a Single Trainable Block [0.0]
トランスフォーマーベースのアーキテクチャは、CNNアーキテクチャによる最先端のセットを精度で上回っているが、スクラッチからトレーニングするには計算コストが非常に高い。
転送学習能力について検討し、CNNと比較し、小型データを用いた実世界の問題に適用した場合に、どのアーキテクチャが優れているかを理解する。
変換器をベースとしたアーキテクチャは,CNNよりも高い精度を実現するだけでなく,パラメータの約4倍の精度で実現している。
論文 参考訳（メタデータ） (2021-10-11T13:43:03Z) - CMT: Convolutional Neural Networks Meet Vision Transformers [68.10025999594883]
画像内の長距離依存関係をキャプチャできるため、画像認識タスクに視覚トランスフォーマーがうまく適用されている。
変圧器と既存の畳み込みニューラルネットワーク(CNN)の間には、パフォーマンスと計算コストの差がまだ残っている。
長距離依存関係をキャプチャするトランスフォーマーと、局所的な特徴をモデル化するCNNを利用して、新しいトランスフォーマーベースのハイブリッドネットワークを提案する。
特に、私たちのCMT-SはImageNetで83.5%、FLOPでは14倍、EfficientNetでは2倍の精度を実現しています。
論文 参考訳（メタデータ） (2021-07-13T17:47:19Z) - Visformer: The Vision-friendly Transformer [105.52122194322592]
我々は視覚に優しいトランスフォーマーから短縮したvisformerという新しいアーキテクチャを提案する。
同じ計算の複雑さにより、VisformerはTransformerベースのモデルとConvolutionベースのモデルの両方をImageNet分類精度で上回る。
論文 参考訳（メタデータ） (2021-04-26T13:13:03Z) - Token Labeling: Training a 85.4% Top-1 Accuracy Vision Transformer with
56M Parameters on ImageNet [86.95679590801494]
ImageNet分類におけるビジョントランスフォーマーの可能性を探るため、トレーニングテクニックのバッグを開発しています。
視覚変換器の構造を微調整し,トークンラベリングを導入することで,我々のモデルはCNNよりも優れた結果が得られることを示す。
論文 参考訳（メタデータ） (2021-04-22T04:43:06Z) - Tiny Transformers for Environmental Sound Classification at the Edge [0.6193838300896449]
本研究は,エッジにおける環境音の分類分野における音響モデルの訓練手法を提案する。
具体的には、トランスフォーマーの設計とトレーニングを行い、オフィスのサウンドをオーディオクリップに分類します。
その結果、BERTベースのトランスフォーマーはメルスペクトログラムで訓練され、99.85%のパラメータでCNNより優れていた。
論文 参考訳（メタデータ） (2021-03-22T20:12:15Z) - Train Large, Then Compress: Rethinking Model Size for Efficient Training
and Inference of Transformers [94.43313684188819]
本研究では,計算によって制限されたNLPタスクのトランスフォーマーモデルに着目し,モデルサイズの影響について検討する。
まず最初に、より小さなTransformerモデルがイテレーション毎に高速に実行されているにもかかわらず、より広いモデルとより深いモデルがはるかに少ないステップで収束していることを示します。
これは、大きなTransformerモデルのトレーニング効率と小さなTransformerモデルの推論効率との間に明らかなトレードオフをもたらす。
論文 参考訳（メタデータ） (2020-02-26T21:17:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。