論文の概要: UFO-ViT: High Performance Linear Vision Transformer without Softmax
- arxiv url: http://arxiv.org/abs/2109.14382v1
- Date: Wed, 29 Sep 2021 12:32:49 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-30 18:20:30.969446
- Title: UFO-ViT: High Performance Linear Vision Transformer without Softmax
- Title(参考訳): ufo-vit:softmaxのない高性能リニアビジョントランスフォーマー
- Authors: Jeong-geun Song
- Abstract要約: UFO-ViT(Unit Force Operated Vision Trnasformer)を提案する。
モデルは、ほとんどのキャパシティ・レシエーションを通して、画像分類と高密度予測タスクに関するほとんどのトランスフォーマーベースのモデルを達成する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision transformers have become one of the most important models for computer
vision tasks. While they outperform earlier convolutional networks, the
complexity quadratic to $N$ is one of the major drawbacks when using
traditional self-attention algorithms. Here we propose the UFO-ViT(Unit Force
Operated Vision Trnasformer), novel method to reduce the computations of
self-attention by eliminating some non-linearity. Modifying few of lines from
self-attention, UFO-ViT achieves linear complexity without the degradation of
performance. The proposed models outperform most transformer-based models on
image classification and dense prediction tasks through most capacity regime.
- Abstract(参考訳): ビジョントランスフォーマーはコンピュータビジョンタスクにおいて最も重要なモデルの1つとなっている。
それらは初期の畳み込みネットワークを上回っているが、複雑さは従来の自己追跡アルゴリズムを使用する際の大きな欠点の1つだ。
本稿では,UFO-ViT(Unit Force Operated Vision Trnasformer)を提案する。
ufo-vitは自己着脱による行数をほとんど変更せず、性能の低下を伴わずに線形複雑性を達成する。
提案手法は,画像分類と密集した予測タスクにおいて,ほとんどのトランスフォーマティブモデルに勝っている。
関連論文リスト
- PriViT: Vision Transformers for Fast Private Inference [55.36478271911595]
Vision Transformer (ViT) アーキテクチャは、コンピュータビジョンアプリケーションのための最先端のディープモデルのバックボーンとして登場した。
ViTは、多くの非ポリノミカル操作のため、セキュアなマルチパーティプロトコルを使用したプライベート推論には適していない。
予測精度を維持しつつ,ViTの非線形性を選択的に"テイラー化"するアルゴリズムであるPriViTを提案する。
論文 参考訳(メタデータ) (2023-10-06T21:45:05Z) - FLatten Transformer: Vision Transformer using Focused Linear Attention [80.61335173752146]
線形注意(linear attention)は、その線形複雑性に対して、はるかに効率的な代替手段を提供する。
現在の線形アテンションアプローチは、大きなパフォーマンス劣化に悩まされるか、追加の計算オーバーヘッドを導入するかのいずれかである。
本研究では,高効率と表現性の両方を実現するために,新しいFocused Linear Attentionモジュールを提案する。
論文 参考訳(メタデータ) (2023-08-01T10:37:12Z) - Enabling and Accelerating Dynamic Vision Transformer Inference for
Real-Time Applications [1.4182157117635368]
我々は視覚変換器を入力画像とは独立にシステムの動的リソース制約を満たすように適応する。
事前訓練されたモデルは、畳み込み層と自己注意層をスキップするのにかなり回復力があることを示します。
トレーニングを必要とせず,動的リアルタイム推論のための低オーバーヘッドシステムを構築した。
論文 参考訳(メタデータ) (2022-12-06T01:10:31Z) - How to Train Vision Transformer on Small-scale Datasets? [4.56717163175988]
畳み込みニューラルネットワークとは対照的に、Vision Transformerには固有の帰納バイアスがない。
自己教師付き帰納バイアスは,小規模データセットから直接学習可能であることを示す。
これにより、大規模な事前トレーニングやモデルアーキテクチャの変更、損失関数を必要とせずに、これらのモデルをトレーニングすることができる。
論文 参考訳(メタデータ) (2022-10-13T17:59:19Z) - Vicinity Vision Transformer [53.43198716947792]
線形複雑度を有する視覚変換器に局所性バイアスを導入するビシニティ注意法を提案する。
提案手法は,従来の手法よりも50%少ないパラメータで,最先端の画像分類精度を実現する。
論文 参考訳(メタデータ) (2022-06-21T17:33:53Z) - X-ViT: High Performance Linear Vision Transformer without Softmax [1.6244541005112747]
視覚変換器はコンピュータビジョンタスクにおいて最も重要なモデルの一つとなっている。
それらはトークンの数に二次的なスケールで重い計算資源を必要とし、$N$である。
本稿では,線形複雑性を持つ新しいSA機構を持つX-ViT, ViTを提案する。
論文 参考訳(メタデータ) (2022-05-27T07:47:22Z) - ViDT: An Efficient and Effective Fully Transformer-based Object Detector [97.71746903042968]
検出変換器は、オブジェクト検出のための最初のエンドツーエンド学習システムである。
視覚変換器は、画像分類のための最初の完全変換器ベースのアーキテクチャである。
本稿では、視覚・検出変換器(ViDT)を統合し、効果的で効率的な物体検出装置を構築する。
論文 参考訳(メタデータ) (2021-10-08T06:32:05Z) - Vision Xformers: Efficient Attention for Image Classification [0.0]
我々は、2次注意を効率的な変換器に置き換えることで、より長いシーケンスデータを扱うためにViTアーキテクチャを変更した。
また,より少ない計算資源を消費する画像分類において,ViXはViTよりも優れた性能を示す。
論文 参考訳(メタデータ) (2021-07-05T19:24:23Z) - Visformer: The Vision-friendly Transformer [105.52122194322592]
我々は視覚に優しいトランスフォーマーから短縮したvisformerという新しいアーキテクチャを提案する。
同じ計算の複雑さにより、VisformerはTransformerベースのモデルとConvolutionベースのモデルの両方をImageNet分類精度で上回る。
論文 参考訳(メタデータ) (2021-04-26T13:13:03Z) - Multiscale Vision Transformers [79.76412415996892]
本稿では,マルチスケール特徴階層をトランスフォーマモデルに結びつけることで,映像・画像認識のためのマルチスケールビジョントランス (MViT) を提案する。
我々は,視覚信号の密集性を様々な映像認識タスクでモデル化するために,この基本アーキテクチャの事前評価を行う。
論文 参考訳(メタデータ) (2021-04-22T17:59:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。