Fugu-MT 論文翻訳(概要): Dynamic Token Normalization Improves Vision Transformer

論文の概要: Dynamic Token Normalization Improves Vision Transformer

arxiv url: http://arxiv.org/abs/2112.02624v1
Date: Sun, 5 Dec 2021 17:04:59 GMT
ステータス: 処理完了
システム内更新日: 2021-12-07 14:22:40.998178
Title: Dynamic Token Normalization Improves Vision Transformer
Title（参考訳）: 動的トークン正規化によるビジョントランスの改良
Authors: Wenqi Shao, Yixiao Ge, Zhaoyang Zhang, Xuyuan Xu, Xiaogang Wang, Ying Shan, Ping Luo
Abstract要約: 動的トークン正規化(DTN)と呼ばれる新しい正規化器を提案する。 DTNはトークンをトークン内およびトークン間の両方で正規化することを学ぶ。最小限の余分なパラメータと計算オーバーヘッドでベースラインモデルを上回っている。
参考スコア（独自算出の注目度）: 48.63155906080236
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Vision Transformer (ViT) and its variants (e.g., Swin, PVT) have achieved great success in various computer vision tasks, owing to their capability to learn long-range contextual information. Layer Normalization (LN) is an essential ingredient in these models. However, we found that the ordinary LN makes tokens at different positions similar in magnitude because it normalizes embeddings within each token. It is difficult for Transformers to capture inductive bias such as the positional context in an image with LN. We tackle this problem by proposing a new normalizer, termed Dynamic Token Normalization (DTN), where normalization is performed both within each token (intra-token) and across different tokens (inter-token). DTN has several merits. Firstly, it is built on a unified formulation and thus can represent various existing normalization methods. Secondly, DTN learns to normalize tokens in both intra-token and inter-token manners, enabling Transformers to capture both the global contextual information and the local positional context. {Thirdly, by simply replacing LN layers, DTN can be readily plugged into various vision transformers, such as ViT, Swin, PVT, LeViT, T2T-ViT, BigBird and Reformer. Extensive experiments show that the transformer equipped with DTN consistently outperforms baseline model with minimal extra parameters and computational overhead. For example, DTN outperforms LN by $0.5\%$ - $1.2\%$ top-1 accuracy on ImageNet, by $1.2$ - $1.4$ box AP in object detection on COCO benchmark, by $2.3\%$ - $3.9\%$ mCE in robustness experiments on ImageNet-C, and by $0.5\%$ - $0.8\%$ accuracy in Long ListOps on Long-Range Arena.} Codes will be made public at \url{https://github.com/wqshao126/DTN}
Abstract（参考訳）: ビジョントランスフォーマー(vit)とその変種(swain、pvtなど)は、様々なコンピュータビジョンタスクにおいて、長距離の文脈情報を学ぶ能力により、大きな成功を収めている。層正規化(LN)はこれらのモデルにおいて重要な要素である。しかし,各トークン内の埋め込みを正規化するため,通常のlnは異なる位置のトークンを大小同値に生成することが分かった。トランスフォーマーは、LNの画像における位置コンテキストのような帰納バイアスをキャプチャすることは困難である。我々は,新しい正規化器である動的トークン正規化(DTN)を提案し,各トークン(イントラトークン)内および異なるトークン(インタートークン)間で正規化を行う。 DTNにはいくつかの利点がある。第一に、統一的な定式化に基づいているため、既存の様々な正規化法を表現できる。次に、DTNはトークンをトークン内およびトークン間の両方で正規化することを学び、トランスフォーマーはグローバルなコンテキスト情報とローカルな位置コンテキストの両方をキャプチャできる。第三に、単にLN層を置き換えることで、DTNはViT、Swin、PVT、LeViT、T2T-ViT、BigBird、Reformerといった様々な視覚変換器に簡単に接続できる。 DTNを組み込んだ変圧器は、最小限の余剰パラメータと計算オーバーヘッドでベースラインモデルより一貫して優れていた。例えば、DTN は ImageNet で LN を0.5 %$ - $1.2 %$ トップ-1 精度で、COCO ベンチマークでオブジェクト検出で 1.2 ドル - $1.4 ドル AP で、2.3 %$ - $3.9 %$ mCE で、ImageNet-C でロバストネス実験で 2.9 %$ mCE で、Long-Range Arena で Long ListOps で 0. %$$0.8 %$ で 0.5 % で上回っている。 } コードは \url{https://github.com/wqshao126/dtn} で公開される。

論文の概要: Dynamic Token Normalization Improves Vision Transformer

関連論文リスト