論文の概要: Experts Weights Averaging: A New General Training Scheme for Vision Transformers

• arxiv url: http://arxiv.org/abs/2308.06093v2
• Date: Fri, 25 Aug 2023 14:30:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-28 16:40:29.230780
• Title: Experts Weights Averaging: A New General Training Scheme for Vision Transformers
• Title（参考訳）: 専門家の重み付け平均化:視覚トランスフォーマーのための新しい一般的なトレーニングスキーム
• Authors: Yongqi Huang, Peng Ye, Xiaoshui Huang, Sheng Li, Tao Chen, Tong He, Wanli Ouyang
• Abstract要約: 推論コストを増大させることなく性能向上を実現するビジョントランスフォーマー(ViT)のトレーニング手法を提案する。 トレーニング中、ViTのFeed-Forward Networks(FFN)を、特別に設計されたより効率的なMoEに置き換える。 トレーニング後、各MoEを専門家を平均化してFFNに変換し、モデルを推論のために元のViTに変換する。
• 参考スコア（独自算出の注目度）: 57.62386892571636
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Structural re-parameterization is a general training scheme for Convolutional Neural Networks (CNNs), which achieves performance improvement without increasing inference cost. As Vision Transformers (ViTs) are gradually surpassing CNNs in various visual tasks, one may question: if a training scheme specifically for ViTs exists that can also achieve performance improvement without increasing inference cost? Recently, Mixture-of-Experts (MoE) has attracted increasing attention, as it can efficiently scale up the capacity of Transformers at a fixed cost through sparsely activated experts. Considering that MoE can also be viewed as a multi-branch structure, can we utilize MoE to implement a ViT training scheme similar to structural re-parameterization? In this paper, we affirmatively answer these questions, with a new general training strategy for ViTs. Specifically, we decouple the training and inference phases of ViTs. During training, we replace some Feed-Forward Networks (FFNs) of the ViT with specially designed, more efficient MoEs that assign tokens to experts by random uniform partition, and perform Experts Weights Averaging (EWA) on these MoEs at the end of each iteration. After training, we convert each MoE into an FFN by averaging the experts, transforming the model back into original ViT for inference. We further provide a theoretical analysis to show why and how it works. Comprehensive experiments across various 2D and 3D visual tasks, ViT architectures, and datasets validate the effectiveness and generalizability of the proposed training scheme. Besides, our training scheme can also be applied to improve performance when fine-tuning ViTs. Lastly, but equally important, the proposed EWA technique can significantly improve the effectiveness of naive MoE in various 2D visual small datasets and 3D visual tasks.
• Abstract（参考訳）: 構造的再パラメータ化は畳み込みニューラルネットワーク(CNN)の一般的なトレーニング手法であり、推論コストを増大させることなく性能改善を実現する。 視覚変換器(ViT)は様々な視覚的タスクにおいてCNNを徐々に上回っているため、ViTに特化したトレーニングスキームが存在するかどうかという疑問もある。 近年, 変圧器の容量を一定コストで効率的にスケールアップできるmoe(mixed-of-experts)が注目されている。 MoEはマルチブランチ構造と見なせるので、構造的再パラメータ化に似たViTトレーニングスキームの実装にMoEを利用できるだろうか? 本稿では,vitsのための新しい総合訓練戦略を用いて,これらの疑問に肯定的に答える。 具体的には、ViTのトレーニングフェーズと推論フェーズを分離する。 トレーニング中、ViTのフィードフォワードネットワーク(FFN)を、ランダムな均一なパーティションによって専門家にトークンを割り当てる、特別に設計されたより効率的なMoEに置き換え、各イテレーションの最後にこれらのMoE上でExperts Weights Averaging(EWA)を実行する。 トレーニング後、各MoEを専門家を平均化してFFNに変換し、モデルを推論のために元のViTに変換する。 さらに,その動作の理由と方法を説明するための理論的分析も提供する。 様々な2次元および3次元視覚タスク、ViTアーキテクチャ、データセットの総合的な実験により、提案したトレーニングスキームの有効性と一般化性を検証する。 また,ViTの微調整時の性能向上のためのトレーニング手法も適用できる。 最後に、EWA手法は、様々な2次元の視覚的小データセットと3次元の視覚的タスクにおいて、ネイティブなMoEの有効性を大幅に向上させることができる。

関連論文リスト

• DeiT-LT Distillation Strikes Back for Vision Transformer Training on Long-Tailed Datasets [30.178427266135756]
  Vision Transformer (ViT) は様々なコンピュータビジョンタスクの顕著なアーキテクチャとして登場した。 ViTは事前トレーニングに大量のデータを必要とする。 DeiT-LTを導入し、長い尾のデータセットのスクラッチからViTをトレーニングする問題に対処する。
  論文  参考訳（メタデータ） (2024-04-03T17:58:21Z)
• A General and Efficient Training for Transformer via Token Expansion [44.002355107931805]
  ビジョントランスフォーマー(ViT)は通常、非常に大きなトレーニングコストを必要とする。 既存の手法はViTの訓練を高速化しようと試みているが、通常は精度の低下を伴う手法を無視している。 本稿では,新しいトークン成長スキームであるToken Expansion(ToE)を提案し,ViTに対する一貫したトレーニングアクセラレーションを実現する。
  論文  参考訳（メタデータ） (2024-03-31T12:44:24Z)
• Dynamic Tuning Towards Parameter and Inference Efficiency for ViT Adaptation [67.13876021157887]
  動的チューニング(DyT)は、ViT適応のためのパラメータと推論効率を改善するための新しいアプローチである。 DyTは既存のPEFT法に比べて性能が優れており、VTAB-1KベンチマークではFLOPの71%しか呼び出されていない。
  論文  参考訳（メタデータ） (2024-03-18T14:05:52Z)
• When Adversarial Training Meets Vision Transformers: Recipes from Training to Architecture [32.260596998171835]
  ViTがこのような敵の攻撃に対して防衛するためには、依然として敵の訓練が必要である。 対人訓練にはプレトレーニングとSGDが必要であることが判明した。 私たちのコードはhttps://versa.com/mo666666/When-Adrial-Training-Meets-Vision-Transformersで利用可能です。
  論文  参考訳（メタデータ） (2022-10-14T05:37:20Z)
• A Light Recipe to Train Robust Vision Transformers [34.51642006926379]
  我々は、視覚変換器(ViT)が、回避攻撃に対する機械学習モデルの堅牢性を改善するための基盤となるアーキテクチャとして機能することを示します。 我々は、ImageNetデータセットのサブセットに関する厳密なアブレーション研究を用いて、独自の逆トレーニングレシピを用いて、この目的を達成する。 提案手法は,完全なImageNet-1k上でのViTアーキテクチャと大規模モデルの異なるクラスに一般化可能であることを示す。
  論文  参考訳（メタデータ） (2022-09-15T16:00:04Z)
• DeiT III: Revenge of the ViT [56.46810490275699]
  Vision Transformer (ViT) は、複数のコンピュータビジョンタスクを処理可能なシンプルなニューラルネットワークアーキテクチャである。 最近の研究によると、ViTsはBeiTのようなBerTライクな事前訓練の恩恵を受けている。
  論文  参考訳（メタデータ） (2022-04-14T17:13:44Z)
• Evaluating Vision Transformer Methods for Deep Reinforcement Learning from Pixels [7.426118390008397]
  画像に基づく強化学習制御タスクに対する視覚変換器(ViT)訓練手法の評価を行った。 これらの結果を,主要な畳み込みネットワークアーキテクチャ手法であるRADと比較する。 RADを用いてトレーニングされたCNNアーキテクチャは、一般的には優れたパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2022-04-11T07:10:58Z)
• Self-Promoted Supervision for Few-Shot Transformer [178.52948452353834]
  SUN(Self-promoted sUpervisioN)は視覚変換器(ViT)のための数発の学習フレームワークである SUNは、数ショットの学習データセットでViTを事前トレーニングし、各パッチトークンを導くために、個別のロケーション固有の監視を生成する。 実験によると、ViTを使ったSUNは、ViTを使った他の数発の学習フレームワークを大幅に上回っており、CNNの最先端技術よりも高いパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-03-14T12:53:27Z)
• Self-slimmed Vision Transformer [52.67243496139175]
  視覚変換器(ViT)は、様々な視覚タスクにおいて一般的な構造となり、CNN(Creative Convolutional Neural Network)よりも優れています。 本稿では,バニラVT,すなわちSiTに対する汎用的な自己スリム学習手法を提案する。 具体的には、まず、ViTの推論効率を向上させる新しいToken Slimming Module (TSM) を設計する。
  論文  参考訳（メタデータ） (2021-11-24T16:48:57Z)
• How to train your ViT? Data, Augmentation, and Regularization in Vision Transformers [74.06040005144382]
  ビジョントランスフォーマー(ViT)は、幅広いビジョンアプリケーションにおいて高い競争力を発揮することが示されている。 我々は,トレーニングデータの量,AugReg,モデルサイズ,計算予算の相互作用をよりよく理解するために,体系的な実証的研究を行う。 私たちは、パブリックなImageNet-21kデータセットでさまざまなサイズのViTモデルをトレーニングします。
  論文  参考訳（メタデータ） (2021-06-18T17:58:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。