論文の概要: Mobile V-MoEs: Scaling Down Vision Transformers via Sparse Mixture-of-Experts

• arxiv url: http://arxiv.org/abs/2309.04354v1
• Date: Fri, 8 Sep 2023 14:24:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-11 13:11:22.625562
• Title: Mobile V-MoEs: Scaling Down Vision Transformers via Sparse Mixture-of-Experts
• Title（参考訳）: モバイルV-MoE:スパースミキサーによる視覚変換器のスケールダウン
• Authors: Erik Daxberger, Floris Weers, Bowen Zhang, Tom Gunter, Ruoming Pang, Marcin Eichner, Michael Emmersberger, Yinfei Yang, Alexander Toshev, Xianzhi Du
• Abstract要約: 我々は、資源制約された視覚アプリケーションにとってより魅力的な視覚変換器(ViT)をスケールダウンするために、スパースMOE(sparse MoEs)の使用について検討する。 我々は,個々のパッチではなく画像全体を専門家にルーティングする,シンプルでモバイルフレンドリーなMoE設計を提案する。 V-MoEs(V-MoEs)は高密度VTよりも性能と効率のトレードオフが優れていることを実証的に示す。
• 参考スコア（独自算出の注目度）: 55.282613372420805
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparse Mixture-of-Experts models (MoEs) have recently gained popularity due to their ability to decouple model size from inference efficiency by only activating a small subset of the model parameters for any given input token. As such, sparse MoEs have enabled unprecedented scalability, resulting in tremendous successes across domains such as natural language processing and computer vision. In this work, we instead explore the use of sparse MoEs to scale-down Vision Transformers (ViTs) to make them more attractive for resource-constrained vision applications. To this end, we propose a simplified and mobile-friendly MoE design where entire images rather than individual patches are routed to the experts. We also propose a stable MoE training procedure that uses super-class information to guide the router. We empirically show that our sparse Mobile Vision MoEs (V-MoEs) can achieve a better trade-off between performance and efficiency than the corresponding dense ViTs. For example, for the ViT-Tiny model, our Mobile V-MoE outperforms its dense counterpart by 3.39% on ImageNet-1k. For an even smaller ViT variant with only 54M FLOPs inference cost, our MoE achieves an improvement of 4.66%.
• Abstract（参考訳）: Sparse Mixture-of-Experts Model (MoEs) は、任意の入力トークンに対してモデルパラメータの小さなサブセットを活性化するだけで、モデルサイズを推論効率から切り離すことで、最近人気を集めている。 そのため、スパースMoEは前例のないスケーラビリティを実現し、自然言語処理やコンピュータビジョンといった領域で大きな成功を収めた。 本研究では,資源制約された視覚アプリケーションに対して,視覚変換器(ViT)のスケールダウンにスパース MoEs を用いる方法を検討する。 そこで本稿では,個々のパッチではなく画像全体を専門家にルーティングする,シンプルでモバイルフレンドリーなMoE設計を提案する。 また,ルータの誘導にスーパークラス情報を用いる安定したMoE訓練手法を提案する。 V-MoEs(V-MoEs)は高密度VTよりも性能と効率のトレードオフが優れていることを実証的に示す。 例えば、VT-Tinyモデルでは、当社のMobile V-MoEはImageNet-1kで3.39%の高パフォーマンスを実現しています。 さらに54M FLOPsの推論コストが小さいViTでは、MoEは4.66%の改善を実現しています。

関連論文リスト

• MobileVLM : A Fast, Strong and Open Vision Language Assistant for Mobile Devices [73.46317110474064]
  MobileVLM (MobileVLM) は、モバイルデバイス上で動作する多モード視覚言語モデル(MMVLM)である。 これは、CLIP方式で事前訓練されたマルチモーダル視覚モデルである、スクラッチからトレーニングされた1.4Bと2.7Bのスケールの言語モデルで構成されている。
  論文  参考訳（メタデータ） (2023-12-28T08:21:24Z)
• DeViT: Decomposing Vision Transformers for Collaborative Inference in Edge Devices [42.89175608336226]
  ビジョントランス (ViT) は、複数のコンピュータビジョンベンチマークで最先端のパフォーマンスを達成した。 ViTモデルは膨大なパラメータと高い計算コストに悩まされ、リソース制約されたエッジデバイスへのデプロイが困難になる。 本稿では,大規模なViTを分解してエッジ展開を容易にするために,DeViTと呼ばれる協調推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-10T12:26:17Z)
• DilateFormer: Multi-Scale Dilated Transformer for Visual Recognition [62.95223898214866]
  我々は,視覚変換器の有効性を探究し,参加する受容領域の計算複雑性とサイズとのトレードオフを追求する。 ピラミッドアーキテクチャを用いて,MSDAブロックを低レベルに積み重ねたマルチスケールDilated Transformer (DilateFormer) と,高レベルにグローバルなマルチヘッド自己保持ブロックを構築する。 実験の結果,DilateFormerは様々な視覚タスクで最先端のパフォーマンスを実現していることがわかった。
  論文  参考訳（メタデータ） (2023-02-03T14:59:31Z)
• Rethinking Vision Transformers for MobileNet Size and Speed [58.01406896628446]
  本稿では,低レイテンシでパラメータ効率の高い新しいスーパーネットを提案する。 また,変圧器モデルに対して,よりきめ細かな共同探索戦略を導入する。 この研究は、MobileNetレベルのサイズと速度であっても、適切に設計され、最適化されたビジョントランスフォーマーがハイパフォーマンスを実現することを実証している。
  論文  参考訳（メタデータ） (2022-12-15T18:59:12Z)
• MOAT: Alternating Mobile Convolution and Attention Brings Strong Vision Models [40.40784209977589]
  本稿では、モビレ畳み込み(すなわち逆残差ブロック)とアテンションの上に構築されるニューラルネットワークのファミリーであるMOATについて述べる。 我々は、標準のTransformerブロックを移動式畳み込みブロックに置き換え、自己注意操作の前にさらに並べ替える。 概念的には単純なMOATネットワークは驚くほど有効であり、ImageNet-22KプリトレーニングでImageNet-1Kで89.1%の精度を実現している。
  論文  参考訳（メタデータ） (2022-10-04T18:00:06Z)
• Separable Self-attention for Mobile Vision Transformers [34.32399598443582]
  本稿では,線形複雑度を持つ分離型自己注意法,すなわち$O(k)$を提案する。 改良されたモデルであるMobileViTv2は、ImageNetオブジェクト分類やMS-COCOオブジェクト検出など、いくつかのモバイルビジョンタスクの最先端技術である。
  論文  参考訳（メタデータ） (2022-06-06T15:31:35Z)
• MoCoViT: Mobile Convolutional Vision Transformer [13.233314183471213]
  モバイル・コンボリューショナル・ビジョン・トランスフォーマー(MoCoViT)を提案する。 MoCoViTは、モバイルデバイス向けに慎重に設計されており、非常に軽量で、2つの主要な修正によって実現されている。 総合的な実験により、提案したMoCoViTファミリーは、様々な視覚タスクにおいて、最先端のポータブルCNNやトランスフォーマーより優れていることが検証された。
  論文  参考訳（メタデータ） (2022-05-25T10:21:57Z)
• MiniViT: Compressing Vision Transformers with Weight Multiplexing [88.54212027516755]
  ビジョントランスフォーマー(ViT)モデルは近年、高いモデル能力のためにコンピュータビジョンに多くの注目を集めている。 MiniViTは新しい圧縮フレームワークで、同じ性能を維持しながらビジョントランスフォーマーのパラメータ削減を実現する。
  論文  参考訳（メタデータ） (2022-04-14T17:59:05Z)
• Patches Are All You Need? [96.88889685873106]
  ビジョントランスフォーマー(ViT)モデルは、いくつかの設定でパフォーマンスを上回る可能性がある。 ViTは、イメージの小さな領域を単一の入力機能にまとめるパッチ埋め込みを使用する必要がある。 本質的によりパワフルなTransformerアーキテクチャによるViTのパフォーマンスは、少なくとも部分的には、入力表現としてパッチを使用することによるものなのでしょうか?
  論文  参考訳（メタデータ） (2022-01-24T16:42:56Z)
• Scaling Vision with Sparse Mixture of Experts [15.434534747230716]
  我々は、最大密度のネットワークとスケーラブルで競合するVision TransformerのスパースバージョンであるVision MoE(V-MoE)を提示する。 画像認識に適用すると、V-MoEは最先端のネットワークの性能と一致し、推論時に計算の半分しか必要としない。
  論文  参考訳（メタデータ） (2021-06-10T17:10:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。