論文の概要: Convolutional Gated MLP: Combining Convolutions & gMLP
- arxiv url: http://arxiv.org/abs/2111.03940v1
- Date: Sat, 6 Nov 2021 19:11:24 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-10 09:32:12.558340
- Title: Convolutional Gated MLP: Combining Convolutions & gMLP
- Title（参考訳）: 畳み込みGated MLP:畳み込みとgMLPの組み合わせ
- Authors: A.Rajagopal, V. Nirmala
- Abstract要約: 本稿では,Gated MultiLayer Perceptronにコンボリューションを導入する。
Google Brainは2021年5月にgMLPを導入した。
gMLPとCvTの両方に着想を得て,gMLPに畳み込み層を導入する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: To the best of our knowledge, this is the first paper to introduce
Convolutions to Gated MultiLayer Perceptron and contributes an implementation
of this novel Deep Learning architecture. Google Brain introduced the gMLP in
May 2021. Microsoft introduced Convolutions in Vision Transformer in Mar 2021.
Inspired by both gMLP and CvT, we introduce convolutional layers in gMLP. CvT
combined the power of Convolutions and Attention. Our implementation combines
the best of Convolutional learning along with spatial gated MLP. Further, the
paper visualizes how CgMLP learns. Visualizations show how CgMLP learns from
features such as outline of a car. While Attention was the basis of much of
recent progress in Deep Learning, gMLP proposed an approach that doesn't use
Attention computation. In Transformer based approaches, a whole lot of
Attention matrixes need to be learnt using vast amount of training data. In
gMLP, the fine tunning for new tasks can be challenging by transfer learning
with smaller datasets. We implement CgMLP and compares it with gMLP on CIFAR
dataset. Experimental results explore the power of generaliza-tion of CgMLP,
while gMLP tend to drastically overfit the training data.
To summarize, the paper contributes a novel Deep Learning architecture and
demonstrates the learning mechanism of CgMLP through visualizations, for the
first time in literature.
- Abstract（参考訳）: 私たちの知る限りでは、Gated MultiLayer PerceptronにConvolutionsを導入し、この新しいDeep Learningアーキテクチャの実装に貢献する最初の論文です。
Google Brainは2021年5月にgMLPを導入した。
Microsoftは2021年にビジョントランスフォーマーの畳み込みを導入した。
gMLPとCvTの両方に着想を得て,gMLPに畳み込み層を導入する。
CvTはコンボリューションとアテンションの力を組み合わせた。
我々の実装は、畳み込み学習と空間ゲート型MLPを組み合わせたものである。
さらに、この論文はCgMLPがどのように学習するかを視覚化する。
可視化は、CgMLPが車のアウトラインのような機能からどのように学習するかを示している。
注目はディープラーニングの最近の進歩の基盤であったが、gmlpは注意の計算を使わないアプローチを提案した。
Transformerベースのアプローチでは、大量のトレーニングデータを使用して、多くの注意マトリックスを学習する必要があります。
gMLPでは、より小さなデータセットで学習を転送することで、新しいタスクの微調整が難しい場合がある。
CgMLPを実装し,それをCIFARデータセット上のgMLPと比較する。
実験結果はCgMLPのジェニザオンのパワーを探索する一方、gMLPはトレーニングデータに大幅に適合する傾向にある。
要約すると,本論文は新たなディープラーニングアーキテクチャを提供し,可視化によるCgMLPの学習機構を文献で初めて示すものである。
関連論文リスト
- SimMLP: Training MLPs on Graphs without Supervision [38.63554842214315]
グラフ学習のための自己教師型フレームワークであるSimMLPを紹介する。
SimMLPは、最適の場合において、GNNと等価性を達成できる最初の学習方法である。
我々は、相互情報と帰納バイアスに基づいて、SimMLPとGNNの等価性を示す包括的な理論的分析を行う。
論文 参考訳（メタデータ） (2024-02-14T03:16:13Z) - SA-MLP: Distilling Graph Knowledge from GNNs into Structure-Aware MLP [46.52398427166938]
予測加速の1つの有望な方向は、GNNをメッセージパスなしの学生多層パーセプトロンに蒸留することである。
本稿では,構造化情報のための学習能力を高めるための構造混合知識戦略を提案する。
我々のSA-MLPは、より高速な推論支援を維持しながら、教師のGNNを一貫して上回ります。
論文 参考訳（メタデータ） (2022-10-18T05:55:36Z) - GraphMLP: A Graph MLP-Like Architecture for 3D Human Pose Estimation [68.65764751482774]
GraphMLPは3次元ポーズ推定のためのグローバル-ローカル-グラフィック統合アーキテクチャである。
人体のグラフ構造をモデルに組み込んで、3D人間のポーズのドメイン固有の要求を満たす。
複雑な時間力学を単純な方法でモデル化するために拡張することができ、列長の計算コストは無視できる。
論文 参考訳（メタデータ） (2022-06-13T18:59:31Z) - MDMLP: Image Classification from Scratch on Small Datasets with MLP [7.672827879118106]
近年,アテンション機構は自然言語処理やコンピュータビジョンタスクのゴーツーテクニックとなっている。
近年,マルチ層パーセプトロン(MLP)をベースとしたMixerなどのアーキテクチャも,CNNやアテンション技術と比較して強力である。
論文 参考訳（メタデータ） (2022-05-28T16:26:59Z) - Efficient Language Modeling with Sparse all-MLP [53.81435968051093]
すべてのMLPは、言語モデリングにおいてTransformerと一致するが、下流タスクではまだ遅れている。
特徴量と入力量の両方でMoE(Mix-of-Experts)を混合したスパースオールMLPを提案する。
6つの下流タスクにおいて、ゼロショットのインコンテキスト学習性能を評価し、トランスフォーマーベースのMoEや高密度トランスフォーマーを上回る結果を得た。
論文 参考訳（メタデータ） (2022-03-14T04:32:19Z) - Are we ready for a new paradigm shift? A Survey on Visual Deep MLP [33.00328314841369]
初めて出現したニューラルネットワーク構造である多層パーセプトロン(MLP)は大きなヒットとなった。
ハードウェア・コンピューティングのパワーとデータセットのサイズに制約され、かつては何十年にもわたって沈んだ。
我々は、手動の特徴抽出から、局所受容野を持つCNNへのパラダイムシフト、さらにグローバル受容野を持つTransformへのパラダイムシフトを目撃した。
論文 参考訳（メタデータ） (2021-11-07T12:02:00Z) - ConvMLP: Hierarchical Convolutional MLPs for Vision [7.874749885641495]
本稿では,視覚認識のための軽量でステージワイドな協調設計である階層型 ConMLP を提案する。
本研究では,ConvMLPをシームレスに転送し,少ないパラメータで競合する結果が得られることを示す。
論文 参考訳（メタデータ） (2021-09-09T17:52:57Z) - Hire-MLP: Vision MLP via Hierarchical Rearrangement [58.33383667626998]
Hire-MLPは、再配置によるシンプルだが競合する視覚アーキテクチャである。
提案したHire-MLPアーキテクチャは、単純なチャネル混合操作で構築されており、高い柔軟性と推論速度を享受できる。
実験の結果,Herre-MLPはImageNet-1Kベンチマークで最先端のパフォーマンスを達成した。
論文 参考訳（メタデータ） (2021-08-30T16:11:04Z) - AS-MLP: An Axial Shifted MLP Architecture for Vision [50.11765148947432]
本稿では,Axial Shifted Architecture (AS-MLP)を提案する。
特徴写像のチャネルを軸シフトすることにより、AS-MLPは異なる方向から情報の流れを得ることができる。
提案したAS-MLPアーキテクチャでは,ImageNet-1Kデータセット上の88Mパラメータと15.2GFLOPを用いて,83.3%のTop-1精度が得られる。
論文 参考訳（メタデータ） (2021-07-18T08:56:34Z) - MLP-Mixer: An all-MLP Architecture for Vision [93.16118698071993]
マルチ層パーセプトロン(MLP)を基盤としたアーキテクチャ「Mixer」を発表。
Mixerはイメージ分類ベンチマークで競合スコアを獲得し、事前トレーニングと推論は最先端のモデルに匹敵する。
論文 参考訳（メタデータ） (2021-05-04T16:17:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。