論文の概要: Can Attention Enable MLPs To Catch Up With CNNs?
- arxiv url: http://arxiv.org/abs/2105.15078v1
- Date: Mon, 31 May 2021 16:08:46 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-01 17:38:40.218652
- Title: Can Attention Enable MLPs To Catch Up With CNNs?
- Title(参考訳): MLPがCNNにキャッチアップできるのか?
- Authors: Meng-Hao Guo, Zheng-Ning Liu, Tai-Jiang Mu, Dun Liang, Ralph R. Martin
and Shi-Min Hu
- Abstract要約: 多層パーセプトロン(MLP)、畳み込みニューラルネットワーク(CNN)、トランスフォーマーなど、学習アーキテクチャの簡単な歴史を提供する。
新たに提案された4つのアーキテクチャの共通点について検討し、今後の研究への刺激を期待する。
- 参考スコア(独自算出の注目度): 33.705798580913246
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the first week of May, 2021, researchers from four different institutions:
Google, Tsinghua University, Oxford University and Facebook, shared their
latest work [16, 7, 12, 17] on arXiv.org almost at the same time, each
proposing new learning architectures, consisting mainly of linear layers,
claiming them to be comparable, or even superior to convolutional-based models.
This sparked immediate discussion and debate in both academic and industrial
communities as to whether MLPs are sufficient, many thinking that learning
architectures are returning to MLPs. Is this true? In this perspective, we give
a brief history of learning architectures, including multilayer perceptrons
(MLPs), convolutional neural networks (CNNs) and transformers. We then examine
what the four newly proposed architectures have in common. Finally, we give our
views on challenges and directions for new learning architectures, hoping to
inspire future research.
- Abstract(参考訳): 2021年5月の第1週、Google、Tsinghua University、Oxford University、Facebookの研究者がarXiv.orgに関する最新の研究 [16, 7, 12, 17]をほぼ同時に公開し、それぞれが線形層を中心とした新しい学習アーキテクチャを提案している。
このことは、学界と産業界の両方で、MLPが十分であるかどうか、多くの学習アーキテクチャがMLPに回帰している、という議論や議論を引き起こした。
これは本当ですか?
この観点からは、多層パーセプトロン(mlps)、畳み込みニューラルネットワーク(cnns)、トランスフォーマーなど、学習アーキテクチャの簡単な歴史を示す。
次に,新たに提案された4つのアーキテクチャの共通点を検討する。
最後に、新しい学習アーキテクチャの課題と方向性について、将来の研究を刺激したいと考えています。
関連論文リスト
- Neural Circuit Architectural Priors for Quadruped Locomotion [18.992630001752136]
自然界では、動物は神経系のアーキテクチャーの形で先駆的に生まれる。
この研究は、ニューラルサーキットがロコモーションに価値あるアーキテクチャ上の先行を提供することを示している。
論文 参考訳(メタデータ) (2024-10-09T17:59:45Z) - Can A Cognitive Architecture Fundamentally Enhance LLMs? Or Vice Versa? [0.32634122554913997]
この論文は、人間の認知と心理学からの洞察を、コンピュータ認知アーキテクチャによって具現化されたように取り入れることで、より有能で、より信頼性があり、より人間に近いシステムを開発するのに役立つと論じている。
論文 参考訳(メタデータ) (2024-01-19T01:14:45Z) - ArchBERT: Bi-Modal Understanding of Neural Architectures and Natural
Languages [18.275671976625897]
ArchBERTは、ニューラルネットワークと自然言語の合同学習と理解のためのバイモーダルモデルである。
方法のトレーニングと検証のための2つの新しいバイモーダルデータセットを導入し、公開します。
論文 参考訳(メタデータ) (2023-10-26T18:58:52Z) - A Survey of Deep Learning: From Activations to Transformers [3.175481425273993]
ディープラーニングにおける最も重要で最近の研究の概要を包括的に紹介する。
この10年で成功したイノベーションの多くの主要な戦略をまとめたパターンを特定し、議論します。
また,OpenAI の GPT-4 や Google の PaLM 2.0 など,最近開発されたクローズドソースモデルについても議論する。
論文 参考訳(メタデータ) (2023-02-01T19:34:55Z) - NASiam: Efficient Representation Learning using Neural Architecture
Search for Siamese Networks [76.8112416450677]
シームズネットワークは、自己教師付き視覚表現学習(SSL)を実現するための最も傾向のある方法の1つである。
NASiamは、初めて微分可能なNASを使用して、多層パーセプトロンプロジェクタと予測器(エンコーダ/予測器ペア)を改善する新しいアプローチである。
NASiamは、小規模(CIFAR-10/CIFAR-100)と大規模(画像Net)画像分類データセットの両方で競合性能を達成し、わずか数GPU時間しかかからない。
論文 参考訳(メタデータ) (2023-01-31T19:48:37Z) - Are we ready for a new paradigm shift? A Survey on Visual Deep MLP [33.00328314841369]
初めて出現したニューラルネットワーク構造である多層パーセプトロン(MLP)は大きなヒットとなった。
ハードウェア・コンピューティングのパワーとデータセットのサイズに制約され、かつては何十年にもわたって沈んだ。
我々は、手動の特徴抽出から、局所受容野を持つCNNへのパラダイムシフト、さらにグローバル受容野を持つTransformへのパラダイムシフトを目撃した。
論文 参考訳(メタデータ) (2021-11-07T12:02:00Z) - A Battle of Network Structures: An Empirical Study of CNN, Transformer,
and MLP [121.35904748477421]
畳み込みニューラルネットワーク(CNN)は、コンピュータビジョンのための支配的なディープニューラルネットワーク(DNN)アーキテクチャである。
トランスフォーマーとマルチ層パーセプトロン(MLP)ベースのモデル(Vision TransformerやVision-Mixer)が新しいトレンドを導い始めた。
本稿では,これらのDNN構造について実証的研究を行い,それぞれの長所と短所を理解しようとする。
論文 参考訳(メタデータ) (2021-08-30T06:09:02Z) - Improving Deep Learning for HAR with shallow LSTMs [70.94062293989832]
本稿では,DeepConvLSTMを2層LSTMではなく1層LSTMに変更することを提案する。
この結果は、シーケンシャルデータを扱う場合、少なくとも2層LSTMが必要であるという信念とは対照的である。
論文 参考訳(メタデータ) (2021-08-02T08:14:59Z) - AS-MLP: An Axial Shifted MLP Architecture for Vision [50.11765148947432]
本稿では,Axial Shifted Architecture (AS-MLP)を提案する。
特徴写像のチャネルを軸シフトすることにより、AS-MLPは異なる方向から情報の流れを得ることができる。
提案したAS-MLPアーキテクチャでは,ImageNet-1Kデータセット上の88Mパラメータと15.2GFLOPを用いて,83.3%のTop-1精度が得られる。
論文 参考訳(メタデータ) (2021-07-18T08:56:34Z) - Hybrid Models for Learning to Branch [81.93868699246214]
我々はCPUマシン上で効率的な分岐を行うための新しいハイブリッドアーキテクチャを提案する。
提案アーキテクチャは,GNNの表現力と分岐処理のための計算コストの低い多層パーセプトロン(MLP)を組み合わせる。
論文 参考訳(メタデータ) (2020-06-26T21:03:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。