論文の概要: Generalizing MLPs With Dropouts, Batch Normalization, and Skip Connections

• arxiv url: http://arxiv.org/abs/2108.08186v1
• Date: Wed, 18 Aug 2021 14:59:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-19 17:37:57.908802
• Title: Generalizing MLPs With Dropouts, Batch Normalization, and Skip Connections
• Title（参考訳）: ドロップアウト, バッチ正規化, スキップ接続によるMLPの一般化
• Authors: Taewoon Kim
• Abstract要約: 多層パーセプトロン(MLP)は、通常、非線形活性化関数を持つ複数の完全に接続された層から構成される。 経験的に、すべてのリニアレイヤを白化し、スキップ接続を追加することで、提案したアーキテクチャがより良いパフォーマンスをもたらすことを示しています。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A multilayer perceptron (MLP) is typically made of multiple fully connected layers with nonlinear activation functions. There have been several approaches to make them better (e.g. faster convergence, better convergence limit, etc.). But the researches lack in more structured ways to test them. We test different MLP architectures by carrying out the experiments on the age and gender datasets. We empirically show that by whitening inputs before every linear layer and adding skip connections, our proposed MLP architecture can result in better performance. Since the whitening process includes dropouts, it can also be used to approximate Bayesian inference. We have open sourced our code released models and docker images at https://github.com/tae898/age-gender/.
• Abstract（参考訳）: 多層パーセプトロン(MLP)は通常、非線形活性化関数を持つ複数の完全連結層で構成されている。 改善するためのいくつかのアプローチ(例)があります。 より高速な収束、より優れた収束限界など)。 しかし、これらの研究にはより構造化された方法が欠けている。 我々は、年齢と性別のデータセットに関する実験を行うことで、異なるMLPアーキテクチャをテストする。 実験により,各線形層の前に入力を白くし,スキップ接続を追加することで,提案したMLPアーキテクチャの性能が向上することを示した。 ホワイトニングプロセスにはドロップアウトが含まれるため、ベイズ推定の近似にも使うことができる。 コードリリースのモデルとdockerイメージは、https://github.com/tae898/age-gender/でオープンソース化しました。

関連論文リスト

• Lateralization MLP: A Simple Brain-inspired Architecture for Diffusion [20.437172251393257]
  並列化(L-MLP)と呼ばれる,単純だが効果的なアーキテクチャを提案する。 人間の脳の側方化に触発されて、我々は、L-MLPと呼ばれる新しい単純で効果的なアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-05-25T07:10:02Z)
• MLP Can Be A Good Transformer Learner [73.01739251050076]
  自己保持機構はトランスフォーマーの鍵であるが、その計算要求に対してしばしば批判される。 本稿では,非重要注意層を選択的に除去することで,視覚変換器の簡易化と計算負荷削減を実現する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-04-08T16:40:15Z)
• Is Vanilla MLP in Neural Radiance Field Enough for Few-shot View Synthesis? [19.34823662319042]
  NeRFは、シーンをMLP(Multi-Layer Perception)とボリュームレンダリング手順でモデル化することで、新しいビュー合成において優れた性能を実現している。 既知のビューが少ないと、モデルは与えられたビューを過度に適合させる傾向がある。
  論文  参考訳（メタデータ） (2024-03-10T04:27:06Z)
• MLPInit: Embarrassingly Simple GNN Training Acceleration with MLP Initialization [51.76758674012744]
  大きなグラフ上でグラフニューラルネットワーク(GNN)をトレーニングするのは複雑で、非常に時間がかかる。 我々は、PeerInitと呼ばれるGNNトレーニングアクセラレーションに対して、恥ずかしく単純だが非常に効果的な方法を提案する。
  論文  参考訳（メタデータ） (2022-09-30T21:33:51Z)
• MLP-3D: A MLP-like 3D Architecture with Grouped Time Mixing [123.43419144051703]
  ビデオ認識のための斬新な3Dアーキテクチャを提案する。 結果は、最先端の3D CNNやビデオに匹敵する。
  論文  参考訳（メタデータ） (2022-06-13T16:21:33Z)
• ReLU Fields: The Little Non-linearity That Could [62.228229880658404]
  我々は,高忠実度結果の保持を可能にするグリッドベース表現に対する最小の変更点について検討する。 このようなアプローチが最先端技術と競合することを示します。
  論文  参考訳（メタデータ） (2022-05-22T13:42:31Z)
• RepMLPNet: Hierarchical Vision MLP with Re-parameterized Locality [113.1414517605892]
  そこで本研究では,FC層に局所前処理を組み込む手法であるLocality Injectionを提案する。 RepMLPNetはCityscapesセマンティックセグメンテーションにシームレスに移行した最初の企業である。
  論文  参考訳（メタデータ） (2021-12-21T10:28:17Z)
• ConvMLP: Hierarchical Convolutional MLPs for Vision [7.874749885641495]
  本稿では,視覚認識のための軽量でステージワイドな協調設計である階層型 ConMLP を提案する。 本研究では,ConvMLPをシームレスに転送し,少ないパラメータで競合する結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-09-09T17:52:57Z)
• RaftMLP: Do MLP-based Models Dream of Winning Over Computer Vision? [0.0]
  CNNはコンピュータビジョンの世界では過去10年間、最高位に君臨してきたが、最近はTransformerの人気が高まっている。 特に、我々の研究は、モデルが誘導バイアスを採用することでCNNを置き換える可能性を示唆している。 提案モデルであるRaftMLPは,計算複雑性,パラメータ数,実際のメモリ使用量のバランスが良好である。
  論文  参考訳（メタデータ） (2021-08-09T23:55:24Z)
• MLP-Mixer: An all-MLP Architecture for Vision [93.16118698071993]
  マルチ層パーセプトロン(MLP)を基盤としたアーキテクチャ「Mixer」を発表。 Mixerはイメージ分類ベンチマークで競合スコアを獲得し、事前トレーニングと推論は最先端のモデルに匹敵する。
  論文  参考訳（メタデータ） (2021-05-04T16:17:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。