Fugu-MT 論文翻訳(概要): Variations of Squeeze and Excitation networks

論文の概要: Variations of Squeeze and Excitation networks

arxiv url: http://arxiv.org/abs/2304.06502v2
Date: Mon, 3 Jul 2023 15:20:03 GMT
ステータス: 処理完了
システム内更新日: 2023-07-04 13:52:19.427180
Title: Variations of Squeeze and Excitation networks
Title（参考訳）: SqueezeとExcitation Networkの変動
Authors: Mahendran NV
Abstract要約: 畳み込みニューラルネットワークは空間的特徴を学習し、カーネル内で強くリンクされている。本報告では,SEモジュールの変形により,圧縮・励起のプロセスが改善され,性能が向上することを示す。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Convolutional neural networks learns spatial features and are heavily interlinked within kernels. The SE module have broken the traditional route of neural networks passing the entire result to next layer. Instead SE only passes important features to be learned with its squeeze and excitation (SE) module. We propose variations of the SE module which improvises the process of squeeze and excitation and enhances the performance. The proposed squeezing or exciting the layer makes it possible for having a smooth transition of layer weights. These proposed variations also retain the characteristics of SE module. The experimented results are carried out on residual networks and the results are tabulated.
Abstract（参考訳）: 畳み込みニューラルネットワークは、空間的特徴を学習し、カーネル内で強くリンクされる。 SEモジュールは、結果全体を次のレイヤに渡す従来のニューラルネットワークの経路を壊した。代わりにseは、swish and excitation (se)モジュールで学ぶべき重要な機能のみをパスする。本稿では, スクイーズとエキサイティングのプロセスを即興で実現し, 性能を向上させるseモジュールのバリエーションを提案する。提案されたスキューズまたはエキサイティングな層は、層重みの滑らかな遷移を可能にする。これらのバリエーションはseモジュールの特性も保持する。実験結果は残余ネットワーク上で行われ、その結果は集計される。

関連論文リスト

Neural Metamorphosis [72.88137795439407]
本稿では,ニューラル・メタモルファス(NeuMeta)と呼ばれる,自己変形可能なニューラルネットワークの構築を目的とした新たな学習パラダイムを提案する。 NeuMetaはニューラルネットワークの連続重み多様体を直接学習する。 75%の圧縮速度でもフルサイズの性能を維持する。
論文参考訳（メタデータ） (2024-10-10T14:49:58Z)
A Trainable Feature Extractor Module for Deep Neural Networks and Scanpath Classification [0.9155684383461983]
このモジュールの目的は、ディープニューラルネットワークアーキテクチャに直接使用可能な機能ベクトルにスキャンパスを変換することである。我々の特徴抽出モジュールはディープニューラルネットワークと共同で訓練可能である。
論文参考訳（メタデータ） (2024-03-19T07:02:06Z)
SENetV2: Aggregated dense layer for channelwise and global representations [0.0]
我々は,Squeeze残余モジュール内に,多分岐密度層である新しい多層パーセプトロンを導入する。この融合により、チャネルワイドパターンを捕捉し、グローバルな知識を持つネットワークの能力が向上する。ベンチマークデータセットの広範な実験を行い、モデルを検証し、確立したアーキテクチャと比較する。
論文参考訳（メタデータ） (2023-11-17T14:10:57Z)
Permutation Equivariant Neural Functionals [92.0667671999604]
この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
論文参考訳（メタデータ） (2023-02-27T18:52:38Z)
Demystify Transformers & Convolutions in Modern Image Deep Networks [82.32018252867277]
本稿では,一般のコンボリューションとアテンション演算子の真の利益を,詳細な研究により同定することを目的とする。注意や畳み込みのようなこれらの特徴変換モジュールの主な違いは、それらの空間的特徴集約アプローチにある。各種課題の実験と帰納的バイアスの解析により,ネットワークレベルとブロックレベルの高度な設計により,性能が著しく向上した。
論文参考訳（メタデータ） (2022-11-10T18:59:43Z)
Neural Function Modules with Sparse Arguments: A Dynamic Approach to Integrating Information across Layers [84.57980167400513]
Neural Function Modules (NFM)は、ディープラーニングに同じ構造機能を導入することを目的としている。トップダウンとボトムアップのフィードバックを組み合わせたフィードフォワードネットワークのコンテキストにおける作業のほとんどは、分類の問題に限られている。私たちの仕事の重要な貢献は、フレキシブルなアルゴリズムで注意、疎結合、トップダウン、ボトムアップのフィードバックを組み合わせることです。
論文参考訳（メタデータ） (2020-10-15T20:43:17Z)
Activation Functions: Do They Represent A Trade-Off Between Modular Nature of Neural Networks And Task Performance [2.5919242494186037]
ニューラルネットワークアーキテクチャを設計する上で重要な要素は、畳み込み層毎のフィルタ数、全接続層毎の隠れニューロン数、ドロップアウトとプルーニングである。ほとんどの場合、デフォルトのアクティベーション関数はReLUであり、より高速なトレーニング収束を実証的に示している。
論文参考訳（メタデータ） (2020-09-16T16:38:16Z)
Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory [79.42778415729475]
本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
論文参考訳（メタデータ） (2020-06-29T08:35:49Z)
Online Sequential Extreme Learning Machines: Features Combined From Hundreds of Midlayers [0.0]
本稿では階層型オンラインシーケンシャル学習アルゴリズム(H-OS-ELM)を提案する。アルゴリズムは、一定のブロックサイズまたは異なるブロックサイズでチャンクごとにチャンクを学習することができる。
論文参考訳（メタデータ） (2020-06-12T00:50:04Z)
Embedding Propagation: Smoother Manifold for Few-Shot Classification [131.81692677836202]
本稿では, 組込み伝搬を非教師なし非パラメトリック正規化器として, 数ショット分類における多様体平滑化に用いることを提案する。埋め込み伝播がより滑らかな埋め込み多様体を生み出すことを実証的に示す。複数の半教師付き学習シナリオにおいて,埋め込み伝搬によりモデルの精度が最大16%向上することを示す。
論文参考訳（メタデータ） (2020-03-09T13:51:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。