論文の概要: ProgressiveSpinalNet architecture for FC layers

• arxiv url: http://arxiv.org/abs/2103.11373v1
• Date: Sun, 21 Mar 2021 11:54:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-25 07:01:36.547695
• Title: ProgressiveSpinalNet architecture for FC layers
• Title（参考訳）: FC層のためのProgressiveSpinalNetアーキテクチャ
• Authors: Praveen Chopra
• Abstract要約: ディープラーニングモデルでは、FC層は、以前の層から学んだ特徴に基づいて入力の分類に最も重要な役割を有する。 本稿では,これらのパラメータを大幅に削減し,性能を向上することを目的とする。 動機はSpinalNetや他の生物学的アーキテクチャからインスピレーションを得ています。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In deeplearning models the FC (fully connected) layer has biggest important role for classification of the input based on the learned features from previous layers. The FC layers has highest numbers of parameters and fine-tuning these large numbers of parameters, consumes most of the computational resources, so in this paper it is aimed to reduce these large numbers of parameters significantly with improved performance. The motivation is inspired from SpinalNet and other biological architecture. The proposed architecture has a gradient highway between input to output layers and this solves the problem of diminishing gradient in deep networks. In this all the layers receives the input from previous layers as well as the CNN layer output and this way all layers contribute in decision making with last layer. This approach has improved classification performance over the SpinalNet architecture and has SOTA performance on many datasets such as Caltech101, KMNIST, QMNIST and EMNIST. The source code is available at https://github.com/praveenchopra/ProgressiveSpinalNet.
• Abstract（参考訳）: ディープラーニングモデルでは、FC層は、前の層から学習した特徴に基づいて入力を分類する上で最も重要な役割を持つ。 FC層は高い数のパラメータを持ち、これらの大量のパラメータを微調整し、計算資源の大部分を消費する。 この動機はSpinalNetや他の生物学的アーキテクチャにインスパイアされている。 提案したアーキテクチャは入力層から出力層までの勾配のハイウェイを有しており,ディープネットワークにおける勾配の減少を解消する。 この方法では、すべてのレイヤが以前のレイヤから入力を受け取り、cnnレイヤから出力され、すべてのレイヤが最後のレイヤで意思決定に寄与する。 このアプローチはSpinalNetアーキテクチャ上での分類性能を改善し、Caltech101、KMNIST、QMNIST、EMNISTなどの多くのデータセット上でSOTA性能を持つ。 ソースコードはhttps://github.com/praveenchopra/ProgressiveSpinalNetで入手できる。

関連論文リスト

• Dynamic Perceiver for Efficient Visual Recognition [87.08210214417309]
  特徴抽出手順と早期分類タスクを分離する動的知覚器(Dyn-Perceiver)を提案する。 特徴ブランチは画像の特徴を抽出し、分類ブランチは分類タスクに割り当てられた遅延コードを処理する。 早期出口は分類枝に限られており、低レベルの特徴において線形分離性は不要である。
  論文  参考訳（メタデータ） (2023-06-20T03:00:22Z)
• WLD-Reg: A Data-dependent Within-layer Diversity Regularizer [98.78384185493624]
  ニューラルネットワークは、勾配に基づく最適化と共同で訓練された階層構造に配置された複数の層で構成されている。 我々は、この従来の「中間層」フィードバックを補うために、同じ層内での活性化の多様性を促進するために、追加の「中間層」フィードバックを補うことを提案する。 本稿では,提案手法が複数のタスクにおける最先端ニューラルネットワークモデルの性能を向上させることを実証した広範な実証研究を提案する。
  論文  参考訳（メタデータ） (2023-01-03T20:57:22Z)
• Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
  本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。 我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。 SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-10-23T18:37:22Z)
• Towards Disentangling Information Paths with Coded ResNeXt [11.884259630414515]
  ネットワーク全体の機能の透明性を高めるために,我々は新しいアプローチを採っている。 分類のためのニューラルネットワークアーキテクチャを提案し、各クラスに関連する情報が特定の経路を流れる。
  論文  参考訳（メタデータ） (2022-02-10T21:45:49Z)
• Effectiveness of Deep Networks in NLP using BiDAF as an example architecture [0.0]
  BiDAFのモデルエンコーダ層に着目したディープネットワークの有効性について検討する。 NLPの次の最大のモデルは、実際には、複合アーキテクチャを備えたBERTのようなソリッド言語モデリングで折り畳まれると思います。
  論文  参考訳（メタデータ） (2021-08-31T20:50:18Z)
• Wise-SrNet: A Novel Architecture for Enhancing Image Classification by Learning Spatial Resolution of Feature Maps [0.5892638927736115]
  畳み込みニューラルネットワークの進歩による大きな課題の1つは、抽出した特徴マップを最終分類層に接続する方法である。 本稿では,GAP層をWise-SrNetと呼ばれる新しいアーキテクチャに置き換えることで,この問題に対処する。 奥行きの畳み込みのアイデアにインスパイアされ、計算コストを増大させることなく空間分解能を処理するように設計されている。
  論文  参考訳（メタデータ） (2021-04-26T00:37:11Z)
• GradInit: Learning to Initialize Neural Networks for Stable and Efficient Training [59.160154997555956]
  ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。 各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。 また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
  論文  参考訳（メタデータ） (2021-02-16T11:45:35Z)
• Train your classifier first: Cascade Neural Networks Training from upper layers to lower layers [54.47911829539919]
  我々は,高品質な分類器を探索するアルゴリズムとして見ることのできる,新しいトップダウン学習手法を開発した。 本研究では,自動音声認識(ASR)タスクと言語モデリングタスクについて検討した。 提案手法は,Wall Street Journal 上でのリカレントニューラルネットワーク ASR モデル,Switchboard 上での自己注意型 ASR モデル,WikiText-2 上での AWD-LSTM 言語モデルなど,一貫して改善されている。
  論文  参考訳（メタデータ） (2021-02-09T08:19:49Z)
• Do We Need Fully Connected Output Layers in Convolutional Networks? [40.84294968326573]
  完全に接続された最終出力層を持つことの典型的なアプローチは、パラメータカウントの点で非効率であることを示す。 私たちは、ImageNet-1K、CIFAR-100、Stanford Cars-196、Oxford Flowers-102データセット上で、伝統的に学習された完全に接続された分類出力層に匹敵するパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2020-04-28T15:21:44Z)
• Convolutional Networks with Dense Connectivity [59.30634544498946]
  Dense Convolutional Network (DenseNet)を導入し、フィードフォワード方式で各レイヤを他のすべてのレイヤに接続する。 各レイヤについて、先行するすべてのレイヤのフィーチャーマップをインプットとして使用し、それ自身のフィーチャーマップをその後のすべてのレイヤへのインプットとして使用します。 提案したアーキテクチャを、4つの高度に競争力のあるオブジェクト認識ベンチマークタスクで評価する。
  論文  参考訳（メタデータ） (2020-01-08T06:54:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。