論文の概要: Do We Need Fully Connected Output Layers in Convolutional Networks?

• arxiv url: http://arxiv.org/abs/2004.13587v2
• Date: Wed, 29 Apr 2020 03:20:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 21:58:34.127204
• Title: Do We Need Fully Connected Output Layers in Convolutional Networks?
• Title（参考訳）: 畳み込みネットワークに完全接続された出力層が必要か?
• Authors: Zhongchao Qian, Tyler L. Hayes, Kushal Kafle, Christopher Kanan
• Abstract要約: 完全に接続された最終出力層を持つことの典型的なアプローチは、パラメータカウントの点で非効率であることを示す。 私たちは、ImageNet-1K、CIFAR-100、Stanford Cars-196、Oxford Flowers-102データセット上で、伝統的に学習された完全に接続された分類出力層に匹敵するパフォーマンスを実現しています。
• 参考スコア（独自算出の注目度）: 40.84294968326573
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Traditionally, deep convolutional neural networks consist of a series of convolutional and pooling layers followed by one or more fully connected (FC) layers to perform the final classification. While this design has been successful, for datasets with a large number of categories, the fully connected layers often account for a large percentage of the network's parameters. For applications with memory constraints, such as mobile devices and embedded platforms, this is not ideal. Recently, a family of architectures that involve replacing the learned fully connected output layer with a fixed layer has been proposed as a way to achieve better efficiency. In this paper we examine this idea further and demonstrate that fixed classifiers offer no additional benefit compared to simply removing the output layer along with its parameters. We further demonstrate that the typical approach of having a fully connected final output layer is inefficient in terms of parameter count. We are able to achieve comparable performance to a traditionally learned fully connected classification output layer on the ImageNet-1K, CIFAR-100, Stanford Cars-196, and Oxford Flowers-102 datasets, while not having a fully connected output layer at all.
• Abstract（参考訳）: 従来、深い畳み込みニューラルネットワークは一連の畳み込み層とプール層からなり、さらに1つ以上の完全連結層(fc層)が最終的な分類を行う。 この設計は成功したが、多くのカテゴリのデータセットでは、完全に接続された層がネットワークのパラメータの大部分を占めることが多い。 モバイルデバイスや組み込みプラットフォームのようなメモリ制約のあるアプリケーションにとって、これは理想的ではありません。 近年,学習された完全接続された出力層を固定層に置き換えるアーキテクチャのファミリが提案されている。 本稿では,この概念をさらに検討し,固定分類器がパラメータとともに出力層を単に取り除くことに比べ,追加の利点をもたらさないことを示す。 さらに,完全連結な最終出力層を持つ典型的なアプローチはパラメータ数では非効率であることを示す。 私たちは、ImageNet-1K、CIFAR-100、Stanford Cars-196、Oxford Flowers-102データセット上で、従来から学習されていた完全に接続された分類出力層に匹敵するパフォーマンスを実現しています。

関連論文リスト

• Make Deep Networks Shallow Again [6.647569337929869]
  余剰接続の概念によってブレークスルーが達成されている。 残差接続層のスタックはテイラー展開に類似した項の拡張として表すことができる。 言い換えれば、シーケンシャルなディープアーキテクチャは、平行な浅層アーキテクチャに置き換えられる。
  論文  参考訳（メタデータ） (2023-09-15T14:18:21Z)
• Structure-Aware DropEdge Towards Deep Graph Convolutional Networks [83.38709956935095]
  グラフ畳み込みネットワーク(GCN)は、複数のレイヤが積み重なると、パフォーマンスが著しく低下する。 オーバースムーシングは、入力からのネットワーク出力を、ネットワーク深さの増加、表現率の低下、およびトレーニング容易性によって分離する。 我々はDropEdgeの洗練された対策について検討する。
  論文  参考訳（メタデータ） (2023-06-21T08:11:40Z)
• Dynamic Perceiver for Efficient Visual Recognition [87.08210214417309]
  特徴抽出手順と早期分類タスクを分離する動的知覚器(Dyn-Perceiver)を提案する。 特徴ブランチは画像の特徴を抽出し、分類ブランチは分類タスクに割り当てられた遅延コードを処理する。 早期出口は分類枝に限られており、低レベルの特徴において線形分離性は不要である。
  論文  参考訳（メタデータ） (2023-06-20T03:00:22Z)
• Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
  本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。 我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。 SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-10-23T18:37:22Z)
• Augmenting Convolutional networks with attention-based aggregation [55.97184767391253]
  我々は,非局所的推論を実現するために,注目に基づくグローバルマップを用いた畳み込みネットワークの強化方法を示す。 この学習集約層を2つのパラメータ(幅と深さ)でパラメータ化した単純パッチベースの畳み込みネットワークで接続する。 これは、特にメモリ消費の点で、精度と複雑さの間の驚くほど競争力のあるトレードオフをもたらす。
  論文  参考訳（メタデータ） (2021-12-27T14:05:41Z)
• Basis Scaling and Double Pruning for Efficient Inference in Network-Based Transfer Learning [1.3467579878240454]
  畳み込み層をフィルタとして正規基底ベクトルを持つ畳み込み層と、特徴を再スケーリングする"BasisScalingConv"層に分解する。 CIFAR-10では74.6%、MNISTでは98.9%のプルーニング比が得られる。
  論文  参考訳（メタデータ） (2021-08-06T00:04:02Z)
• Connecting Sphere Manifolds Hierarchically for Regularization [16.082095595061617]
  階層的なクラスによる分類問題を考察する。 我々の手法は、球面完全連結層と階層層を組み合わせることによって、ニューラルネットワークの最後の層を置き換える。 この正規化は、広く使われているディープニューラルネットワークアーキテクチャのパフォーマンスを向上させることが示されている。
  論文  参考訳（メタデータ） (2021-06-25T10:51:36Z)
• ProgressiveSpinalNet architecture for FC layers [0.0]
  ディープラーニングモデルでは、FC層は、以前の層から学んだ特徴に基づいて入力の分類に最も重要な役割を有する。 本稿では,これらのパラメータを大幅に削減し,性能を向上することを目的とする。 動機はSpinalNetや他の生物学的アーキテクチャからインスピレーションを得ています。
  論文  参考訳（メタデータ） (2021-03-21T11:54:50Z)
• Convolutional Networks with Dense Connectivity [59.30634544498946]
  Dense Convolutional Network (DenseNet)を導入し、フィードフォワード方式で各レイヤを他のすべてのレイヤに接続する。 各レイヤについて、先行するすべてのレイヤのフィーチャーマップをインプットとして使用し、それ自身のフィーチャーマップをその後のすべてのレイヤへのインプットとして使用します。 提案したアーキテクチャを、4つの高度に競争力のあるオブジェクト認識ベンチマークタスクで評価する。
  論文  参考訳（メタデータ） (2020-01-08T06:54:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。