論文の概要: No Routing Needed Between Capsules

• arxiv url: http://arxiv.org/abs/2001.09136v6
• Date: Thu, 17 Jun 2021 20:14:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-07 04:58:22.533152
• Title: No Routing Needed Between Capsules
• Title（参考訳）: カプセル間のルーティングは不要
• Authors: Adam Byerly, Tatiana Kalganova, Ian Dear
• Abstract要約: 均一ベクトルカプセル (HVC) は行列乗法ではなく要素ワイズ乗法を用いる。 HVCを用いた単純な畳み込みニューラルネットワークは,MNIST上でこれまでで最高のカプセルネットワークであることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most capsule network designs rely on traditional matrix multiplication between capsule layers and computationally expensive routing mechanisms to deal with the capsule dimensional entanglement that the matrix multiplication introduces. By using Homogeneous Vector Capsules (HVCs), which use element-wise multiplication rather than matrix multiplication, the dimensions of the capsules remain unentangled. In this work, we study HVCs as applied to the highly structured MNIST dataset in order to produce a direct comparison to the capsule research direction of Geoffrey Hinton, et al. In our study, we show that a simple convolutional neural network using HVCs performs as well as the prior best performing capsule network on MNIST using 5.5x fewer parameters, 4x fewer training epochs, no reconstruction sub-network, and requiring no routing mechanism. The addition of multiple classification branches to the network establishes a new state of the art for the MNIST dataset with an accuracy of 99.87% for an ensemble of these models, as well as establishing a new state of the art for a single model (99.83% accurate).
• Abstract（参考訳）: 多くのカプセルネットワークの設計は、従来のカプセル層間の行列乗算と、行列乗法が導入するカプセル次元の絡み合いを扱う計算コストの高いルーティング機構に依存している。 等質ベクトルカプセル(HVC)を用いることで、行列乗算ではなく要素ワイド乗算を用いることで、カプセルの寸法は無絡状態のままとなる。 本研究では,高度に構造化されたMNISTデータセットに適用されたHVCについて検討し,Geoffrey Hintonらのカプセル研究の方向性と直接比較した。 本研究では,hvcsを用いた単純な畳み込みニューラルネットワークと,5.5倍のパラメータ,4倍のトレーニングエポック,リコンストラクションサブネットワーク,ルーティング機構を必要とせず,mnist上で最高のカプセルネットワークを実現することを示す。 ネットワークに複数の分類ブランチを追加することで、mnistデータセットの新たな状態が、これらのモデルのアンサンブルに対して99.87%の精度で確立され、単一のモデルのための新しい状態(99.83%の精度)が確立される。

関連論文リスト

• Deep multi-prototype capsule networks [0.3823356975862005]
  カプセルネットワーク(Capsule Network)は、画像の部分を特定し、階層的に全体のインスタンス化パラメータを形成するニューラルネットワークの一種である。 本稿では,画像部品のバリエーションを表現するためにカプセルネットワークを誘導するマルチプロトタイプアーキテクチャを提案する。 MNIST, SVHN, C-Cube, CEDAR, MCYT, UTSigのデータセットに対する実験結果から, 提案したモデルが画像分類精度で他のモデルよりも優れていることが明らかになった。
  論文  参考訳（メタデータ） (2024-04-23T18:37:37Z)
• OrthCaps: An Orthogonal CapsNet with Sparse Attention Routing and Pruning [21.5857226735951]
  冗長性はCapsule Networks(CapsNet)における永続的な課題である 本稿では,冗長性を低減し,ルーティング性能を改善し,パラメータ数を減少させるOrthogonal Capsule Network(OrthCaps)を提案する。
  論文  参考訳（メタデータ） (2024-03-20T07:25:24Z)
• Parameter-Efficient Masking Networks [61.43995077575439]
  先進的なネットワーク設計は、しばしば多数の繰り返し構造を含む(例: Transformer)。 本研究では,マスクの学習により,一意値に制限された固定ランダムウェイトの代表的ポテンシャルについて検討する。 これはモデル圧縮のための新しいパラダイムをもたらし、モデルサイズを減少させます。
  論文  参考訳（メタデータ） (2022-10-13T03:39:03Z)
• Compact representations of convolutional neural networks via weight pruning and quantization [63.417651529192014]
  本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。 我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
  論文  参考訳（メタデータ） (2021-08-28T20:39:54Z)
• A Deeper Look into Convolutions via Pruning [9.89901717499058]
  現代のアーキテクチャは、複数のレイヤの畳み込みの後、しばしば最後に、非常に少数の完全に接続されたレイヤを含んでいる。 この戦略はすでにパラメータの数を削減しているが、ほとんどの畳み込みは認識性能を損なうことなく排除できる。 本研究では,従来の重みに基づく重み付け手法に加えて,固有値に基づく行列特性を用いて,広く使用されているCNNファミリーの内部機構に光を当てる。
  論文  参考訳（メタデータ） (2021-02-04T18:55:03Z)
• The Heterogeneity Hypothesis: Finding Layer-Wise Differentiated Network Architectures [179.66117325866585]
  我々は、通常見過ごされる設計空間、すなわち事前定義されたネットワークのチャネル構成を調整することを検討する。 この調整は、拡張ベースラインネットワークを縮小することで実現でき、性能が向上する。 画像分類、視覚追跡、画像復元のための様々なネットワークとデータセットで実験を行う。
  論文  参考訳（メタデータ） (2020-06-29T17:59:26Z)
• A Systematic Approach to Featurization for Cancer Drug Sensitivity Predictions with Deep Learning [49.86828302591469]
  35,000以上のニューラルネットワークモデルをトレーニングし、一般的な成果化技術を駆使しています。 RNA-seqは128以上のサブセットであっても非常に冗長で情報的であることがわかった。
  論文  参考訳（メタデータ） (2020-04-30T20:42:17Z)
• When Residual Learning Meets Dense Aggregation: Rethinking the Aggregation of Deep Neural Networks [57.0502745301132]
  我々は,グローバルな残差学習と局所的なマイクロセンスアグリゲーションを備えた新しいアーキテクチャであるMicro-Dense Netsを提案する。 我々のマイクロセンスブロックはニューラルアーキテクチャ検索に基づくモデルと統合して性能を向上させることができる。
  論文  参考訳（メタデータ） (2020-04-19T08:34:52Z)
• Subspace Capsule Network [85.69796543499021]
  SubSpace Capsule Network (SCN) はカプセルネットワークのアイデアを利用して、エンティティの外観や暗黙的に定義された特性のバリエーションをモデル化する。 SCNは、テスト期間中にCNNと比較して計算オーバーヘッドを発生させることなく、識別モデルと生成モデルの両方に適用することができる。
  論文  参考訳（メタデータ） (2020-02-07T17:51:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。