論文の概要: Efficient-CapsNet: Capsule Network with Self-Attention Routing
- arxiv url: http://arxiv.org/abs/2101.12491v1
- Date: Fri, 29 Jan 2021 09:56:44 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-01 12:41:17.181087
- Title: Efficient-CapsNet: Capsule Network with Self-Attention Routing
- Title（参考訳）: Efficient-CapsNet:セルフアテンションルーティングを備えたカプセルネットワーク
- Authors: Vittorio Mazzia, Francesco Salvetti, Marcello Chiaberge
- Abstract要約: 深層畳み込みニューラルネットワークは、オブジェクト変換を埋め込むために、多数の機能マップを持つデータ拡張技術とレイヤを広範囲に活用する。
カプセルネットワークは、現在の畳み込みネットワークを拡張し、より効率的に全てのアフィン変換をエンコードするプロセスで人工的な視覚知覚を実現する、有望なソリューションである。
本稿では,カプセルネットワークの効率について検討し,その容量を160Kのパラメータをほとんど持たない極端なアーキテクチャで限界まで押し上げることにより,提案アーキテクチャがまだ最先端の結果が得られることを実証する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Deep convolutional neural networks, assisted by architectural design
strategies, make extensive use of data augmentation techniques and layers with
a high number of feature maps to embed object transformations. That is highly
inefficient and for large datasets implies a massive redundancy of features
detectors. Even though capsules networks are still in their infancy, they
constitute a promising solution to extend current convolutional networks and
endow artificial visual perception with a process to encode more efficiently
all feature affine transformations. Indeed, a properly working capsule network
should theoretically achieve higher results with a considerably lower number of
parameters count due to intrinsic capability to generalize to novel viewpoints.
Nevertheless, little attention has been given to this relevant aspect. In this
paper, we investigate the efficiency of capsule networks and, pushing their
capacity to the limits with an extreme architecture with barely 160K
parameters, we prove that the proposed architecture is still able to achieve
state-of-the-art results on three different datasets with only 2% of the
original CapsNet parameters. Moreover, we replace dynamic routing with a novel
non-iterative, highly parallelizable routing algorithm that can easily cope
with a reduced number of capsules. Extensive experimentation with other capsule
implementations has proved the effectiveness of our methodology and the
capability of capsule networks to efficiently embed visual representations more
prone to generalization.
- Abstract（参考訳）: アーキテクチャ設計戦略に支援されたディープ畳み込みニューラルネットワークは、オブジェクト変換を埋め込むために、多数の機能マップを持つデータ拡張技術とレイヤを広範囲に活用する。
これは非常に非効率であり、大きなデータセットの場合、特徴検出器の大規模な冗長性を意味する。
カプセルネットワークはまだ初期段階にあるが、現在の畳み込みネットワークを拡張し、より効率的に機能アフィン変換をエンコードするプロセスで人工視覚を付与する、有望なソリューションとなっている。
実際、適切に動作するカプセルネットワークは、新しい視点に一般化する本質的な能力により、かなり少ないパラメータ数で理論的により高い結果を得るべきである。
しかし、この点にはほとんど注意が払われていない。
本論文では,カプセルネットワークの効率性を検討し,その容量を極端に160Kパラメータの極限アーキテクチャに押し上げることにより,提案されたアーキテクチャが,元のCapsNetパラメータのわずか2%で3つの異なるデータセットにおける最先端の結果を達成できることを証明した。
さらに, カプセル数の減少に容易に対処できる新しい非イテレーティブな並列化可能なルーティングアルゴリズムを動的ルーティングに置き換えた。
他のカプセル実装との広範な実験は、私たちの方法論の有効性とカプセルネットワークが、より一般化しやすい視覚表現を効率的に埋め込む能力を示しています。
関連論文リスト
- Hierarchical Object-Centric Learning with Capsule Networks [0.0]
畳み込みニューラルネットワークの制限に対処するために、カプセルネットワーク(CapsNets)が導入された。
この論文はCapsNetsの興味深い側面を調査し、その潜在能力を解き放つための3つの重要な疑問に焦点を当てている。
論文 参考訳（メタデータ） (2024-05-30T09:10:33Z) - ProtoCaps: A Fast and Non-Iterative Capsule Network Routing Method [6.028175460199198]
本稿では,カプセルネットワークのための新しい非定型ルーティング機構を提案する。
私たちは共有のCapsuleサブスペースを利用し、各下位のCapsuleを各上位のCapsuleに投影する必要性を否定します。
本研究は,カプセルネットワークの運用効率と性能を向上させるための提案手法の可能性を明らかにするものである。
論文 参考訳（メタデータ） (2023-07-19T12:39:40Z) - ME-CapsNet: A Multi-Enhanced Capsule Networks with Routing Mechanism [0.0]
本研究は,各層の受容領域内の空間成分とチャネル成分の両面を高度に最適化する,新たなソリューションの実現に焦点をあてる。
我々は, カプセル層を戦略的に通過する前に重要な特徴を抽出するために, より深い畳み込み層を導入し, ME-CapsNetを提案する。
より深い畳み込み層にはSqueeze-Excitationネットワークのブロックが含まれており、重要な特徴情報を失うことなく、サンプリングアプローチを使用して相互依存関係を再構築する。
論文 参考訳（メタデータ） (2022-03-29T13:29:38Z) - Deformable Capsules for Object Detection [3.702343116848637]
我々は,コンピュータビジョンにおいて重要な問題である物体検出に対処するために,新しいカプセルネットワーク,変形可能なカプセル(textitDeformCaps)を導入した。
提案手法は,本論文において,オブジェクト検出のためのカプセルネットワークを構築するために,効率よくスケールアップできることを実証する。
論文 参考訳（メタデータ） (2021-04-11T15:36:30Z) - CondenseNet V2: Sparse Feature Reactivation for Deep Networks [87.38447745642479]
高密度接続によるディープネットワークの機能再利用は、高い計算効率を達成する効果的な方法である。
スパース機能再活性化(SFR)と呼ばれる代替アプローチを提案し、再利用機能の有用性を積極的に高めることを目指しています。
提案手法は画像分類(ImageNet, CIFAR)とオブジェクト検出(MSCOCO)において,理論的効率と実用的速度の両面で有望な性能を達成できることを示す。
論文 参考訳（メタデータ） (2021-04-09T14:12:43Z) - Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。
ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
論文 参考訳（メタデータ） (2020-10-02T16:50:26Z) - Structured Convolutions for Efficient Neural Network Design [65.36569572213027]
畳み込みニューラルネットワーク構築ブロックのテクスト単純構造における冗長性を利用してモデル効率に取り組む。
この分解が2Dカーネルや3Dカーネルだけでなく、完全に接続されたレイヤにも適用可能であることを示す。
論文 参考訳（メタデータ） (2020-08-06T04:38:38Z) - Wasserstein Routed Capsule Networks [90.16542156512405]
複雑なタスクに対処できる新しいパラメータ効率の良いカプセルアーキテクチャを提案する。
我々のネットワークはCIFAR-10で他のカプセルのアプローチを1.2%以上上回ります。
論文 参考訳（メタデータ） (2020-07-22T14:38:05Z) - When Residual Learning Meets Dense Aggregation: Rethinking the
Aggregation of Deep Neural Networks [57.0502745301132]
我々は,グローバルな残差学習と局所的なマイクロセンスアグリゲーションを備えた新しいアーキテクチャであるMicro-Dense Netsを提案する。
我々のマイクロセンスブロックはニューラルアーキテクチャ検索に基づくモデルと統合して性能を向上させることができる。
論文 参考訳（メタデータ） (2020-04-19T08:34:52Z) - Convolutional Networks with Dense Connectivity [59.30634544498946]
Dense Convolutional Network (DenseNet)を導入し、フィードフォワード方式で各レイヤを他のすべてのレイヤに接続する。
各レイヤについて、先行するすべてのレイヤのフィーチャーマップをインプットとして使用し、それ自身のフィーチャーマップをその後のすべてのレイヤへのインプットとして使用します。
提案したアーキテクチャを、4つの高度に競争力のあるオブジェクト認識ベンチマークタスクで評価する。
論文 参考訳（メタデータ） (2020-01-08T06:54:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。