論文の概要: ProtoCaps: A Fast and Non-Iterative Capsule Network Routing Method

• arxiv url: http://arxiv.org/abs/2307.09944v2
• Date: Fri, 8 Mar 2024 09:54:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-11 23:37:29.509700
• Title: ProtoCaps: A Fast and Non-Iterative Capsule Network Routing Method
• Title（参考訳）: ProtoCaps: 高速かつ非イテレーティブなカプセルネットワークルーティング手法
• Authors: Miles Everett, Mingjun Zhong and Georgios Leontidis
• Abstract要約: 本稿では,カプセルネットワークのための新しい非定型ルーティング機構を提案する。 私たちは共有のCapsuleサブスペースを利用し、各下位のCapsuleを各上位のCapsuleに投影する必要性を否定します。 本研究は,カプセルネットワークの運用効率と性能を向上させるための提案手法の可能性を明らかにするものである。
• 参考スコア（独自算出の注目度）: 6.028175460199198
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Capsule Networks have emerged as a powerful class of deep learning architectures, known for robust performance with relatively few parameters compared to Convolutional Neural Networks (CNNs). However, their inherent efficiency is often overshadowed by their slow, iterative routing mechanisms which establish connections between Capsule layers, posing computational challenges resulting in an inability to scale. In this paper, we introduce a novel, non-iterative routing mechanism, inspired by trainable prototype clustering. This innovative approach aims to mitigate computational complexity, while retaining, if not enhancing, performance efficacy. Furthermore, we harness a shared Capsule subspace, negating the need to project each lower-level Capsule to each higher-level Capsule, thereby significantly reducing memory requisites during training. Our approach demonstrates superior results compared to the current best non-iterative Capsule Network and tests on the Imagewoof dataset, which is too computationally demanding to handle efficiently by iterative approaches. Our findings underscore the potential of our proposed methodology in enhancing the operational efficiency and performance of Capsule Networks, paving the way for their application in increasingly complex computational scenarios. Code is available at https://github.com/mileseverett/ProtoCaps.
• Abstract（参考訳）: カプセルネットワークは、畳み込みニューラルネットワーク(cnns)と比較して比較的少ないパラメータで頑健なパフォーマンスで知られている、ディープラーニングアーキテクチャの強力なクラスとして登場している。 しかしながら、その本来の効率性は、カプセル層間の接続を確立する、遅い反復的なルーティング機構によって覆われ、スケールできない計算上の問題を引き起こすことが多い。 本稿では,トレーニング可能なプロトタイプクラスタリングにインスパイアされた,新しい非定型ルーティング機構を提案する。 この革新的なアプローチは計算の複雑さを和らげることを目的としているが、性能の有効性は向上しない。 さらに,共有カプセルサブスペースを活用し,各下位カプセルを上位カプセルに投影する必要をなくし,トレーニング時のメモリ要求量を大幅に削減した。 提案手法は,現在最良である非定性カプセルネットワークやImagewoofデータセットに対するテストよりも優れた結果を示し,反復的アプローチで効率的に処理するには計算負荷が大きすぎる。 提案手法がカプセルネットワークの運用効率と性能を向上させることの可能性を実証し,より複雑な計算シナリオに応用する方法について検討した。 コードはhttps://github.com/mileseverett/protocapsで入手できる。

関連論文リスト

• Hierarchical Object-Centric Learning with Capsule Networks [0.0]
  畳み込みニューラルネットワークの制限に対処するために、カプセルネットワーク(CapsNets)が導入された。 この論文はCapsNetsの興味深い側面を調査し、その潜在能力を解き放つための3つの重要な疑問に焦点を当てている。
  論文  参考訳（メタデータ） (2024-05-30T09:10:33Z)
• Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
  本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。 我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。 SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-10-23T18:37:22Z)
• Towards Efficient Capsule Networks [7.1577508803778045]
  カプセルネットワークはモデルの説明可能性を高めるために導入され、各カプセルはオブジェクトまたはその部分の明示的な表現である。 本稿では,Capsule Network を用いたプルーニングが,メモリ要件の低減,計算作業,推論とトレーニング時間といった高度な一般化を実現する方法を示す。
  論文  参考訳（メタデータ） (2022-08-19T08:03:25Z)
• Routing with Self-Attention for Multimodal Capsule Networks [108.85007719132618]
  我々は,カプセルの強度をマルチモーダル学習フレームワークの文脈で活用できる,新しいマルチモーダルカプセルネットワークを提案する。 カプセルを大規模入力データに適応させるために, カプセルを選択する自己保持機構による新たなルーティングを提案する。 これにより、ノイズの多いビデオデータによる堅牢なトレーニングだけでなく、従来のルーティング方法と比較してカプセルネットワークのサイズを拡大することが可能になる。
  論文  参考訳（メタデータ） (2021-12-01T19:01:26Z)
• CATRO: Channel Pruning via Class-Aware Trace Ratio Optimization [61.71504948770445]
  本稿では,CATRO (Class-Aware Trace Ratio Optimization) を用いた新しいチャネルプルーニング手法を提案する。 CATROは、他の最先端チャネルプルーニングアルゴリズムと同等の精度で、同様のコストまたは低コストで高い精度を達成できることを示す。 CATROは、クラス認識の特性のため、様々な分類サブタスクに適応的に効率の良いネットワークを創り出すのに適している。
  論文  参考訳（メタデータ） (2021-10-21T06:26:31Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• Routing Towards Discriminative Power of Class Capsules [7.347145775695176]
  本稿では,効率よく解ける正規化二次計画問題を含むルーティングアルゴリズムを提案する。 mnist,mnist-fashion,cifar-10の実験を行い,既存のカプセルネットワークと比較して競合分類結果を示す。
  論文  参考訳（メタデータ） (2021-03-07T05:49:38Z)
• Efficient-CapsNet: Capsule Network with Self-Attention Routing [0.0]
  深層畳み込みニューラルネットワークは、オブジェクト変換を埋め込むために、多数の機能マップを持つデータ拡張技術とレイヤを広範囲に活用する。 カプセルネットワークは、現在の畳み込みネットワークを拡張し、より効率的に全てのアフィン変換をエンコードするプロセスで人工的な視覚知覚を実現する、有望なソリューションである。 本稿では,カプセルネットワークの効率について検討し,その容量を160Kのパラメータをほとんど持たない極端なアーキテクチャで限界まで押し上げることにより,提案アーキテクチャがまだ最先端の結果が得られることを実証する。
  論文  参考訳（メタデータ） (2021-01-29T09:56:44Z)
• Wasserstein Routed Capsule Networks [90.16542156512405]
  複雑なタスクに対処できる新しいパラメータ効率の良いカプセルアーキテクチャを提案する。 我々のネットワークはCIFAR-10で他のカプセルのアプローチを1.2%以上上回ります。
  論文  参考訳（メタデータ） (2020-07-22T14:38:05Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。