論文の概要: OrthCaps: An Orthogonal CapsNet with Sparse Attention Routing and Pruning
- arxiv url: http://arxiv.org/abs/2403.13351v1
- Date: Wed, 20 Mar 2024 07:25:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-21 17:48:13.122641
- Title: OrthCaps: An Orthogonal CapsNet with Sparse Attention Routing and Pruning
- Title（参考訳）: OrthCaps: スパースアテンションルーティングとプルーニングを備えた直交型CapsNet
- Authors: Xinyu Geng, Jiaming Wang, Jiawei Gong, Yuerong Xue, Jun Xu, Fanglin Chen, Xiaolin Huang,
- Abstract要約: 冗長性はCapsule Networks(CapsNet)における永続的な課題である
本稿では,冗長性を低減し,ルーティング性能を改善し,パラメータ数を減少させるOrthogonal Capsule Network(OrthCaps)を提案する。
- 参考スコア（独自算出の注目度）: 21.5857226735951
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Redundancy is a persistent challenge in Capsule Networks (CapsNet),leading to high computational costs and parameter counts. Although previous works have introduced pruning after the initial capsule layer, dynamic routing's fully connected nature and non-orthogonal weight matrices reintroduce redundancy in deeper layers. Besides, dynamic routing requires iterating to converge, further increasing computational demands. In this paper, we propose an Orthogonal Capsule Network (OrthCaps) to reduce redundancy, improve routing performance and decrease parameter counts. Firstly, an efficient pruned capsule layer is introduced to discard redundant capsules. Secondly, dynamic routing is replaced with orthogonal sparse attention routing, eliminating the need for iterations and fully connected structures. Lastly, weight matrices during routing are orthogonalized to sustain low capsule similarity, which is the first approach to introduce orthogonality into CapsNet as far as we know. Our experiments on baseline datasets affirm the efficiency and robustness of OrthCaps in classification tasks, in which ablation studies validate the criticality of each component. Remarkably, OrthCaps-Shallow outperforms other Capsule Network benchmarks on four datasets, utilizing only 110k parameters, which is a mere 1.25% of a standard Capsule Network's total. To the best of our knowledge, it achieves the smallest parameter count among existing Capsule Networks. Similarly, OrthCaps-Deep demonstrates competitive performance across four datasets, utilizing only 1.2% of the parameters required by its counterparts.
- Abstract（参考訳）: 冗長性はCapsule Networks(CapsNet)において永続的な課題であり、高い計算コストとパラメータ数をもたらす。
以前の研究では、初期カプセル層の後にプルーニングを導入したが、動的ルーティングの完全な結合性と非直交重量行列はより深い層の冗長性を再導入した。
さらに、動的ルーティングは収束するために反復を必要とし、さらに計算要求が増加する。
本稿では,冗長性を低減し,ルーティング性能を向上し,パラメータ数を削減できるOrthogonal Capsule Network(OrthCaps)を提案する。
第一に、冗長カプセルを廃棄するために効率的なプルーニングカプセル層が導入された。
第二に、動的ルーティングは直交スパースアテンションルーティングに置き換えられ、イテレーションや完全に接続された構造を必要としない。
最後に、ルーティング中の重量行列は、我々が知る限りCapsNetに直交性を導入する最初のアプローチである低カプセル類似性を維持するために直交化される。
分類タスクにおけるOrthCapsの効率性とロバスト性を確認し,各コンポーネントの臨界度をアブレーション研究により検証した。
注目すべきなのは、OrthCaps-Shallowは他のCapsule Networkベンチマークを4つのデータセットで上回り、110kパラメータしか利用していないことだ。
我々の知る限り、既存のカプセルネットワークの中で最小のパラメータ数を達成する。
同様に、OrthCaps-Deepは、4つのデータセット間での競合性能を示し、そのデータセットに必要なパラメータの1.2%しか利用していない。
関連論文リスト
- Hierarchical Object-Centric Learning with Capsule Networks [0.0]
畳み込みニューラルネットワークの制限に対処するために、カプセルネットワーク(CapsNets)が導入された。
この論文はCapsNetsの興味深い側面を調査し、その潜在能力を解き放つための3つの重要な疑問に焦点を当てている。
論文 参考訳（メタデータ） (2024-05-30T09:10:33Z) - ProtoCaps: A Fast and Non-Iterative Capsule Network Routing Method [6.028175460199198]
本稿では,カプセルネットワークのための新しい非定型ルーティング機構を提案する。
私たちは共有のCapsuleサブスペースを利用し、各下位のCapsuleを各上位のCapsuleに投影する必要性を否定します。
本研究は,カプセルネットワークの運用効率と性能を向上させるための提案手法の可能性を明らかにするものである。
論文 参考訳（メタデータ） (2023-07-19T12:39:40Z) - PointCaps: Raw Point Cloud Processing using Capsule Networks with
Euclidean Distance Routing [2.916675178729016]
カプセルネットワークを用いた生クラウド処理は、分類、再構築、セグメンテーションにおいて広く採用されている。
既存のカプセルベースのネットワークアプローチのほとんどは計算的に重く、ポイントクラウド全体を単一のカプセルとして表現できない。
パラメータ共有を備えた新しい畳み込みカプセルアーキテクチャであるPointCapsを提案する。
論文 参考訳（メタデータ） (2021-12-21T14:34:39Z) - Compact representations of convolutional neural networks via weight
pruning and quantization [63.417651529192014]
本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。
我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
論文 参考訳（メタデータ） (2021-08-28T20:39:54Z) - Efficient-CapsNet: Capsule Network with Self-Attention Routing [0.0]
深層畳み込みニューラルネットワークは、オブジェクト変換を埋め込むために、多数の機能マップを持つデータ拡張技術とレイヤを広範囲に活用する。
カプセルネットワークは、現在の畳み込みネットワークを拡張し、より効率的に全てのアフィン変換をエンコードするプロセスで人工的な視覚知覚を実現する、有望なソリューションである。
本稿では,カプセルネットワークの効率について検討し,その容量を160Kのパラメータをほとんど持たない極端なアーキテクチャで限界まで押し上げることにより,提案アーキテクチャがまだ最先端の結果が得られることを実証する。
論文 参考訳（メタデータ） (2021-01-29T09:56:44Z) - Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。
ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
論文 参考訳（メタデータ） (2020-10-02T16:50:26Z) - Wasserstein Routed Capsule Networks [90.16542156512405]
複雑なタスクに対処できる新しいパラメータ効率の良いカプセルアーキテクチャを提案する。
我々のネットワークはCIFAR-10で他のカプセルのアプローチを1.2%以上上回ります。
論文 参考訳（メタデータ） (2020-07-22T14:38:05Z) - Rapid Structural Pruning of Neural Networks with Set-based Task-Adaptive
Meta-Pruning [83.59005356327103]
既存のプルーニング技術に共通する制限は、プルーニングの前に少なくとも1回はネットワークの事前トレーニングが必要であることである。
本稿では,ターゲットデータセットの関数としてプルーニングマスクを生成することにより,大規模な参照データセット上で事前訓練されたネットワークをタスク適応的にプルークするSTAMPを提案する。
ベンチマークデータセット上での最近の先進的なプルーニング手法に対するSTAMPの有効性を検証する。
論文 参考訳（メタデータ） (2020-06-22T10:57:43Z) - Progressive Skeletonization: Trimming more fat from a network at
initialization [76.11947969140608]
本稿では,接続感度が最大となるスケルトン化ネットワークを提案する。
次に、目的を最大化する2つの近似手順を提案する。
提案手法は, 高い刈り込みレベルにおいて, 性能を著しく向上させる。
論文 参考訳（メタデータ） (2020-06-16T11:32:47Z) - Subspace Capsule Network [85.69796543499021]
SubSpace Capsule Network (SCN) はカプセルネットワークのアイデアを利用して、エンティティの外観や暗黙的に定義された特性のバリエーションをモデル化する。
SCNは、テスト期間中にCNNと比較して計算オーバーヘッドを発生させることなく、識別モデルと生成モデルの両方に適用することができる。
論文 参考訳（メタデータ） (2020-02-07T17:51:56Z) - No Routing Needed Between Capsules [0.0]
均一ベクトルカプセル (HVC) は行列乗法ではなく要素ワイズ乗法を用いる。
HVCを用いた単純な畳み込みニューラルネットワークは,MNIST上でこれまでで最高のカプセルネットワークであることを示す。
論文 参考訳（メタデータ） (2020-01-24T18:37:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。