論文の概要: Mitigating Vanishing Activations in Deep CapsNets Using Channel Pruning

• arxiv url: http://arxiv.org/abs/2410.16908v1
• Date: Tue, 22 Oct 2024 11:28:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-23 14:30:07.848462
• Title: Mitigating Vanishing Activations in Deep CapsNets Using Channel Pruning
• Title（参考訳）: チャネルプルーニングを用いたディープキャップネットにおける消滅活性化の緩和
• Authors: Siddharth Sahu, Abdulrahman Altahhan,
• Abstract要約: カプセルネットワークは、視点不変性による部分的関係の学習において、畳み込みニューラルネットワークを上回っている。 カプセルネットワークにおけるカプセル層の増加はモデル性能を高めると仮定された。 最近の研究により、カプセルネットワークはより深い層のカプセルの活性化が消えるためスケーラビリティが欠如していることが判明した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Capsule Networks outperform Convolutional Neural Networks in learning the part-whole relationships with viewpoint invariance, and the credit goes to their multidimensional capsules. It was assumed that increasing the number of capsule layers in the capsule networks would enhance the model performance. However, recent studies found that Capsule Networks lack scalability due to vanishing activations in the capsules of deeper layers. This paper thoroughly investigates the vanishing activation problem in deep Capsule Networks. To analyze this issue and understand how increasing capsule dimensions can facilitate deeper networks, various Capsule Network models are constructed and evaluated with different numbers of capsules, capsule dimensions, and intermediate layers for this paper. Unlike traditional model pruning, which reduces the number of model parameters and expedites model training, this study uses pruning to mitigate the vanishing activations in the deeper capsule layers. In addition, the backbone network and capsule layers are pruned with different pruning ratios to reduce the number of inactive capsules and achieve better model accuracy than the unpruned models.
• Abstract（参考訳）: カプセルネットワークは、視点不変性による部分的関係の学習において畳み込みニューラルネットワークよりも優れており、クレジットは多次元カプセルに渡される。 カプセルネットワークにおけるカプセル層の増加はモデル性能を高めると仮定された。 しかし、最近の研究では、カプセルネットワークはより深い層のカプセル内でのアクティベーションの消失によってスケーラビリティが欠如していることが判明した。 本稿では, 深層カプセルネットワークにおける消滅活性化問題について, 徹底的に検討する。 この問題を解析し, カプセル次元の増大がより深いネットワークを促進することを理解するために, カプセルネットワークモデルの構築と評価を, カプセル次元, カプセル次元, 中間層を用いて行った。 モデルパラメータの削減やモデルトレーニングの迅速化を図った従来のモデルプルーニングとは異なり, 本研究はプルーニングを用いて, より深いカプセル層における消滅活性化を緩和する。 さらに、バックボーンネットワークとカプセル層は異なるプルーニング比でプルーニングされ、不活性カプセルの数が減少し、未精製モデルよりもモデル精度が向上する。

関連論文リスト

• Mamba Capsule Routing Towards Part-Whole Relational Camouflaged Object Detection [98.6460229237143]
  タイプレベルでの新しいマンバカプセルルーティングを提案する。 これらのタイプのマンバカプセルは、高層マンバカプセルを得るためにEMルーティングアルゴリズムに供給される。 さらに, 画素レベルのカプセルの特徴を回収し, さらなるキャモフラージュ予測を行うために, 低層レベルのカプセルを用いてこれを実現する。
  論文  参考訳（メタデータ） (2024-10-05T00:20:22Z)
• Hierarchical Object-Centric Learning with Capsule Networks [0.0]
  畳み込みニューラルネットワークの制限に対処するために、カプセルネットワーク(CapsNets)が導入された。 この論文はCapsNetsの興味深い側面を調査し、その潜在能力を解き放つための3つの重要な疑問に焦点を当てている。
  論文  参考訳（メタデータ） (2024-05-30T09:10:33Z)
• Deep multi-prototype capsule networks [0.3823356975862005]
  カプセルネットワーク(Capsule Network)は、画像の部分を特定し、階層的に全体のインスタンス化パラメータを形成するニューラルネットワークの一種である。 本稿では,画像部品のバリエーションを表現するためにカプセルネットワークを誘導するマルチプロトタイプアーキテクチャを提案する。 MNIST, SVHN, C-Cube, CEDAR, MCYT, UTSigのデータセットに対する実験結果から, 提案したモデルが画像分類精度で他のモデルよりも優れていることが明らかになった。
  論文  参考訳（メタデータ） (2024-04-23T18:37:37Z)
• Vanishing Activations: A Symptom of Deep Capsule Networks [10.046549855562123]
  カプセルネットワーク(Capsule Networks)は、スカラーの代わりにベクトルまたは行列表現を利用するニューラルネットワークの拡張である。 Capsule Networksの初期の実装は、さまざまなデータセットの最先端の結果を達成し、維持した。 最近の研究は、オリジナルのCapsule Networkアーキテクチャの欠点を明らかにしている。
  論文  参考訳（メタデータ） (2023-05-13T15:42:26Z)
• Towards Efficient Capsule Networks [7.1577508803778045]
  カプセルネットワークはモデルの説明可能性を高めるために導入され、各カプセルはオブジェクトまたはその部分の明示的な表現である。 本稿では,Capsule Network を用いたプルーニングが,メモリ要件の低減,計算作業,推論とトレーニング時間といった高度な一般化を実現する方法を示す。
  論文  参考訳（メタデータ） (2022-08-19T08:03:25Z)
• Learning with Capsules: A Survey [73.31150426300198]
  カプセルネットワークは、オブジェクト中心の表現を学習するための畳み込みニューラルネットワーク(CNN)に代わるアプローチとして提案された。 CNNとは異なり、カプセルネットワークは部分的に階層的な関係を明示的にモデル化するように設計されている。
  論文  参考訳（メタデータ） (2022-06-06T15:05:36Z)
• HP-Capsule: Unsupervised Face Part Discovery by Hierarchical Parsing Capsule Network [76.92310948325847]
  教師なしの顔部分発見のための階層型パーシングカプセルネットワーク(HP-Capsule Network)を提案する。 HP-Capsuleは、数字から人間の顔へのカプセルネットワークの適用を拡張し、ニューラルネットワークが人間の介入なしにオブジェクトを理解する方法を示す。
  論文  参考訳（メタデータ） (2022-03-21T01:39:41Z)
• Routing with Self-Attention for Multimodal Capsule Networks [108.85007719132618]
  我々は,カプセルの強度をマルチモーダル学習フレームワークの文脈で活用できる,新しいマルチモーダルカプセルネットワークを提案する。 カプセルを大規模入力データに適応させるために, カプセルを選択する自己保持機構による新たなルーティングを提案する。 これにより、ノイズの多いビデオデータによる堅牢なトレーニングだけでなく、従来のルーティング方法と比較してカプセルネットワークのサイズを拡大することが可能になる。
  論文  参考訳（メタデータ） (2021-12-01T19:01:26Z)
• Training Deep Capsule Networks with Residual Connections [0.0]
  capsule networkは、最近人気が高まっているニューラルネットワークの一種だ。 それらはカプセルと呼ばれるニューロンのグループで構成され、オブジェクトやオブジェクトの部分の特性をエンコードする。 多くのカプセルネットワーク実装では2層から3層にカプセル層が使われており、表現性が指数関数的に大きくなり、適用性が制限されている。 4つのデータセットと3つの異なるルーティングアルゴリズムで評価された残差接続を用いた深層カプセルネットワークを訓練する手法を提案する。 実験の結果,より深いカプセルネットワークのトレーニングでは,性能が向上することがわかった。
  論文  参考訳（メタデータ） (2021-04-15T11:42:44Z)
• Wasserstein Routed Capsule Networks [90.16542156512405]
  複雑なタスクに対処できる新しいパラメータ効率の良いカプセルアーキテクチャを提案する。 我々のネットワークはCIFAR-10で他のカプセルのアプローチを1.2%以上上回ります。
  論文  参考訳（メタデータ） (2020-07-22T14:38:05Z)
• Subspace Capsule Network [85.69796543499021]
  SubSpace Capsule Network (SCN) はカプセルネットワークのアイデアを利用して、エンティティの外観や暗黙的に定義された特性のバリエーションをモデル化する。 SCNは、テスト期間中にCNNと比較して計算オーバーヘッドを発生させることなく、識別モデルと生成モデルの両方に適用することができる。
  論文  参考訳（メタデータ） (2020-02-07T17:51:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。