論文の概要: Vanishing Activations: A Symptom of Deep Capsule Networks

• arxiv url: http://arxiv.org/abs/2305.11178v1
• Date: Sat, 13 May 2023 15:42:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-28 05:36:22.240997
• Title: Vanishing Activations: A Symptom of Deep Capsule Networks
• Title（参考訳）: 消失する活性化:深部カプセルネットワークの症状
• Authors: Miles Everett, Mingjun Zhong and Georgios Leontidis
• Abstract要約: カプセルネットワーク(Capsule Networks)は、スカラーの代わりにベクトルまたは行列表現を利用するニューラルネットワークの拡張である。 Capsule Networksの初期の実装は、さまざまなデータセットの最先端の結果を達成し、維持した。 最近の研究は、オリジナルのCapsule Networkアーキテクチャの欠点を明らかにしている。
• 参考スコア（独自算出の注目度）: 10.046549855562123
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Capsule Networks, an extension to Neural Networks utilizing vector or matrix representations instead of scalars, were initially developed to create a dynamic parse tree where visual concepts evolve from parts to complete objects. Early implementations of Capsule Networks achieved and maintain state-of-the-art results on various datasets. However, recent studies have revealed shortcomings in the original Capsule Network architecture, notably its failure to construct a parse tree and its susceptibility to vanishing gradients when deployed in deeper networks. This paper extends the investigation to a range of leading Capsule Network architectures, demonstrating that these issues are not confined to the original design. We argue that the majority of Capsule Network research has produced architectures that, while modestly divergent from the original Capsule Network, still retain a fundamentally similar structure. We posit that this inherent design similarity might be impeding the scalability of Capsule Networks. Our study contributes to the broader discussion on improving the robustness and scalability of Capsule Networks.
• Abstract（参考訳）: カプセルネットワークは、スカラーの代わりにベクトルや行列表現を利用したニューラルネットワークの拡張であり、当初、視覚概念が部分から完全なオブジェクトへと進化する動的解析木を作成するために開発された。 カプセルネットワークの初期実装は、さまざまなデータセットで最先端の成果を達成し、維持する。 しかし、最近の研究では、パースツリーの構築に失敗したことと、より深いネットワークに展開する際の勾配の消失に対する感受性など、オリジナルのCapsule Networkアーキテクチャの欠点が明らかにされている。 本稿では,本研究を主要なCapsule Networkアーキテクチャにまで拡張し,これらの課題が元の設計に限らないことを示す。 カプセルネットワーク研究の大多数は、元々のカプセルネットワークとはやや異なるが、根本的に類似した構造を保っているアーキテクチャを生み出していると論じている。 この設計上の類似性がカプセルネットワークのスケーラビリティを阻害している可能性がある。 本研究は,Capsule Networksの堅牢性とスケーラビリティ向上に関する広範な議論に寄与する。

関連論文リスト

• Mitigating Vanishing Activations in Deep CapsNets Using Channel Pruning [0.0]
  カプセルネットワークは、視点不変性による部分的関係の学習において、畳み込みニューラルネットワークを上回っている。 カプセルネットワークにおけるカプセル層の増加はモデル性能を高めると仮定された。 最近の研究により、カプセルネットワークはより深い層のカプセルの活性化が消えるためスケーラビリティが欠如していることが判明した。
  論文  参考訳（メタデータ） (2024-10-22T11:28:39Z)
• Hierarchical Object-Centric Learning with Capsule Networks [0.0]
  畳み込みニューラルネットワークの制限に対処するために、カプセルネットワーク(CapsNets)が導入された。 この論文はCapsNetsの興味深い側面を調査し、その潜在能力を解き放つための3つの重要な疑問に焦点を当てている。
  論文  参考訳（メタデータ） (2024-05-30T09:10:33Z)
• Why Capsule Neural Networks Do Not Scale: Challenging the Dynamic Parse-Tree Assumption [16.223322939363033]
  カプセルニューラルネットワークは、単純なスカラー値のニューロンをベクトル値のカプセルに置き換える。 CapsNetはカプセルニューラルネットワークの概念を実際に実装した最初のものである。 CapsNetアーキテクチャをより合理的なサイズのデータセットに拡張する作業は行われなかった。
  論文  参考訳（メタデータ） (2023-01-04T12:59:51Z)
• Towards Efficient Capsule Networks [7.1577508803778045]
  カプセルネットワークはモデルの説明可能性を高めるために導入され、各カプセルはオブジェクトまたはその部分の明示的な表現である。 本稿では,Capsule Network を用いたプルーニングが,メモリ要件の低減,計算作業,推論とトレーニング時間といった高度な一般化を実現する方法を示す。
  論文  参考訳（メタデータ） (2022-08-19T08:03:25Z)
• Rank Diminishing in Deep Neural Networks [71.03777954670323]
  ニューラルネットワークのランクは、層をまたがる情報を測定する。 これは機械学習の幅広い領域にまたがる重要な構造条件の例である。 しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
  論文  参考訳（メタデータ） (2022-06-13T12:03:32Z)
• Learning with Capsules: A Survey [73.31150426300198]
  カプセルネットワークは、オブジェクト中心の表現を学習するための畳み込みニューラルネットワーク(CNN)に代わるアプローチとして提案された。 CNNとは異なり、カプセルネットワークは部分的に階層的な関係を明示的にモデル化するように設計されている。
  論文  参考訳（メタデータ） (2022-06-06T15:05:36Z)
• HP-Capsule: Unsupervised Face Part Discovery by Hierarchical Parsing Capsule Network [76.92310948325847]
  教師なしの顔部分発見のための階層型パーシングカプセルネットワーク(HP-Capsule Network)を提案する。 HP-Capsuleは、数字から人間の顔へのカプセルネットワークの適用を拡張し、ニューラルネットワークが人間の介入なしにオブジェクトを理解する方法を示す。
  論文  参考訳（メタデータ） (2022-03-21T01:39:41Z)
• Wasserstein Routed Capsule Networks [90.16542156512405]
  複雑なタスクに対処できる新しいパラメータ効率の良いカプセルアーキテクチャを提案する。 我々のネットワークはCIFAR-10で他のカプセルのアプローチを1.2%以上上回ります。
  論文  参考訳（メタデータ） (2020-07-22T14:38:05Z)
• The Heterogeneity Hypothesis: Finding Layer-Wise Differentiated Network Architectures [179.66117325866585]
  我々は、通常見過ごされる設計空間、すなわち事前定義されたネットワークのチャネル構成を調整することを検討する。 この調整は、拡張ベースラインネットワークを縮小することで実現でき、性能が向上する。 画像分類、視覚追跡、画像復元のための様々なネットワークとデータセットで実験を行う。
  論文  参考訳（メタデータ） (2020-06-29T17:59:26Z)
• Subspace Capsule Network [85.69796543499021]
  SubSpace Capsule Network (SCN) はカプセルネットワークのアイデアを利用して、エンティティの外観や暗黙的に定義された特性のバリエーションをモデル化する。 SCNは、テスト期間中にCNNと比較して計算オーバーヘッドを発生させることなく、識別モデルと生成モデルの両方に適用することができる。
  論文  参考訳（メタデータ） (2020-02-07T17:51:56Z)
• Examining the Benefits of Capsule Neural Networks [9.658250977094562]
  カプセルネットワーク(Capsule Network)は、従来の畳み込みニューラルネットワークの欠点に対処する可能性のある、新たに開発されたニューラルネットワークのクラスである。 標準的なスカラーアクティベーションをベクトルに置き換えることで、カプセルネットワークはコンピュータビジョンアプリケーションのための次の大きな開発を目指している。
  論文  参考訳（メタデータ） (2020-01-29T17:18:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。