論文の概要: Why Capsule Neural Networks Do Not Scale: Challenging the Dynamic Parse-Tree Assumption

• arxiv url: http://arxiv.org/abs/2301.01583v1
• Date: Wed, 4 Jan 2023 12:59:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-05 15:05:05.823959
• Title: Why Capsule Neural Networks Do Not Scale: Challenging the Dynamic Parse-Tree Assumption
• Title（参考訳）: カプセル型ニューラルネットワークがスケールしない理由:動的パースツリー仮定への挑戦
• Authors: Matthias Mitterreiter, Marcel Koch, Joachim Giesen, S\"oren Laue
• Abstract要約: カプセルニューラルネットワークは、単純なスカラー値のニューロンをベクトル値のカプセルに置き換える。 CapsNetはカプセルニューラルネットワークの概念を実際に実装した最初のものである。 CapsNetアーキテクチャをより合理的なサイズのデータセットに拡張する作業は行われなかった。
• 参考スコア（独自算出の注目度）: 16.223322939363033
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Capsule neural networks replace simple, scalar-valued neurons with vector-valued capsules. They are motivated by the pattern recognition system in the human brain, where complex objects are decomposed into a hierarchy of simpler object parts. Such a hierarchy is referred to as a parse-tree. Conceptually, capsule neural networks have been defined to realize such parse-trees. The capsule neural network (CapsNet), by Sabour, Frosst, and Hinton, is the first actual implementation of the conceptual idea of capsule neural networks. CapsNets achieved state-of-the-art performance on simple image recognition tasks with fewer parameters and greater robustness to affine transformations than comparable approaches. This sparked extensive follow-up research. However, despite major efforts, no work was able to scale the CapsNet architecture to more reasonable-sized datasets. Here, we provide a reason for this failure and argue that it is most likely not possible to scale CapsNets beyond toy examples. In particular, we show that the concept of a parse-tree, the main idea behind capsule neuronal networks, is not present in CapsNets. We also show theoretically and experimentally that CapsNets suffer from a vanishing gradient problem that results in the starvation of many capsules during training.
• Abstract（参考訳）: カプセルニューラルネットワークは、単純なスカラー値ニューロンをベクトル値カプセルに置き換える。 それらは人間の脳のパターン認識システムによって動機付けられ、複雑な物体は単純な物体の部分の階層に分解される。 このような階層はパースツリーと呼ばれる。 概念的には、カプセルニューラルネットワークはそのようなパースツリーを実現するために定義されている。 Sabour、Frosst、Hintonによるカプセルニューラルネットワーク(CapsNet)は、カプセルニューラルネットワークの概念を最初に実装したものだ。 CapsNetsは、パラメータが少なく、アフィン変換に対する堅牢性が高い単純な画像認識タスクで最先端のパフォーマンスを達成した。 これは広範な研究のきっかけとなった。 しかし、大きな努力にもかかわらず、CapsNetアーキテクチャをより合理的なサイズのデータセットに拡張する作業は行われなかった。 ここでは、この失敗の理由を説明し、CapsNetsをおもちゃの例を超えてスケールすることは不可能である、と論じる。 特に、カプセル神経ネットワークの背後にある主要な概念であるパースツリーの概念がCapsNetsには存在しないことを示す。 また,CapsNetsがトレーニング中に多くのカプセルを飢餓させるという,消失する勾配問題に悩まされていることも理論的および実験的に示す。

関連論文リスト

• Hierarchical Object-Centric Learning with Capsule Networks [0.0]
  畳み込みニューラルネットワークの制限に対処するために、カプセルネットワーク(CapsNets)が導入された。 この論文はCapsNetsの興味深い側面を調査し、その潜在能力を解き放つための3つの重要な疑問に焦点を当てている。
  論文  参考訳（メタデータ） (2024-05-30T09:10:33Z)
• Simple and Effective Transfer Learning for Neuro-Symbolic Integration [50.592338727912946]
  この問題の潜在的な解決策はNeuro-Symbolic Integration (NeSy)であり、ニューラルアプローチとシンボリック推論を組み合わせる。 これらの手法のほとんどは、認識をシンボルにマッピングするニューラルネットワークと、下流タスクの出力を予測する論理的論理的推論を利用する。 それらは、緩やかな収束、複雑な知覚タスクの学習困難、局所的なミニマへの収束など、いくつかの問題に悩まされている。 本稿では,これらの問題を改善するための簡易かつ効果的な方法を提案する。
  論文  参考訳（メタデータ） (2024-02-21T15:51:01Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Vanishing Activations: A Symptom of Deep Capsule Networks [10.046549855562123]
  カプセルネットワーク(Capsule Networks)は、スカラーの代わりにベクトルまたは行列表現を利用するニューラルネットワークの拡張である。 Capsule Networksの初期の実装は、さまざまなデータセットの最先端の結果を達成し、維持した。 最近の研究は、オリジナルのCapsule Networkアーキテクチャの欠点を明らかにしている。
  論文  参考訳（メタデータ） (2023-05-13T15:42:26Z)
• Learning with Capsules: A Survey [73.31150426300198]
  カプセルネットワークは、オブジェクト中心の表現を学習するための畳み込みニューラルネットワーク(CNN)に代わるアプローチとして提案された。 CNNとは異なり、カプセルネットワークは部分的に階層的な関係を明示的にモデル化するように設計されている。
  論文  参考訳（メタデータ） (2022-06-06T15:05:36Z)
• HP-Capsule: Unsupervised Face Part Discovery by Hierarchical Parsing Capsule Network [76.92310948325847]
  教師なしの顔部分発見のための階層型パーシングカプセルネットワーク(HP-Capsule Network)を提案する。 HP-Capsuleは、数字から人間の顔へのカプセルネットワークの適用を拡張し、ニューラルネットワークが人間の介入なしにオブジェクトを理解する方法を示す。
  論文  参考訳（メタデータ） (2022-03-21T01:39:41Z)
• Parallel Capsule Networks for Classification of White Blood Cells [1.5749416770494706]
  Capsule Networks(CapsNets)は、畳み込みニューラルネットワーク(CNN)の欠点を克服するために提案された機械学習アーキテクチャである。 我々は,特定のカプセルを分離するためにネットワークを分岐するという概念を活用する,新しいアーキテクチャであるCapsNetsを提案する。
  論文  参考訳（メタデータ） (2021-08-05T14:30:44Z)
• Training Deep Capsule Networks with Residual Connections [0.0]
  capsule networkは、最近人気が高まっているニューラルネットワークの一種だ。 それらはカプセルと呼ばれるニューロンのグループで構成され、オブジェクトやオブジェクトの部分の特性をエンコードする。 多くのカプセルネットワーク実装では2層から3層にカプセル層が使われており、表現性が指数関数的に大きくなり、適用性が制限されている。 4つのデータセットと3つの異なるルーティングアルゴリズムで評価された残差接続を用いた深層カプセルネットワークを訓練する手法を提案する。 実験の結果,より深いカプセルネットワークのトレーニングでは,性能が向上することがわかった。
  論文  参考訳（メタデータ） (2021-04-15T11:42:44Z)
• Towards Understanding Hierarchical Learning: Benefits of Neural Representations [160.33479656108926]
  この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。 提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。 この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
  論文  参考訳（メタデータ） (2020-06-24T02:44:54Z)
• Subspace Capsule Network [85.69796543499021]
  SubSpace Capsule Network (SCN) はカプセルネットワークのアイデアを利用して、エンティティの外観や暗黙的に定義された特性のバリエーションをモデル化する。 SCNは、テスト期間中にCNNと比較して計算オーバーヘッドを発生させることなく、識別モデルと生成モデルの両方に適用することができる。
  論文  参考訳（メタデータ） (2020-02-07T17:51:56Z)
• Examining the Benefits of Capsule Neural Networks [9.658250977094562]
  カプセルネットワーク(Capsule Network)は、従来の畳み込みニューラルネットワークの欠点に対処する可能性のある、新たに開発されたニューラルネットワークのクラスである。 標準的なスカラーアクティベーションをベクトルに置き換えることで、カプセルネットワークはコンピュータビジョンアプリケーションのための次の大きな開発を目指している。
  論文  参考訳（メタデータ） (2020-01-29T17:18:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。