論文の概要: Learning Compositional Structures for Deep Learning: Why
Routing-by-agreement is Necessary
- arxiv url: http://arxiv.org/abs/2010.01488v2
- Date: Tue, 6 Oct 2020 04:45:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-11 03:16:11.063227
- Title: Learning Compositional Structures for Deep Learning: Why
Routing-by-agreement is Necessary
- Title（参考訳）: 深層学習のための構成構造学習:なぜ経路分担が必要か
- Authors: Sai Raam Venkatraman, Ankit Anand, S. Balasubramanian, R. Raghunatha
Sarma
- Abstract要約: 本稿では,畳み込みニューラルネットワークとカプセルネットワークの文法記述について述べる。
我々は、ルーティングがカプセルネットワークの重要な部分であることを示し、その必要性を疑問視する最近の研究に効果的に答えている。
- 参考スコア（独自算出の注目度）: 4.10184810111551
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A formal description of the compositionality of neural networks is associated
directly with the formal grammar-structure of the objects it seeks to
represent. This formal grammar-structure specifies the kind of components that
make up an object, and also the configurations they are allowed to be in. In
other words, objects can be described as a parse-tree of its components -- a
structure that can be seen as a candidate for building connection-patterns
among neurons in neural networks. We present a formal grammar description of
convolutional neural networks and capsule networks that shows how capsule
networks can enforce such parse-tree structures, while CNNs do not.
Specifically, we show that the entropy of routing coefficients in the dynamic
routing algorithm controls this ability. Thus, we introduce the entropy of
routing weights as a loss function for better compositionality among capsules.
We show by experiments, on data with a compositional structure, that the use of
this loss enables capsule networks to better detect changes in
compositionality. Our experiments show that as the entropy of the routing
weights increases, the ability to detect changes in compositionality reduces.
We see that, without routing, capsule networks perform similar to convolutional
neural networks in that both these models perform badly at detecting changes in
compositionality. Our results indicate that routing is an important part of
capsule networks -- effectively answering recent work that has questioned its
necessity. We also, by experiments on SmallNORB, CIFAR-10, and FashionMNIST,
show that this loss keeps the accuracy of capsule network models comparable to
models that do not use it .
- Abstract（参考訳）: ニューラルネットワークの構成性の形式的記述は、それが表現しようとするオブジェクトの形式文法構造に直接関連している。
この形式的な文法構造は、オブジェクトを構成するコンポーネントの種類と、それらが入ることが許される構成を指定する。
言い換えれば、オブジェクトはコンポーネントのパースツリーとして記述できる -- ニューラルネットワーク内のニューロン間の接続パターンを構築するための候補と見なすことができる構造である。
本稿では、カプセルネットワークがこのようなパースツリー構造をどのように適用できるかを示す畳み込みニューラルネットワークとカプセルネットワークの文法的記述を示す。
具体的には、動的ルーティングアルゴリズムにおける経路係数のエントロピーが、この能力を制御することを示す。
そこで本研究では,カプセル間の組成性を向上させるための損失関数として,経路重みのエントロピーを導入する。
構成構造を持つデータを用いて実験を行い,この損失によりカプセルネットワークが構成性の変化をより正確に検出できることを示した。
実験により, 経路重みのエントロピーが増加するにつれて, 組成変化を検出する能力が減少することが示された。
ルーティングなしでは、カプセルネットワークは畳み込みニューラルネットワークと同様に動作し、両方のモデルが構成性の変化を検出するために著しく機能する。
結果は、ルーティングはカプセルネットワークの重要な部分であり、その必要性に疑問を呈する最近の研究に効果的に対応していることを示している。
また、SmallNORB、CIFAR-10、FashionMNISTの実験により、この損失は、使用しないモデルに匹敵するカプセルネットワークモデルの精度を保っていることを示した。
関連論文リスト
- Semantic Loss Functions for Neuro-Symbolic Structured Prediction [74.18322585177832]
このような構造に関する知識を象徴的に定義した意味的損失をトレーニングに注入する。
記号の配置に非依存であり、それによって表現される意味論にのみ依存する。
識別型ニューラルモデルと生成型ニューラルモデルの両方と組み合わせることができる。
論文 参考訳（メタデータ） (2024-05-12T22:18:25Z) - Credit Assignment for Trained Neural Networks Based on Koopman Operator
Theory [3.130109807128472]
ニューラルネットワークのクレジット割り当て問題は、最終的な出力に対する各ネットワークコンポーネントのクレジットを評価することを指す。
本稿では,ニューラルネットワークの信頼割当問題に対する線形力学の代替的視点について述べる。
典型的なニューラルネットワークを用いた実験により,提案手法の有効性が示された。
論文 参考訳（メタデータ） (2022-12-02T06:34:27Z) - Robustcaps: a transformation-robust capsule network for image
classification [6.445605125467574]
本稿では, 変換ロバスト性の望ましい特性を示すディープニューラルネットワークモデルを提案する。
我々のモデルはRobostCapsと呼ばれ、改良されたカプセルネットワークモデルでグループ同変畳み込みを使用する。
CIFAR-10、FashionMNIST、CIFAR-100データセットの最先端の精度を実現している。
論文 参考訳（メタデータ） (2022-10-20T08:42:33Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive
Learning [109.84770951839289]
歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。
本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
論文 参考訳（メタデータ） (2021-03-17T08:28:30Z) - Learning low-rank latent mesoscale structures in networks [1.1470070927586016]
ネットワークにおける低ランクメソスケール構造を記述するための新しい手法を提案する。
いくつかの合成ネットワークモデルと経験的友情、協調、タンパク質-タンパク質相互作用(PPI)ネットワークを使用します。
破損したネットワークから直接学習する潜在モチーフのみを用いて、破損したネットワークを認知する方法を示す。
論文 参考訳（メタデータ） (2021-02-13T18:54:49Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z) - Structured Convolutions for Efficient Neural Network Design [65.36569572213027]
畳み込みニューラルネットワーク構築ブロックのテクスト単純構造における冗長性を利用してモデル効率に取り組む。
この分解が2Dカーネルや3Dカーネルだけでなく、完全に接続されたレイヤにも適用可能であることを示す。
論文 参考訳（メタデータ） (2020-08-06T04:38:38Z) - Neural networks adapting to datasets: learning network size and topology [77.34726150561087]
ニューラルネットワークは、勾配に基づくトレーニングの過程で、そのサイズとトポロジの両方を学習できるフレキシブルなセットアップを導入します。
結果として得られるネットワークは、特定の学習タスクとデータセットに合わせたグラフの構造を持つ。
論文 参考訳（メタデータ） (2020-06-22T12:46:44Z) - Investigating the Compositional Structure Of Deep Neural Networks [1.8899300124593645]
本稿では,一方向線形活性化関数の構成構造に基づく新しい理論的枠組みを提案する。
予測ラベルと予測に使用する特定の(線形)変換の両方に関して、入力データのインスタンスを特徴付けることができる。
MNISTデータセットの予備テストでは、ニューラルネットワークの内部表現における類似性に関して、入力インスタンスをグループ化することが可能である。
論文 参考訳（メタデータ） (2020-02-17T14:16:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。