論文の概要: REM: Routing Entropy Minimization for Capsule Networks
- arxiv url: http://arxiv.org/abs/2204.01298v1
- Date: Mon, 4 Apr 2022 08:13:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-06 01:12:46.155883
- Title: REM: Routing Entropy Minimization for Capsule Networks
- Title(参考訳): REM: カプセルネットワークのためのルーティングエントロピー最小化
- Authors: Riccardo Renzulli, Enzo Tartaglione, Marco Grangetto
- Abstract要約: 本稿では,構文樹状構造のエントロピーを最小化し,その説明可能性を向上させる手法であるREMを提案する。
モデルパラメータ分布を低エントロピー構成に駆動し、プルーニング機構をプロキシとして利用する。
また、性能損失のない静的解析木を生成し、REMではカプセル間のより強い関係を構築する。
- 参考スコア(独自算出の注目度): 8.72305226979945
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Capsule Networks ambition is to build an explainable and
biologically-inspired neural network model. One of their main innovations
relies on the routing mechanism which extracts a parse tree: its main purpose
is to explicitly build relationships between capsules. However, their true
potential in terms of explainability has not surfaced yet: these relationships
are extremely heterogeneous and difficult to understand. This paper proposes
REM, a technique which minimizes the entropy of the parse tree-like structure,
improving its explainability. We accomplish this by driving the model
parameters distribution towards low entropy configurations, using a pruning
mechanism as a proxy. We also generate static parse trees with no performance
loss, showing that, with REM, Capsule Networks build stronger relationships
between capsules.
- Abstract(参考訳): Capsule Networkの目標は、説明可能で生物学的にインスパイアされたニューラルネットワークモデルを構築することだ。
彼らの主なイノベーションの1つは、パースツリーを抽出するルーティングメカニズムに依存している: その主な目的は、カプセル間の関係を明示的に構築することである。
しかし、それらの説明可能性の真の可能性はまだ表面化されておらず、これらの関係は非常に異質で理解が難しい。
本稿では,構文樹状構造のエントロピーを最小化し,その説明可能性を向上させる手法であるREMを提案する。
本研究では,モデルパラメータ分布を低エントロピー構成へと誘導し,プルーニング機構をプロキシとして用いる。
また、性能損失のない静的解析木を生成し、REMではカプセル間のより強い関係を構築する。
関連論文リスト
- Leveraging Low-Rank and Sparse Recurrent Connectivity for Robust
Closed-Loop Control [63.310780486820796]
繰り返し接続のパラメータ化が閉ループ設定のロバスト性にどのように影響するかを示す。
パラメータが少ないクローズドフォーム連続時間ニューラルネットワーク(CfCs)は、フルランクで完全に接続されたニューラルネットワークよりも優れています。
論文 参考訳(メタデータ) (2023-10-05T21:44:18Z) - DANI: Fast Diffusion Aware Network Inference with Preserving Topological
Structure Property [2.8948274245812327]
そこで我々は,DANIと呼ばれる新しい手法を提案し,その構造特性を保ちながら基礎となるネットワークを推定する。
DANIは、モジュール構造、次数分布、連結成分、密度、クラスタリング係数を含む構造特性を維持しながら、より高い精度と低い実行時間を有する。
論文 参考訳(メタデータ) (2023-10-02T23:23:00Z) - Bayesian Detection of Mesoscale Structures in Pathway Data on Graphs [0.0]
メソスケール構造は 複雑なシステムの抽象化と解析の 不可欠な部分です
それらは、社会的または引用ネットワークにおけるコミュニティ、企業間相互作用における役割、または輸送ネットワークにおける中核周辺構造におけるコミュニティを表現することができる。
我々は,グループ内のノードの最適分割と高次ネットワークの最適ダイナミクスを同時にモデル化するベイズ的アプローチを導出する。
論文 参考訳(メタデータ) (2023-01-16T12:45:33Z) - Simple and Efficient Heterogeneous Graph Neural Network [55.56564522532328]
不均一グラフニューラルネットワーク(HGNN)は、不均一グラフの豊富な構造的および意味的な情報をノード表現に埋め込む強力な能力を持つ。
既存のHGNNは、同種グラフ上のグラフニューラルネットワーク(GNN)から多くのメカニズム、特に注意機構と多層構造を継承する。
本稿では,これらのメカニズムを詳細に検討し,簡便かつ効率的なヘテロジニアスグラフニューラルネットワーク(SeHGNN)を提案する。
論文 参考訳(メタデータ) (2022-07-06T10:01:46Z) - Receding Neuron Importances for Structured Pruning [11.375436522599133]
構造化プルーニングは、重要でないニューロンを特定して除去することで、ネットワークを効率的に圧縮する。
境界スケーリングパラメータを持つ単純なBatchNorm変動を導入し、低重要性のニューロンのみを抑制する新しい正規化項を設計する。
我々は、この方法でトレーニングされたニューラルネットワークを、より大きく、より少ない劣化で刈り取ることができることを示した。
論文 参考訳(メタデータ) (2022-04-13T14:08:27Z) - BScNets: Block Simplicial Complex Neural Networks [79.81654213581977]
グラフ学習における最新の方向性として、SNN(Simplicial Neural Network)が最近登場した。
リンク予測のためのBlock Simplicial Complex Neural Networks (BScNets) モデルを提案する。
BScNetsは、コストを抑えながら最先端のモデルよりも大きなマージンを保っている。
論文 参考訳(メタデータ) (2021-12-13T17:35:54Z) - Attentive Tree-structured Network for Monotonicity Reasoning [2.4366811507669124]
単調性推論のための木構造ニューラルネットワークを開発した。
推論タスクの文対から構文解析木情報をモデル化するように設計されている。
前提と仮説の表現を整列するために、自己注意集約器が使用される。
論文 参考訳(メタデータ) (2021-01-03T01:29:48Z) - Growing Deep Forests Efficiently with Soft Routing and Learned
Connectivity [79.83903179393164]
この論文は、いくつかの重要な側面で深い森林のアイデアをさらに拡張します。
我々は、ノードがハードバイナリ決定ではなく、確率的ルーティング決定、すなわちソフトルーティングを行う確率的ツリーを採用する。
MNISTデータセットの実験は、私たちの力のある深部森林が[1]、[3]よりも優れたまたは匹敵するパフォーマンスを達成できることを示しています。
論文 参考訳(メタデータ) (2020-12-29T18:05:05Z) - Learning Compositional Structures for Deep Learning: Why
Routing-by-agreement is Necessary [4.10184810111551]
本稿では,畳み込みニューラルネットワークとカプセルネットワークの文法記述について述べる。
我々は、ルーティングがカプセルネットワークの重要な部分であることを示し、その必要性を疑問視する最近の研究に効果的に答えている。
論文 参考訳(メタデータ) (2020-10-04T05:50:51Z) - MDP Homomorphic Networks: Group Symmetries in Reinforcement Learning [90.20563679417567]
本稿では,深層強化学習のためのMDP準同型ネットワークを提案する。
MDP準同型ネットワーク(英: MDP homomorphic network)は、MDPの結合状態-作用空間における対称性の下で不変なニューラルネットワークである。
このようなネットワークは,グリッドワールドであるCartPoleとPongの非構造化ネットワークよりも高速に収束することを示す。
論文 参考訳(メタデータ) (2020-06-30T15:38:37Z) - Linguistically Driven Graph Capsule Network for Visual Question
Reasoning [153.76012414126643]
我々は「言語的に駆動されるグラフカプセルネットワーク」と呼ばれる階層的構成推論モデルを提案する。
具体的には,各カプセルを最下層に結合させ,元の質問に1つの単語を埋め込んだ言語的埋め込みを視覚的証拠で橋渡しする。
CLEVRデータセット、CLEVR合成生成テスト、およびFinalQAデータセットの実験は、我々のエンドツーエンドモデルの有効性と構成一般化能力を示す。
論文 参考訳(メタデータ) (2020-03-23T03:34:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。