論文の概要: REM: Routing Entropy Minimization for Capsule Networks

• arxiv url: http://arxiv.org/abs/2204.01298v1
• Date: Mon, 4 Apr 2022 08:13:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-06 01:12:46.155883
• Title: REM: Routing Entropy Minimization for Capsule Networks
• Title（参考訳）: REM: カプセルネットワークのためのルーティングエントロピー最小化
• Authors: Riccardo Renzulli, Enzo Tartaglione, Marco Grangetto
• Abstract要約: 本稿では,構文樹状構造のエントロピーを最小化し,その説明可能性を向上させる手法であるREMを提案する。 モデルパラメータ分布を低エントロピー構成に駆動し、プルーニング機構をプロキシとして利用する。 また、性能損失のない静的解析木を生成し、REMではカプセル間のより強い関係を構築する。
• 参考スコア（独自算出の注目度）: 8.72305226979945
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Capsule Networks ambition is to build an explainable and biologically-inspired neural network model. One of their main innovations relies on the routing mechanism which extracts a parse tree: its main purpose is to explicitly build relationships between capsules. However, their true potential in terms of explainability has not surfaced yet: these relationships are extremely heterogeneous and difficult to understand. This paper proposes REM, a technique which minimizes the entropy of the parse tree-like structure, improving its explainability. We accomplish this by driving the model parameters distribution towards low entropy configurations, using a pruning mechanism as a proxy. We also generate static parse trees with no performance loss, showing that, with REM, Capsule Networks build stronger relationships between capsules.
• Abstract（参考訳）: Capsule Networkの目標は、説明可能で生物学的にインスパイアされたニューラルネットワークモデルを構築することだ。 彼らの主なイノベーションの1つは、パースツリーを抽出するルーティングメカニズムに依存している: その主な目的は、カプセル間の関係を明示的に構築することである。 しかし、それらの説明可能性の真の可能性はまだ表面化されておらず、これらの関係は非常に異質で理解が難しい。 本稿では,構文樹状構造のエントロピーを最小化し,その説明可能性を向上させる手法であるREMを提案する。 本研究では,モデルパラメータ分布を低エントロピー構成へと誘導し,プルーニング機構をプロキシとして用いる。 また、性能損失のない静的解析木を生成し、REMではカプセル間のより強い関係を構築する。

関連論文リスト

• ParseCaps: An Interpretable Parsing Capsule Network for Medical Image Diagnosis [6.273401483558281]
  本稿では, スパースアキシャルアテンションルーティングと畳み込みカプセル層を利用した新しいカプセルネットワークParseCapsを紹介し, パースツリーのような構造を形成する。 CE-MRI、PH$2$、Derm7ptデータセットの実験結果から、ParseCapsは分類精度、冗長性低減、堅牢性で他のカプセルネットワークよりも優れているだけでなく、解釈可能な説明を提供する。
  論文  参考訳（メタデータ） (2024-11-03T13:34:31Z)
• Semantic Loss Functions for Neuro-Symbolic Structured Prediction [74.18322585177832]
  このような構造に関する知識を象徴的に定義した意味的損失をトレーニングに注入する。 記号の配置に非依存であり、それによって表現される意味論にのみ依存する。 識別型ニューラルモデルと生成型ニューラルモデルの両方と組み合わせることができる。
  論文  参考訳（メタデータ） (2024-05-12T22:18:25Z)
• Leveraging Low-Rank and Sparse Recurrent Connectivity for Robust Closed-Loop Control [63.310780486820796]
  繰り返し接続のパラメータ化が閉ループ設定のロバスト性にどのように影響するかを示す。 パラメータが少ないクローズドフォーム連続時間ニューラルネットワーク(CfCs)は、フルランクで完全に接続されたニューラルネットワークよりも優れています。
  論文  参考訳（メタデータ） (2023-10-05T21:44:18Z)
• Simple and Efficient Heterogeneous Graph Neural Network [55.56564522532328]
  不均一グラフニューラルネットワーク(HGNN)は、不均一グラフの豊富な構造的および意味的な情報をノード表現に埋め込む強力な能力を持つ。 既存のHGNNは、同種グラフ上のグラフニューラルネットワーク(GNN)から多くのメカニズム、特に注意機構と多層構造を継承する。 本稿では,これらのメカニズムを詳細に検討し,簡便かつ効率的なヘテロジニアスグラフニューラルネットワーク(SeHGNN)を提案する。
  論文  参考訳（メタデータ） (2022-07-06T10:01:46Z)
• Receding Neuron Importances for Structured Pruning [11.375436522599133]
  構造化プルーニングは、重要でないニューロンを特定して除去することで、ネットワークを効率的に圧縮する。 境界スケーリングパラメータを持つ単純なBatchNorm変動を導入し、低重要性のニューロンのみを抑制する新しい正規化項を設計する。 我々は、この方法でトレーニングされたニューラルネットワークを、より大きく、より少ない劣化で刈り取ることができることを示した。
  論文  参考訳（メタデータ） (2022-04-13T14:08:27Z)
• BScNets: Block Simplicial Complex Neural Networks [79.81654213581977]
  グラフ学習における最新の方向性として、SNN(Simplicial Neural Network)が最近登場した。 リンク予測のためのBlock Simplicial Complex Neural Networks (BScNets) モデルを提案する。 BScNetsは、コストを抑えながら最先端のモデルよりも大きなマージンを保っている。
  論文  参考訳（メタデータ） (2021-12-13T17:35:54Z)
• Attentive Tree-structured Network for Monotonicity Reasoning [2.4366811507669124]
  単調性推論のための木構造ニューラルネットワークを開発した。 推論タスクの文対から構文解析木情報をモデル化するように設計されている。 前提と仮説の表現を整列するために、自己注意集約器が使用される。
  論文  参考訳（メタデータ） (2021-01-03T01:29:48Z)
• Growing Deep Forests Efficiently with Soft Routing and Learned Connectivity [79.83903179393164]
  この論文は、いくつかの重要な側面で深い森林のアイデアをさらに拡張します。 我々は、ノードがハードバイナリ決定ではなく、確率的ルーティング決定、すなわちソフトルーティングを行う確率的ツリーを採用する。 MNISTデータセットの実験は、私たちの力のある深部森林が[1]、[3]よりも優れたまたは匹敵するパフォーマンスを達成できることを示しています。
  論文  参考訳（メタデータ） (2020-12-29T18:05:05Z)
• Learning Compositional Structures for Deep Learning: Why Routing-by-agreement is Necessary [4.10184810111551]
  本稿では,畳み込みニューラルネットワークとカプセルネットワークの文法記述について述べる。 我々は、ルーティングがカプセルネットワークの重要な部分であることを示し、その必要性を疑問視する最近の研究に効果的に答えている。
  論文  参考訳（メタデータ） (2020-10-04T05:50:51Z)
• Linguistically Driven Graph Capsule Network for Visual Question Reasoning [153.76012414126643]
  我々は「言語的に駆動されるグラフカプセルネットワーク」と呼ばれる階層的構成推論モデルを提案する。 具体的には,各カプセルを最下層に結合させ,元の質問に1つの単語を埋め込んだ言語的埋め込みを視覚的証拠で橋渡しする。 CLEVRデータセット、CLEVR合成生成テスト、およびFinalQAデータセットの実験は、我々のエンドツーエンドモデルの有効性と構成一般化能力を示す。
  論文  参考訳（メタデータ） (2020-03-23T03:34:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。