論文の概要: Capsule Networks Do Not Need to Model Everything

• arxiv url: http://arxiv.org/abs/2204.01298v2
• Date: Sat, 12 Jul 2025 15:35:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-16 15:29:03.361496
• Title: Capsule Networks Do Not Need to Model Everything
• Title（参考訳）: カプセルネットワークは、すべてをモデル化する必要がない
• Authors: Riccardo Renzulli, Enzo Tartaglione, Marco Grangetto,
• Abstract要約: 本稿では,構文樹状構造のエントロピーを最小化するREM(Routing Entropy Minimization)を提案する。 REMはプルーニング機構を通じてモデルパラメータ分布を低エントロピー構成に駆動する。 これによりカプセルはより安定で簡潔な表現を、より少ないパラメータと無視可能な性能損失で学習することができる。
• 参考スコア（独自算出の注目度）: 10.778550494961996
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Capsule networks are biologically inspired neural networks that group neurons into vectors called capsules, each explicitly representing an object or one of its parts. The routing mechanism connects capsules in consecutive layers, forming a hierarchical structure between parts and objects, also known as a parse tree. Capsule networks often attempt to model all elements in an image, requiring large network sizes to handle complexities such as intricate backgrounds or irrelevant objects. However, this comprehensive modeling leads to increased parameter counts and computational inefficiencies. Our goal is to enable capsule networks to focus only on the object of interest, reducing the number of parse trees. We accomplish this with REM (Routing Entropy Minimization), a technique that minimizes the entropy of the parse tree-like structure. REM drives the model parameters distribution towards low entropy configurations through a pruning mechanism, significantly reducing the generation of intra-class parse trees. This empowers capsules to learn more stable and succinct representations with fewer parameters and negligible performance loss.
• Abstract（参考訳）: カプセルネットワークは生物学的にインスパイアされたニューラルネットワークで、ニューロンをカプセルと呼ばれるベクトルに分類する。 ルーティング機構はカプセルを連続的に結合し、パースツリーとしても知られる部分とオブジェクトの間に階層構造を形成する。 カプセルネットワークは画像内のすべての要素をモデル化しようとすることが多く、複雑な背景や無関係なオブジェクトなどの複雑な処理に大規模なネットワークサイズを必要とする。 しかし、この包括的モデリングはパラメータ数の増加と計算不効率をもたらす。 私たちのゴールは、カプセルネットワークが関心の対象のみに集中できるようにすることで、パースツリーの数を減らすことです。 解析はREM(Routing Entropy Minimization)を用いて行う。 REMは、プルーニング機構を通じて低エントロピー構成のモデルパラメータ分布を駆動し、クラス内のパースツリーの生成を著しく低減する。 これによりカプセルはより安定で簡潔な表現を、より少ないパラメータと無視可能な性能損失で学習することができる。

関連論文リスト

• Weight transport through spike timing for robust local gradients [0.5236468296934584]
  機能的ニューラルネットワークの可塑性は、しばしばコストの勾配降下として表される。 これにより、局所的な計算との整合が難しい対称性の制約が課される。 本稿では、スパイクタイミング統計を用いて、効果的な相互接続間の非対称性を抽出し、補正するスパイクベースのアライメント学習を提案する。
  論文  参考訳（メタデータ） (2025-03-04T14:05:39Z)
• ParseCaps: An Interpretable Parsing Capsule Network for Medical Image Diagnosis [6.273401483558281]
  本稿では, スパースアキシャルアテンションルーティングと畳み込みカプセル層を利用した新しいカプセルネットワークParseCapsを紹介し, パースツリーのような構造を形成する。 CE-MRI、PH$2$、Derm7ptデータセットの実験結果から、ParseCapsは分類精度、冗長性低減、堅牢性で他のカプセルネットワークよりも優れているだけでなく、解釈可能な説明を提供する。
  論文  参考訳（メタデータ） (2024-11-03T13:34:31Z)
• Hierarchical Object-Centric Learning with Capsule Networks [0.0]
  畳み込みニューラルネットワークの制限に対処するために、カプセルネットワーク(CapsNets)が導入された。 この論文はCapsNetsの興味深い側面を調査し、その潜在能力を解き放つための3つの重要な疑問に焦点を当てている。
  論文  参考訳（メタデータ） (2024-05-30T09:10:33Z)
• Semantic Loss Functions for Neuro-Symbolic Structured Prediction [74.18322585177832]
  このような構造に関する知識を象徴的に定義した意味的損失をトレーニングに注入する。 記号の配置に非依存であり、それによって表現される意味論にのみ依存する。 識別型ニューラルモデルと生成型ニューラルモデルの両方と組み合わせることができる。
  論文  参考訳（メタデータ） (2024-05-12T22:18:25Z)
• Leveraging Low-Rank and Sparse Recurrent Connectivity for Robust Closed-Loop Control [63.310780486820796]
  繰り返し接続のパラメータ化が閉ループ設定のロバスト性にどのように影響するかを示す。 パラメータが少ないクローズドフォーム連続時間ニューラルネットワーク(CfCs)は、フルランクで完全に接続されたニューラルネットワークよりも優れています。
  論文  参考訳（メタデータ） (2023-10-05T21:44:18Z)
• DepGraph: Towards Any Structural Pruning [68.40343338847664]
  我々は、CNN、RNN、GNN、Transformersのような任意のアーキテクチャの一般的な構造解析について研究する。 本稿では,階層間の依存関係を明示的にモデル化し,包括的にグループ化してプルーニングを行う汎用かつ完全自動な手法であるemphDependency Graph(DepGraph)を提案する。 本研究では,画像用ResNe(X)t,DenseNet,MobileNet,Vision Transformer,グラフ用GAT,3Dポイントクラウド用DGCNN,言語用LSTMなど,さまざまなアーキテクチャやタスクに関する手法を広範囲に評価し,言語用LSTMと並行して示す。
  論文  参考訳（メタデータ） (2023-01-30T14:02:33Z)
• Why Capsule Neural Networks Do Not Scale: Challenging the Dynamic Parse-Tree Assumption [16.223322939363033]
  カプセルニューラルネットワークは、単純なスカラー値のニューロンをベクトル値のカプセルに置き換える。 CapsNetはカプセルニューラルネットワークの概念を実際に実装した最初のものである。 CapsNetアーキテクチャをより合理的なサイズのデータセットに拡張する作業は行われなかった。
  論文  参考訳（メタデータ） (2023-01-04T12:59:51Z)
• Parameter-Efficient Masking Networks [61.43995077575439]
  先進的なネットワーク設計は、しばしば多数の繰り返し構造を含む(例: Transformer)。 本研究では,マスクの学習により,一意値に制限された固定ランダムウェイトの代表的ポテンシャルについて検討する。 これはモデル圧縮のための新しいパラダイムをもたらし、モデルサイズを減少させます。
  論文  参考訳（メタデータ） (2022-10-13T03:39:03Z)
• Towards Efficient Capsule Networks [7.1577508803778045]
  カプセルネットワークはモデルの説明可能性を高めるために導入され、各カプセルはオブジェクトまたはその部分の明示的な表現である。 本稿では,Capsule Network を用いたプルーニングが,メモリ要件の低減,計算作業,推論とトレーニング時間といった高度な一般化を実現する方法を示す。
  論文  参考訳（メタデータ） (2022-08-19T08:03:25Z)
• Simple and Efficient Heterogeneous Graph Neural Network [55.56564522532328]
  不均一グラフニューラルネットワーク(HGNN)は、不均一グラフの豊富な構造的および意味的な情報をノード表現に埋め込む強力な能力を持つ。 既存のHGNNは、同種グラフ上のグラフニューラルネットワーク(GNN)から多くのメカニズム、特に注意機構と多層構造を継承する。 本稿では,これらのメカニズムを詳細に検討し,簡便かつ効率的なヘテロジニアスグラフニューラルネットワーク(SeHGNN)を提案する。
  論文  参考訳（メタデータ） (2022-07-06T10:01:46Z)
• Receding Neuron Importances for Structured Pruning [11.375436522599133]
  構造化プルーニングは、重要でないニューロンを特定して除去することで、ネットワークを効率的に圧縮する。 境界スケーリングパラメータを持つ単純なBatchNorm変動を導入し、低重要性のニューロンのみを抑制する新しい正規化項を設計する。 我々は、この方法でトレーニングされたニューラルネットワークを、より大きく、より少ない劣化で刈り取ることができることを示した。
  論文  参考訳（メタデータ） (2022-04-13T14:08:27Z)
• BScNets: Block Simplicial Complex Neural Networks [79.81654213581977]
  グラフ学習における最新の方向性として、SNN(Simplicial Neural Network)が最近登場した。 リンク予測のためのBlock Simplicial Complex Neural Networks (BScNets) モデルを提案する。 BScNetsは、コストを抑えながら最先端のモデルよりも大きなマージンを保っている。
  論文  参考訳（メタデータ） (2021-12-13T17:35:54Z)
• Auto-Parsing Network for Image Captioning and Visual Question Answering [101.77688388554097]
  本稿では,入力データの隠れ木構造を発見し,活用するための自動パーシングネットワーク(APN)を提案する。 具体的には、各自己注意層における注意操作によってパラメータ化された確率的グラフモデル(PGM)を課し、スパース仮定を組み込む。
  論文  参考訳（メタデータ） (2021-08-24T08:14:35Z)
• Deformable Capsules for Object Detection [3.702343116848637]
  我々は,コンピュータビジョンにおいて重要な問題である物体検出に対処するために,新しいカプセルネットワーク,変形可能なカプセル(textitDeformCaps)を導入した。 提案手法は,本論文において,オブジェクト検出のためのカプセルネットワークを構築するために,効率よくスケールアップできることを実証する。
  論文  参考訳（メタデータ） (2021-04-11T15:36:30Z)
• Attentive Tree-structured Network for Monotonicity Reasoning [2.4366811507669124]
  単調性推論のための木構造ニューラルネットワークを開発した。 推論タスクの文対から構文解析木情報をモデル化するように設計されている。 前提と仮説の表現を整列するために、自己注意集約器が使用される。
  論文  参考訳（メタデータ） (2021-01-03T01:29:48Z)
• Growing Deep Forests Efficiently with Soft Routing and Learned Connectivity [79.83903179393164]
  この論文は、いくつかの重要な側面で深い森林のアイデアをさらに拡張します。 我々は、ノードがハードバイナリ決定ではなく、確率的ルーティング決定、すなわちソフトルーティングを行う確率的ツリーを採用する。 MNISTデータセットの実験は、私たちの力のある深部森林が[1]、[3]よりも優れたまたは匹敵するパフォーマンスを達成できることを示しています。
  論文  参考訳（メタデータ） (2020-12-29T18:05:05Z)
• Learning Compositional Structures for Deep Learning: Why Routing-by-agreement is Necessary [4.10184810111551]
  本稿では,畳み込みニューラルネットワークとカプセルネットワークの文法記述について述べる。 我々は、ルーティングがカプセルネットワークの重要な部分であることを示し、その必要性を疑問視する最近の研究に効果的に答えている。
  論文  参考訳（メタデータ） (2020-10-04T05:50:51Z)
• Linguistically Driven Graph Capsule Network for Visual Question Reasoning [153.76012414126643]
  我々は「言語的に駆動されるグラフカプセルネットワーク」と呼ばれる階層的構成推論モデルを提案する。 具体的には,各カプセルを最下層に結合させ,元の質問に1つの単語を埋め込んだ言語的埋め込みを視覚的証拠で橋渡しする。 CLEVRデータセット、CLEVR合成生成テスト、およびFinalQAデータセットの実験は、我々のエンドツーエンドモデルの有効性と構成一般化能力を示す。
  論文  参考訳（メタデータ） (2020-03-23T03:34:25Z)
• Subspace Capsule Network [85.69796543499021]
  SubSpace Capsule Network (SCN) はカプセルネットワークのアイデアを利用して、エンティティの外観や暗黙的に定義された特性のバリエーションをモデル化する。 SCNは、テスト期間中にCNNと比較して計算オーバーヘッドを発生させることなく、識別モデルと生成モデルの両方に適用することができる。
  論文  参考訳（メタデータ） (2020-02-07T17:51:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。