論文の概要: Towards Efficient Capsule Networks
- arxiv url: http://arxiv.org/abs/2208.09203v1
- Date: Fri, 19 Aug 2022 08:03:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-22 17:13:52.703313
- Title: Towards Efficient Capsule Networks
- Title（参考訳）: カプセルネットワークの効率化に向けて
- Authors: Riccardo Renzulli and Marco Grangetto
- Abstract要約: カプセルネットワークはモデルの説明可能性を高めるために導入され、各カプセルはオブジェクトまたはその部分の明示的な表現である。
本稿では,Capsule Network を用いたプルーニングが,メモリ要件の低減,計算作業,推論とトレーニング時間といった高度な一般化を実現する方法を示す。
- 参考スコア（独自算出の注目度）: 7.1577508803778045
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: From the moment Neural Networks dominated the scene for image processing, the
computational complexity needed to solve the targeted tasks skyrocketed:
against such an unsustainable trend, many strategies have been developed,
ambitiously targeting performance's preservation. Promoting sparse topologies,
for example, allows the deployment of deep neural networks models on embedded,
resource-constrained devices. Recently, Capsule Networks were introduced to
enhance explainability of a model, where each capsule is an explicit
representation of an object or its parts. These models show promising results
on toy datasets, but their low scalability prevents deployment on more complex
tasks. In this work, we explore sparsity besides capsule representations to
improve their computational efficiency by reducing the number of capsules. We
show how pruning with Capsule Network achieves high generalization with less
memory requirements, computational effort, and inference and training time.
- Abstract（参考訳）: ニューラルネットワークが画像処理の現場を支配した時から、目標とするタスクを解くのに必要な計算の複雑さが急増し、このような持続不可能なトレンドに対して、パフォーマンスの保存を野心的に狙った多くの戦略が開発されてきた。
例えば、スパーストポロジの促進は、組み込みのリソース制約のあるデバイスにディープニューラルネットワークモデルのデプロイを可能にする。
近年、カプセルネットワークはモデルの説明可能性を高めるために導入され、各カプセルは対象またはその部分の明示的な表現である。
これらのモデルはおもちゃのデータセットで有望な結果を示すが、スケーラビリティの低いため、より複雑なタスクへのデプロイが妨げられる。
本研究では,カプセル数を減らすことで計算効率を向上させるため,カプセル表現以外のスパーシティを探索する。
本稿では,Capsule Network を用いたプルーニングが,メモリ要件の低減,計算作業,推論とトレーニング時間といった高度な一般化を実現する方法を示す。
関連論文リスト
- Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
本稿では,重み空間学習におけるSANEアプローチを紹介する。
ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
論文 参考訳（メタデータ） (2024-06-14T13:12:07Z) - Hierarchical Object-Centric Learning with Capsule Networks [0.0]
畳み込みニューラルネットワークの制限に対処するために、カプセルネットワーク(CapsNets)が導入された。
この論文はCapsNetsの興味深い側面を調査し、その潜在能力を解き放つための3つの重要な疑問に焦点を当てている。
論文 参考訳（メタデータ） (2024-05-30T09:10:33Z) - Visual Prompting Upgrades Neural Network Sparsification: A Data-Model
Perspective [67.25782152459851]
より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。
具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
論文 参考訳（メタデータ） (2023-12-03T13:50:24Z) - ProtoCaps: A Fast and Non-Iterative Capsule Network Routing Method [6.028175460199198]
本稿では,カプセルネットワークのための新しい非定型ルーティング機構を提案する。
私たちは共有のCapsuleサブスペースを利用し、各下位のCapsuleを各上位のCapsuleに投影する必要性を否定します。
本研究は,カプセルネットワークの運用効率と性能を向上させるための提案手法の可能性を明らかにするものである。
論文 参考訳（メタデータ） (2023-07-19T12:39:40Z) - Learning with Capsules: A Survey [73.31150426300198]
カプセルネットワークは、オブジェクト中心の表現を学習するための畳み込みニューラルネットワーク(CNN)に代わるアプローチとして提案された。
CNNとは異なり、カプセルネットワークは部分的に階層的な関係を明示的にモデル化するように設計されている。
論文 参考訳（メタデータ） (2022-06-06T15:05:36Z) - ME-CapsNet: A Multi-Enhanced Capsule Networks with Routing Mechanism [0.0]
本研究は,各層の受容領域内の空間成分とチャネル成分の両面を高度に最適化する,新たなソリューションの実現に焦点をあてる。
我々は, カプセル層を戦略的に通過する前に重要な特徴を抽出するために, より深い畳み込み層を導入し, ME-CapsNetを提案する。
より深い畳み込み層にはSqueeze-Excitationネットワークのブロックが含まれており、重要な特徴情報を失うことなく、サンプリングアプローチを使用して相互依存関係を再構築する。
論文 参考訳（メタデータ） (2022-03-29T13:29:38Z) - Semi-supervised Network Embedding with Differentiable Deep Quantisation [81.49184987430333]
我々はネットワーク埋め込みのための微分可能な量子化法であるd-SNEQを開発した。
d-SNEQは、学習された量子化符号にリッチな高次情報を与えるためにランク損失を組み込む。
トレーニング済みの埋め込みのサイズを大幅に圧縮できるため、ストレージのフットプリントが減少し、検索速度が向上する。
論文 参考訳（メタデータ） (2021-08-20T11:53:05Z) - Deformable Capsules for Object Detection [5.819237403145079]
変形可能なカプセル(DeformCaps)、新しいカプセル構造(SplitCaps)、および計算効率と多数のオブジェクトやクラスのモデリングの必要性のバランスをとるための新しい動的ルーティングアルゴリズム(SE-Routing)を紹介します。
提案アーキテクチャは1段階検出フレームワークであり,最先端の1段階CNN手法と同等のMS COCOについて結果を得る。
論文 参考訳（メタデータ） (2021-04-11T15:36:30Z) - Efficient-CapsNet: Capsule Network with Self-Attention Routing [0.0]
深層畳み込みニューラルネットワークは、オブジェクト変換を埋め込むために、多数の機能マップを持つデータ拡張技術とレイヤを広範囲に活用する。
カプセルネットワークは、現在の畳み込みネットワークを拡張し、より効率的に全てのアフィン変換をエンコードするプロセスで人工的な視覚知覚を実現する、有望なソリューションである。
本稿では,カプセルネットワークの効率について検討し,その容量を160Kのパラメータをほとんど持たない極端なアーキテクチャで限界まで押し上げることにより,提案アーキテクチャがまだ最先端の結果が得られることを実証する。
論文 参考訳（メタデータ） (2021-01-29T09:56:44Z) - Rapid Structural Pruning of Neural Networks with Set-based Task-Adaptive
Meta-Pruning [83.59005356327103]
既存のプルーニング技術に共通する制限は、プルーニングの前に少なくとも1回はネットワークの事前トレーニングが必要であることである。
本稿では,ターゲットデータセットの関数としてプルーニングマスクを生成することにより,大規模な参照データセット上で事前訓練されたネットワークをタスク適応的にプルークするSTAMPを提案する。
ベンチマークデータセット上での最近の先進的なプルーニング手法に対するSTAMPの有効性を検証する。
論文 参考訳（メタデータ） (2020-06-22T10:57:43Z) - Subspace Capsule Network [85.69796543499021]
SubSpace Capsule Network (SCN) はカプセルネットワークのアイデアを利用して、エンティティの外観や暗黙的に定義された特性のバリエーションをモデル化する。
SCNは、テスト期間中にCNNと比較して計算オーバーヘッドを発生させることなく、識別モデルと生成モデルの両方に適用することができる。
論文 参考訳（メタデータ） (2020-02-07T17:51:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。