論文の概要: How to Accelerate Capsule Convolutions in Capsule Networks

• arxiv url: http://arxiv.org/abs/2104.02621v1
• Date: Tue, 6 Apr 2021 15:57:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-07 14:12:09.978633
• Title: How to Accelerate Capsule Convolutions in Capsule Networks
• Title（参考訳）: カプセルネットワークにおけるカプセル畳み込みの加速方法
• Authors: Zhenhua Chen, Xiwen Li, Qian Lou, David Crandall
• Abstract要約: カプセルの畳み込みの効率はほとんど無視されている。 APIを使った2つのアクセラレーションスキームを開発し、カスタムCapsNetでテストします。 その結果、当社のソリューションは4X加速を達成しました。
• 参考スコア（独自算出の注目度）: 8.574682463936007
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: How to improve the efficiency of routing procedures in CapsNets has been studied a lot. However, the efficiency of capsule convolutions has largely been neglected. Capsule convolution, which uses capsules rather than neurons as the basic computation unit, makes it incompatible with current deep learning frameworks' optimization solution. As a result, capsule convolutions are usually very slow with these frameworks. We observe that capsule convolutions can be considered as the operations of `multiplication of multiple small matrics' plus tensor-based combination. Based on this observation, we develop two acceleration schemes with CUDA APIs and test them on a custom CapsNet. The result shows that our solution achieves a 4X acceleration.
• Abstract（参考訳）: CapsNetsにおけるルーティング手順の効率性を改善する方法について、多くの研究がなされている。 しかし、カプセル畳み込みの効率はほとんど無視されている。 基本的な計算単位としてニューロンではなくカプセルを使用するカプセル畳み込みは、現在のディープラーニングフレームワークの最適化ソリューションと互換性がない。 結果として、カプセル畳み込みは通常、これらのフレームワークで非常に遅い。 本研究では, カプセル畳み込みを, テンソルベースの組合せによる「複数個の小さなマトリクスの乗算」の操作と考えることができることを確かめた。 本研究では,CUDA APIを用いた2つのアクセラレーションスキームを開発し,それをカスタムCapsNet上でテストする。 その結果,提案手法は4倍の加速を達成できることがわかった。

関連論文リスト

• Hierarchical Object-Centric Learning with Capsule Networks [0.0]
  畳み込みニューラルネットワークの制限に対処するために、カプセルネットワーク(CapsNets)が導入された。 この論文はCapsNetsの興味深い側面を調査し、その潜在能力を解き放つための3つの重要な疑問に焦点を当てている。
  論文  参考訳（メタデータ） (2024-05-30T09:10:33Z)
• OrthCaps: An Orthogonal CapsNet with Sparse Attention Routing and Pruning [21.5857226735951]
  冗長性はCapsule Networks(CapsNet)における永続的な課題である 本稿では,冗長性を低減し,ルーティング性能を改善し,パラメータ数を減少させるOrthogonal Capsule Network(OrthCaps)を提案する。
  論文  参考訳（メタデータ） (2024-03-20T07:25:24Z)
• ProtoCaps: A Fast and Non-Iterative Capsule Network Routing Method [6.028175460199198]
  本稿では,カプセルネットワークのための新しい非定型ルーティング機構を提案する。 私たちは共有のCapsuleサブスペースを利用し、各下位のCapsuleを各上位のCapsuleに投影する必要性を否定します。 本研究は,カプセルネットワークの運用効率と性能を向上させるための提案手法の可能性を明らかにするものである。
  論文  参考訳（メタデータ） (2023-07-19T12:39:40Z)
• SMPConv: Self-moving Point Representations for Continuous Convolution [4.652175470883851]
  本稿では,ニューラルネットワークを使わずに連続的な畳み込みを構築するための代替手法を提案する。 重みパラメータが自由に動く自己移動点表現と連続関数の実装にスキームを用いる。 その軽量な構造のため、我々はまず大規模な環境で連続的畳み込みの有効性を実証する。
  論文  参考訳（メタデータ） (2023-04-05T09:36:30Z)
• HANT: Hardware-Aware Network Transformation [82.54824188745887]
  ハードウェア・アウェア・ネットワーク・トランスフォーメーション(HANT)を提案する。 HANTは、ニューラルネットワーク検索のようなアプローチを使用して、非効率な操作をより効率的な代替手段に置き換える。 EfficientNetファミリの高速化に関する我々の結果は、ImageNetデータセットのトップ1の精度で最大3.6倍、0.4%の低下でHANTがそれらを加速できることを示している。
  論文  参考訳（メタデータ） (2021-07-12T18:46:34Z)
• PSConv: Squeezing Feature Pyramid into One Compact Poly-Scale Convolutional Layer [76.44375136492827]
  畳み込みニューラルネットワーク(CNN)は、しばしばスケールに敏感である。 我々は、この後悔を、より細かい粒度でマルチスケールの機能を利用して埋める。 提案した畳み込み演算は、PSConv(Poly-Scale Convolution)と呼ばれ、拡張率のスペクトルを混合する。
  論文  参考訳（メタデータ） (2020-07-13T05:14:11Z)
• DO-Conv: Depthwise Over-parameterized Convolutional Layer [66.46704754669169]
  本稿では,各入力チャネルが異なる2次元カーネルに変換されるような,奥行きの畳み込みを付加した畳み込み層の拡張を提案する。 従来の畳み込み層をDO-Conv層に置き換えただけでCNNの性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-06-22T06:57:10Z)
• XSepConv: Extremely Separated Convolution [60.90871656244126]
  極めて分離された畳み込みブロック(XSepConv)を提案する。 空間的に分離可能な畳み込みを奥行きの畳み込みに融合させ、大きなカーネルの計算コストとパラメータサイズの両方を削減する。 XSepConvは、大規模なカーネルサイズを持つバニラ奥行きの畳み込みの効率的な代替として設計されている。
  論文  参考訳（メタデータ） (2020-02-27T11:46:17Z)
• Capsules with Inverted Dot-Product Attention Routing [84.89818784286953]
  本研究では,親の状況と子どもの投票の一致に基づいて子カプセルを親にルーティングする,カプセルネットワークのための新しいルーティングアルゴリズムを提案する。 提案手法は,CIFAR-10やCIFAR-100などのベンチマークデータセットの性能を向上させる。 私たちの研究は、複雑な現実世界のタスクにカプセルネットワークを適用する可能性を高めていると考えています。
  論文  参考訳（メタデータ） (2020-02-12T02:09:33Z)
• Subspace Capsule Network [85.69796543499021]
  SubSpace Capsule Network (SCN) はカプセルネットワークのアイデアを利用して、エンティティの外観や暗黙的に定義された特性のバリエーションをモデル化する。 SCNは、テスト期間中にCNNと比較して計算オーバーヘッドを発生させることなく、識別モデルと生成モデルの両方に適用することができる。
  論文  参考訳（メタデータ） (2020-02-07T17:51:56Z)
• No Routing Needed Between Capsules [0.0]
  均一ベクトルカプセル (HVC) は行列乗法ではなく要素ワイズ乗法を用いる。 HVCを用いた単純な畳み込みニューラルネットワークは,MNIST上でこれまでで最高のカプセルネットワークであることを示す。
  論文  参考訳（メタデータ） (2020-01-24T18:37:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。