論文の概要: Capsules with Inverted Dot-Product Attention Routing

• arxiv url: http://arxiv.org/abs/2002.04764v2
• Date: Wed, 26 Feb 2020 17:48:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-01 19:11:15.800351
• Title: Capsules with Inverted Dot-Product Attention Routing
• Title（参考訳）: 逆Dot-Product Attention Routingを用いたカプセル
• Authors: Yao-Hung Hubert Tsai, Nitish Srivastava, Hanlin Goh, Ruslan Salakhutdinov
• Abstract要約: 本研究では,親の状況と子どもの投票の一致に基づいて子カプセルを親にルーティングする,カプセルネットワークのための新しいルーティングアルゴリズムを提案する。 提案手法は,CIFAR-10やCIFAR-100などのベンチマークデータセットの性能を向上させる。 私たちの研究は、複雑な現実世界のタスクにカプセルネットワークを適用する可能性を高めていると考えています。
• 参考スコア（独自算出の注目度）: 84.89818784286953
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a new routing algorithm for capsule networks, in which a child capsule is routed to a parent based only on agreement between the parent's state and the child's vote. The new mechanism 1) designs routing via inverted dot-product attention; 2) imposes Layer Normalization as normalization; and 3) replaces sequential iterative routing with concurrent iterative routing. When compared to previously proposed routing algorithms, our method improves performance on benchmark datasets such as CIFAR-10 and CIFAR-100, and it performs at-par with a powerful CNN (ResNet-18) with 4x fewer parameters. On a different task of recognizing digits from overlayed digit images, the proposed capsule model performs favorably against CNNs given the same number of layers and neurons per layer. We believe that our work raises the possibility of applying capsule networks to complex real-world tasks. Our code is publicly available at: https://github.com/apple/ml-capsules-inverted-attention-routing An alternative implementation is available at: https://github.com/yaohungt/Capsules-Inverted-Attention-Routing/blob/master/README.md
• Abstract（参考訳）: 本研究では,親の状態と子票の一致のみに基づいて,子カプセルを親カプセルにルーティングする,カプセルネットワークのための新たなルーティングアルゴリズムを提案する。 新しいメカニズムは 1) 逆ドット製品注意による経路設計 2) 正常化として層正規化を課す。 3) 逐次反復ルーティングを並列反復ルーティングに置き換える。 CIFAR-10 や CIFAR-100 などのベンチマークデータセットでは,従来提案したルーティングアルゴリズムと比較して性能が向上し,パラメータが 4 倍少ない強力な CNN (ResNet-18) と同等に動作する。 重ね合わせのデジット画像からデジットを識別する別のタスクにおいて,提案するカプセルモデルは,同一の層数と層当たりのニューロンを与えられたcnnに対して好適に機能する。 私たちの研究は、複雑な現実世界のタスクにカプセルネットワークを適用する可能性を高めると信じています。 https://github.com/apple/ml-capsules-inverted-attention-routing https://github.com/yaohungt/Capsules-inverted-Attention-Routing/blob/master/README.md

関連論文リスト

• OrthCaps: An Orthogonal CapsNet with Sparse Attention Routing and Pruning [21.5857226735951]
  冗長性はCapsule Networks(CapsNet)における永続的な課題である 本稿では,冗長性を低減し,ルーティング性能を改善し,パラメータ数を減少させるOrthogonal Capsule Network(OrthCaps)を提案する。
  論文  参考訳（メタデータ） (2024-03-20T07:25:24Z)
• AANet: Aggregation and Alignment Network with Semi-hard Positive Sample Mining for Hierarchical Place Recognition [48.043749855085025]
  視覚的位置認識(VPR)はロボット工学におけるホットスポットの一つで、視覚情報を用いてロボットの位置を特定する。 本稿では,アグリゲーションモジュールを介して候補を検索するためのグローバルな特徴を抽出できる統一ネットワークを提案する。 また、より堅牢なVPRネットワークをトレーニングするために、適切なハード正のイメージを選択するためのセミハード正のサンプルマイニング(ShPSM)戦略を提案する。
  論文  参考訳（メタデータ） (2023-10-08T14:46:11Z)
• Learning Tracking Representations via Dual-Branch Fully Transformer Networks [82.21771581817937]
  追従のためのトランスフォーマーのみをベースとした,シームズ型デュアルブランチネットワークを提案する。 注目ウィンドウ内の他のパッチとのマッチング結果に基づいて,各パッチの特徴ベクトルを抽出する。 この手法は、最高の性能の方法として、より良い結果または同等の結果を得る。
  論文  参考訳（メタデータ） (2021-12-05T13:44:33Z)
• Training Deep Capsule Networks with Residual Connections [0.0]
  capsule networkは、最近人気が高まっているニューラルネットワークの一種だ。 それらはカプセルと呼ばれるニューロンのグループで構成され、オブジェクトやオブジェクトの部分の特性をエンコードする。 多くのカプセルネットワーク実装では2層から3層にカプセル層が使われており、表現性が指数関数的に大きくなり、適用性が制限されている。 4つのデータセットと3つの異なるルーティングアルゴリズムで評価された残差接続を用いた深層カプセルネットワークを訓練する手法を提案する。 実験の結果,より深いカプセルネットワークのトレーニングでは,性能が向上することがわかった。
  論文  参考訳（メタデータ） (2021-04-15T11:42:44Z)
• Routing Towards Discriminative Power of Class Capsules [7.347145775695176]
  本稿では,効率よく解ける正規化二次計画問題を含むルーティングアルゴリズムを提案する。 mnist,mnist-fashion,cifar-10の実験を行い,既存のカプセルネットワークと比較して競合分類結果を示す。
  論文  参考訳（メタデータ） (2021-03-07T05:49:38Z)
• Sequential Routing Framework: Fully Capsule Network-based Speech Recognition [5.730259752695884]
  本稿では,CapsNetのみの構造をシーケンス・ツー・シーケンス認識に適用するためのシーケンシャル・ルーティング・フレームワークを提案する。 ウォール・ストリート・ジャーナルのコーパスでは16.9%で1.1%低い単語誤り率を達成した。 畳み込みニューラルネットワークベースのCTCネットワークと比較して、0.7%のエラー率を17.5%で達成している。
  論文  参考訳（メタデータ） (2020-07-23T01:51:41Z)
• Wasserstein Routed Capsule Networks [90.16542156512405]
  複雑なタスクに対処できる新しいパラメータ効率の良いカプセルアーキテクチャを提案する。 我々のネットワークはCIFAR-10で他のカプセルのアプローチを1.2%以上上回ります。
  論文  参考訳（メタデータ） (2020-07-22T14:38:05Z)
• ResRep: Lossless CNN Pruning via Decoupling Remembering and Forgetting [105.97936163854693]
  本稿では,畳み込み層の幅(出力チャネル数)を小さくすることで,CNNをスリム化するResRepを提案する。 記憶と忘れの独立性に関する神経生物学の研究から着想を得て,CNNを記憶部分と忘れ部分にパラメータ化することを提案する。 私たちは、記憶と忘れ物を、より狭いレイヤで元のアーキテクチャにマージします。
  論文  参考訳（メタデータ） (2020-07-07T07:56:45Z)
• Quaternion Equivariant Capsule Networks for 3D Point Clouds [58.566467950463306]
  本稿では,3次元回転と翻訳に同値な点雲を処理するための3次元カプセルモジュールを提案する。 カプセル間の動的ルーティングをよく知られたWeiszfeldアルゴリズムに接続する。 オペレーターに基づいて、ポーズから幾何学をアンタングルするカプセルネットワークを構築します。
  論文  参考訳（メタデータ） (2019-12-27T13:51:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。