論文の概要: Sequential Routing Framework: Fully Capsule Network-based Speech Recognition

• arxiv url: http://arxiv.org/abs/2007.11747v3
• Date: Thu, 1 Apr 2021 09:09:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-07 13:25:12.516442
• Title: Sequential Routing Framework: Fully Capsule Network-based Speech Recognition
• Title（参考訳）: シーケンシャルルーティングフレームワーク:完全カプセル型ネットワークに基づく音声認識
• Authors: Kyungmin Lee, Hyunwhan Joe, Hyeontaek Lim, Kwangyoun Kim, Sungsoo Kim, Chang Woo Han, Hong-Gee Kim
• Abstract要約: 本稿では,CapsNetのみの構造をシーケンス・ツー・シーケンス認識に適用するためのシーケンシャル・ルーティング・フレームワークを提案する。 ウォール・ストリート・ジャーナルのコーパスでは16.9%で1.1%低い単語誤り率を達成した。 畳み込みニューラルネットワークベースのCTCネットワークと比較して、0.7%のエラー率を17.5%で達成している。
• 参考スコア（独自算出の注目度）: 5.730259752695884
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Capsule networks (CapsNets) have recently gotten attention as a novel neural architecture. This paper presents the sequential routing framework which we believe is the first method to adapt a CapsNet-only structure to sequence-to-sequence recognition. Input sequences are capsulized then sliced by a window size. Each slice is classified to a label at the corresponding time through iterative routing mechanisms. Afterwards, losses are computed by connectionist temporal classification (CTC). During routing, the required number of parameters can be controlled by the window size regardless of the length of sequences by sharing learnable weights across the slices. We additionally propose a sequential dynamic routing algorithm to replace traditional dynamic routing. The proposed technique can minimize decoding speed degradation caused by the routing iterations since it can operate in a non-iterative manner without dropping accuracy. The method achieves a 1.1% lower word error rate at 16.9% on the Wall Street Journal corpus compared to bidirectional long short-term memory-based CTC networks. On the TIMIT corpus, it attains a 0.7% lower phone error rate at 17.5% compared to convolutional neural network-based CTC networks (Zhang et al., 2016).
• Abstract（参考訳）: カプセルネットワーク(capsnets)は最近、新しいニューラルアーキテクチャとして注目を集めている。 本稿では,capsnetのみの構造をシーケンシャル・ツー・シーケンス認識に適用する最初の手法として,シーケンシャル・ルーティング・フレームワークを提案する。 入力シーケンスはカプセル化され、ウィンドウサイズでスライスされる。 各スライスは、反復ルーティング機構によって対応するタイミングでラベルに分類される。 その後、コネクショニスト時間分類(ctc)により損失を算出する。 ルーティング中、スライス全体にわたって学習可能な重みを共有することで、シーケンスの長さに関わらず、必要なパラメータの数をウィンドウサイズで制御できる。 また,従来の動的ルーティングを置き換えるシーケンシャルな動的ルーティングアルゴリズムを提案する。 提案手法は、精度を低下させることなく非イテレーティブな動作が可能なため、経路反復による復号速度低下を最小限に抑えることができる。 ウォールストリートジャーナルのコーパスで、双方向の短期記憶型ctcネットワークと比較して、単語誤り率が16.9%で1.1%低下する。 TIMITコーパスでは、畳み込みニューラルネットワークベースのCTCネットワークと比較して、0.7%のエラー率を17.5%で達成している(Zhang et al., 2016)。

関連論文リスト

• OrthCaps: An Orthogonal CapsNet with Sparse Attention Routing and Pruning [21.5857226735951]
  冗長性はCapsule Networks(CapsNet)における永続的な課題である 本稿では,冗長性を低減し,ルーティング性能を改善し,パラメータ数を減少させるOrthogonal Capsule Network(OrthCaps)を提案する。
  論文  参考訳（メタデータ） (2024-03-20T07:25:24Z)
• LAPP: Layer Adaptive Progressive Pruning for Compressing CNNs from Scratch [14.911305800463285]
  本稿では,Layer Adaptive Progressive Pruning (LAPP) という新しいフレームワークを提案する。 LAPPは、各レイヤの学習可能なしきい値と、ネットワークのFLOP制約を導入する、効率的かつ効率的なプルーニング戦略を設計する。 提案手法は,各種データセットやバックボーンアーキテクチャにおける従来の圧縮手法よりも優れた性能向上を示す。
  論文  参考訳（メタデータ） (2023-09-25T14:08:45Z)
• Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
  本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。 我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。 SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-10-23T18:37:22Z)
• Routing Towards Discriminative Power of Class Capsules [7.347145775695176]
  本稿では,効率よく解ける正規化二次計画問題を含むルーティングアルゴリズムを提案する。 mnist,mnist-fashion,cifar-10の実験を行い,既存のカプセルネットワークと比較して競合分類結果を示す。
  論文  参考訳（メタデータ） (2021-03-07T05:49:38Z)
• ADOM: Accelerated Decentralized Optimization Method for Time-Varying Networks [124.33353902111939]
  本稿では,時間変動ネットワーク上の滑らかかつ強凸分散最適化のための高速化手法である adom を提案する。 ネットワーク構造のみに依存する一定の要因まで、その通信は加速されたNesterovメソッドのそれと同じです。
  論文  参考訳（メタデータ） (2021-02-18T09:37:20Z)
• Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
  本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。 標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2020-04-06T15:51:00Z)
• DHP: Differentiable Meta Pruning via HyperNetworks [158.69345612783198]
  本稿では,ネットワークの自動プルーニングのためのハイパーネットによる識別可能なプルーニング手法を提案する。 遅延ベクトルは、バックボーンネットワーク内の畳み込み層の出力チャネルを制御し、レイヤのプルーニングのハンドルとして機能する。 画像分類、単一画像超解像、復調のための様々なネットワークで実験が行われた。
  論文  参考訳（メタデータ） (2020-03-30T17:59:18Z)
• Learning Dynamic Routing for Semantic Segmentation [86.56049245100084]
  本稿では,動的ルーティングと呼ばれる意味表現のスケール分散を緩和する概念的に新しい手法を提案する。 提案フレームワークは,各画像のスケール分布に適応して,データ依存経路を生成する。 この目的のために、ハエのスケール変換経路を選択するために、ソフトコンディショナルゲートと呼ばれる微分可能なゲーティング関数を提案する。
  論文  参考訳（メタデータ） (2020-03-23T17:22:14Z)
• Capsules with Inverted Dot-Product Attention Routing [84.89818784286953]
  本研究では,親の状況と子どもの投票の一致に基づいて子カプセルを親にルーティングする,カプセルネットワークのための新しいルーティングアルゴリズムを提案する。 提案手法は,CIFAR-10やCIFAR-100などのベンチマークデータセットの性能を向上させる。 私たちの研究は、複雑な現実世界のタスクにカプセルネットワークを適用する可能性を高めていると考えています。
  論文  参考訳（メタデータ） (2020-02-12T02:09:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。