論文の概要: Let SSMs be ConvNets: State-space Modeling with Optimal Tensor Contractions

• arxiv url: http://arxiv.org/abs/2501.13230v1
• Date: Wed, 22 Jan 2025 21:30:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-24 15:59:08.110019
• Title: Let SSMs be ConvNets: State-space Modeling with Optimal Tensor Contractions
• Title（参考訳）: SSMをConvNetにしよう: 最適なテンソル契約による状態空間モデリング
• Authors: Yan Ru Pei,
• Abstract要約: 本稿では、一般化状態空間モデル(SSM)ブロックで構成されるネットワークのクラスであるCentaurusを紹介する。 テンソル収縮の最適順序は、トレーニング効率を最大化するために、すべてのSSMブロックに対して体系的に決定できる。 この異種ネットワーク設計は、生音声処理タスクにおいて、同種ネットワークよりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 1.4141453107129398
• License:
• Abstract: We introduce Centaurus, a class of networks composed of generalized state-space model (SSM) blocks, where the SSM operations can be treated as tensor contractions during training. The optimal order of tensor contractions can then be systematically determined for every SSM block to maximize training efficiency. This allows more flexibility in designing SSM blocks beyond the depthwise-separable configuration commonly implemented. The new design choices will take inspiration from classical convolutional blocks including group convolutions, full convolutions, and bottleneck blocks. We architect the Centaurus network with a mixture of these blocks, to balance between network size and performance, as well as memory and computational efficiency during both training and inference. We show that this heterogeneous network design outperforms its homogeneous counterparts in raw audio processing tasks including keyword spotting, speech denoising, and automatic speech recognition (ASR). For ASR, Centaurus is the first network with competitive performance that can be made fully state-space based, without using any nonlinear recurrence (LSTMs), explicit convolutions (CNNs), or (surrogate) attention mechanism. Source code is available at github.com/Brainchip-Inc/Centaurus
• Abstract（参考訳）: 我々は、一般化状態空間モデル(SSM)ブロックで構成されるネットワークのクラスであるCentaurusを紹介し、トレーニング中にSSM操作をテンソル収縮として扱うことができる。 テンソル収縮の最適順序は、トレーニング効率を最大化するために、すべてのSSMブロックに対して体系的に決定できる。 これにより、一般的に実装されている奥行き分離可能な構成を超えて、SSMブロックを設計する際の柔軟性が向上する。 新しいデザインの選択は、グループ畳み込み、完全な畳み込み、ボトルネックブロックを含む古典的な畳み込みブロックからインスピレーションを得る。 我々はこれらのブロックを混合してCentaurusネットワークを設計し、ネットワークサイズと性能のバランスを保ち、トレーニングと推論の両方でメモリと計算効率を向上する。 この異種ネットワーク設計は、キーワードスポッティング、音声認識、自動音声認識(ASR)などの生音声処理タスクにおいて、同種ネットワークよりも優れていることを示す。 ASRにとって、Centaurusは、非線形再帰(LSTM)、明示的畳み込み(CNN)、または(代理的な)注意機構を使わずに、完全に状態空間をベースとした競争性能を持つ最初のネットワークである。 ソースコードはgithub.com/Brainchip-Inc/Centaurusで入手できる。

関連論文リスト

• SpikingSSMs: Learning Long Sequences with Sparse and Parallel Spiking State Space Models [19.04709216497077]
  長いシーケンス学習のためのスパイキング状態空間モデル(SpikingSSM)を開発した。 樹状ニューロン構造にインスパイアされた我々は、神経力学を元のSSMブロックと階層的に統合する。 そこで本研究では,リセット後の膜電位を正確に予測し,学習可能なしきい値に適合する軽量サロゲート動的ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-08-27T09:35:49Z)
• MCU-MixQ: A HW/SW Co-optimized Mixed-precision Neural Network Design Framework for MCUs [9.719789698194154]
  ニューラルネットワーク処理に十分なデータ幅を利用する混合精度ニューラルネットワーク(MPNN)は、厳密なリソース制約を満たすための効果的なアプローチである。 しかし、MCUクラスのISAにはサブバイトと混合精度のSIMD操作がない。 本研究では,複数の低ビット幅演算を単一の命令多重データ(SIMD)命令にパックする手法を提案する。
  論文  参考訳（メタデータ） (2024-07-17T14:51:15Z)
• Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
  我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。 我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。 本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
  論文  参考訳（メタデータ） (2024-05-22T17:23:15Z)
• Universal Neural Functionals [67.80283995795985]
  多くの現代の機械学習タスクでは、ウェイトスペース機能を処理することが難しい問題である。 最近の研究は、単純なフィードフォワードネットワークの置換対称性に同値な有望な重み空間モデルを開発した。 本研究は,任意の重み空間に対する置換同変モデルを自動的に構築するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-07T20:12:27Z)
• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• Local Kernel Renormalization as a mechanism for feature learning in overparametrized Convolutional Neural Networks [0.0]
  実験的な証拠は、無限幅限界における完全連結ニューラルネットワークが最終的に有限幅限界よりも優れていることを示している。 畳み込み層を持つ最先端アーキテクチャは、有限幅構造において最適な性能を達成する。 有限幅FCネットワークの一般化性能は,ガウス事前選択に適した無限幅ネットワークで得られることを示す。
  論文  参考訳（メタデータ） (2023-07-21T17:22:04Z)
• Sparse Modular Activation for Efficient Sequence Modeling [94.11125833685583]
  線形状態空間モデルと自己アテンション機構を組み合わせた最近のモデルでは、様々なシーケンスモデリングタスクにおいて顕著な結果が示されている。 現在のアプローチでは、アテンションモジュールを静的かつ均一に入力シーケンスのすべての要素に適用し、最適以下の品質効率のトレードオフをもたらす。 SMA(Sparse Modular Activation)は,ニューラルネットワークが配列要素のサブモジュールを異なる方法でスパースに活性化する機構である。
  論文  参考訳（メタデータ） (2023-06-19T23:10:02Z)
• Binarized Spectral Compressive Imaging [59.18636040850608]
  ハイパースペクトル画像(HSI)再構成のための既存のディープラーニングモデルは、優れた性能を実現するが、膨大なメモリと計算資源を持つ強力なハードウェアを必要とする。 本稿では,BiSRNet(Biarized Spectral-Redistribution Network)を提案する。 BiSRNetは,提案手法を用いてベースモデルのバイナライズを行う。
  論文  参考訳（メタデータ） (2023-05-17T15:36:08Z)
• Representation Compensation Networks for Continual Semantic Segmentation [79.05769734989164]
  深いニューラルネットワークが破滅的な忘れをせずに新しいクラスを継続的に組み込む必要がある,連続的なセマンティックセマンティックセグメンテーション問題について検討する。 本稿では,従来の知識と新しい知識の両方の表現学習を分離するために,構造的再パラメータ化機構である表現補償(RC)モジュールを提案する。 連続的なクラスセグメンテーションと連続的なドメインセグメンテーションという2つの挑戦的な意味セグメンテーションのシナリオについて実験を行う。
  論文  参考訳（メタデータ） (2022-03-10T14:48:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。