論文の概要: What Makes Convolutional Models Great on Long Sequence Modeling?

• arxiv url: http://arxiv.org/abs/2210.09298v1
• Date: Mon, 17 Oct 2022 17:53:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 15:46:03.090783
• Title: What Makes Convolutional Models Great on Long Sequence Modeling?
• Title（参考訳）: 長いシーケンスモデリングで畳み込みモデルはなぜ素晴らしいのか?
• Authors: Yuhong Li, Tianle Cai, Yi Zhang, Deming Chen, Debadeepta Dey
• Abstract要約: コンボリューションカーネルの構造に焦点をあて、批判的だが直感的な2つの原則を特定します。 構造化グローバル畳み込み (Structured Global Convolution, SGConv) と呼ばれる, 単純かつ効果的な畳み込みモデルを提案する。
• 参考スコア（独自算出の注目度）: 30.50800981442449
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Convolutional models have been widely used in multiple domains. However, most existing models only use local convolution, making the model unable to handle long-range dependency efficiently. Attention overcomes this problem by aggregating global information but also makes the computational complexity quadratic to the sequence length. Recently, Gu et al. [2021] proposed a model called S4 inspired by the state space model. S4 can be efficiently implemented as a global convolutional model whose kernel size equals the input sequence length. S4 can model much longer sequences than Transformers and achieve significant gains over SoTA on several long-range tasks. Despite its empirical success, S4 is involved. It requires sophisticated parameterization and initialization schemes. As a result, S4 is less intuitive and hard to use. Here we aim to demystify S4 and extract basic principles that contribute to the success of S4 as a global convolutional model. We focus on the structure of the convolution kernel and identify two critical but intuitive principles enjoyed by S4 that are sufficient to make up an effective global convolutional model: 1) The parameterization of the convolutional kernel needs to be efficient in the sense that the number of parameters should scale sub-linearly with sequence length. 2) The kernel needs to satisfy a decaying structure that the weights for convolving with closer neighbors are larger than the more distant ones. Based on the two principles, we propose a simple yet effective convolutional model called Structured Global Convolution (SGConv). SGConv exhibits strong empirical performance over several tasks: 1) With faster speed, SGConv surpasses S4 on Long Range Arena and Speech Command datasets. 2) When plugging SGConv into standard language and vision models, it shows the potential to improve both efficiency and performance.
• Abstract（参考訳）: 畳み込みモデルは複数の領域で広く使われている。 しかし、既存のモデルのほとんどは局所的な畳み込みしか使用せず、モデルが長距離依存を効率的に処理できない。 注意は、グローバルな情報を集約することでこの問題を克服するが、計算複雑性をシーケンス長に二乗化させる。 最近、Gu et al。 2021年] 状態空間モデルに触発された s4 というモデルを提案しました S4は、カーネルサイズが入力シーケンス長に等しい大域的畳み込みモデルとして効率的に実装することができる。 s4 はトランスフォーマーよりも長いシーケンスをモデル化でき、いくつかの長距離タスクで sota を大きく上回る。 実証的な成功にもかかわらず、S4は関与している。 高度なパラメータ化と初期化スキームが必要です。 その結果、s4は直感的ではなく、使いにくい。 ここでは、S4をデミスティフィケートし、グローバルな畳み込みモデルとしてS4の成功に寄与する基本原則を抽出することを目的とする。 我々は、畳み込みカーネルの構造に注目し、効率的なグローバル畳み込みモデルを構成するのに十分な2つの重要な、直感的な原則を特定します。 1) 畳み込み核のパラメータ化は, パラメータ数をシーケンス長でサブリニアにスケールするという意味で効率的である必要がある。 2) 核は、近接する近傍との畳み込みの重みがより遠方の重みよりも大きいような減衰構造を満たす必要がある。 この2つの原理に基づき,構造化グローバル畳み込み (structured global convolution, sgconv) と呼ばれる単純かつ効果的な畳み込みモデルを提案する。 SGConvはいくつかのタスクに対して強い経験的パフォーマンスを示す。 1) sgconv は高速で長距離アリーナと音声コマンドデータセットで s4 を超える。 2)SGConvを標準言語とビジョンモデルにプラグインすると,効率と性能が向上する可能性が示された。

関連論文リスト

• Reparameterized Multi-Resolution Convolutions for Long Sequence Modelling [13.627888191693712]
  本稿では,大域的畳み込みカーネルのパラメータ化手法を提案する。 本実験は,Long Range Arena,Sequential CIFAR,Speech Commandsタスクにおける最先端性能を示す。 また、2次元畳み込みを1D $textttMRConv$レイヤに置き換えることで、ImageNet分類の性能も向上したと報告した。
  論文  参考訳（メタデータ） (2024-08-18T12:20:03Z)
• Robust kernel-free quadratic surface twin support vector machine with capped $L_1$-norm distance metric [0.46040036610482665]
  本稿では,L_normカーネルフリーサーフェスツインサポートベクトルマシン(CL_QTSVM)を提案する。 キャップ付きL_norm距離メートル法を用いることで, モデルのロバスト性をさらに向上する。 提案手法を効率よく解くために反復アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-05-27T09:23:52Z)
• LongVQ: Long Sequence Modeling with Vector Quantization on Structured Memory [63.41820940103348]
  自己保持機構の計算コストは、長いシーケンスの実用性を制限する。 我々はLongVQと呼ばれる新しい手法を提案し、長さ固定されたコードブックとしてグローバルな抽象化を圧縮する。 LongVQは動的グローバルパターンとローカルパターンを効果的に維持し、長距離依存性の問題の欠如を補うのに役立つ。
  論文  参考訳（メタデータ） (2024-04-17T08:26:34Z)
• Convolutional State Space Models for Long-Range Spatiotemporal Modeling [65.0993000439043]
  ConvS5は、長距離時間モデリングのための効率的な変種である。 トランスフォーマーとConvNISTTMは、長い水平移動実験において、ConvLSTMより3倍速く、トランスフォーマーより400倍速くサンプルを生成する一方で、大幅に性能が向上した。
  論文  参考訳（メタデータ） (2023-10-30T16:11:06Z)
• Robustifying State-space Models for Long Sequences via Approximate Diagonalization [47.321212977509454]
  状態空間モデル(SSM)は、長距離シーケンスタスクを学習するためのフレームワークとして登場した。 HiPPOフレームワークの対角化は、それ自体が不適切な問題である。 本稿では,汎用的,後方安定な「摂動対角化(PTD)」手法を提案する。
  論文  参考訳（メタデータ） (2023-10-02T23:36:13Z)
• Deep Latent State Space Models for Time-Series Generation [68.45746489575032]
  状態空間ODEに従って進化する潜伏変数を持つ列の生成モデルLS4を提案する。 近年の深層状態空間モデル(S4)に着想を得て,LS4の畳み込み表現を利用して高速化を実現する。 LS4は, 実世界のデータセット上での限界分布, 分類, 予測スコアにおいて, 従来の連続時間生成モデルよりも有意に優れていた。
  論文  参考訳（メタデータ） (2022-12-24T15:17:42Z)
• Liquid Structural State-Space Models [106.74783377913433]
  Liquid-S4はLong-Range Arenaベンチマークで平均87.32%の性能を達成した。 全生音声コマンド認識では、データセットLiquid-S4は96.78%の精度で、S4と比較してパラメータ数が30%減少している。
  論文  参考訳（メタデータ） (2022-09-26T18:37:13Z)
• Long Range Language Modeling via Gated State Spaces [67.64091993846269]
  本稿では,英語書籍,Githubソースコード,ArXiv数学論文の自己回帰シーケンスモデリングに焦点をあてる。 Gated State Space (GSS) と呼ばれる新しい層を提案し、S4の対角線よりもかなり高速に訓練可能であることを示す。
  論文  参考訳（メタデータ） (2022-06-27T01:50:18Z)
• On the Parameterization and Initialization of Diagonal State Space Models [35.68370606343843]
  対角状態空間モデルのパラメータ化と初期化について述べる。 S4の行列の対角制限は、無限状態次元の極限において、驚くほど同じカーネルを回復することを示す。
  論文  参考訳（メタデータ） (2022-06-23T17:58:39Z)
• Diagonal State Spaces are as Effective as Structured State Spaces [3.8276199743296906]
  音声コマンドのデータセット上での音声分類は、概念的にシンプルで実装が容易でありながら、Long Range Arenaタスク上でのS4のパフォーマンスと一致することを示す。 本研究は,低ランク補正を伴わずともS4の性能に一致できることを示し,状態行列を対角線と仮定する。
  論文  参考訳（メタデータ） (2022-03-27T16:30:33Z)
• Efficiently Modeling Long Sequences with Structured State Spaces [15.456254157293836]
  本稿では,基本状態空間モデルに対する新しいパラメータ化に基づく新しいシーケンスモデルを提案する。 S4は、(i)データ拡張や補助損失を伴わないシーケンシャルCIFAR-10での91%の精度を含む、より大規模な2次元ResNetと同等の、さまざまな確立されたベンチマークで強力な実験結果を得る。
  論文  参考訳（メタデータ） (2021-10-31T03:32:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。