論文の概要: Sequence Modeling with Multiresolution Convolutional Memory

• arxiv url: http://arxiv.org/abs/2305.01638v1
• Date: Tue, 2 May 2023 17:50:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-03 13:19:09.670370
• Title: Sequence Modeling with Multiresolution Convolutional Memory
• Title（参考訳）: 多分解能畳み込みメモリを用いたシーケンスモデリング
• Authors: Jiaxin Shi, Ke Alexander Wang, Emily B. Fox
• Abstract要約: 我々は、MultiresLayerと呼ばれるシーケンスモデリングのための新しいビルディングブロックを構築します。 我々のモデルの主要な構成要素はマルチレゾリューション・コンボリューションであり、入力シーケンスにおけるマルチスケールトレンドをキャプチャする。 本モデルでは,多数のシーケンス分類と自己回帰密度推定タスクについて,最先端の性能を示す。
• 参考スコア（独自算出の注目度）: 27.933992259501508
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Efficiently capturing the long-range patterns in sequential data sources salient to a given task -- such as classification and generative modeling -- poses a fundamental challenge. Popular approaches in the space tradeoff between the memory burden of brute-force enumeration and comparison, as in transformers, the computational burden of complicated sequential dependencies, as in recurrent neural networks, or the parameter burden of convolutional networks with many or large filters. We instead take inspiration from wavelet-based multiresolution analysis to define a new building block for sequence modeling, which we call a MultiresLayer. The key component of our model is the multiresolution convolution, capturing multiscale trends in the input sequence. Our MultiresConv can be implemented with shared filters across a dilated causal convolution tree. Thus it garners the computational advantages of convolutional networks and the principled theoretical motivation of wavelet decompositions. Our MultiresLayer is straightforward to implement, requires significantly fewer parameters, and maintains at most a $\mathcal{O}(N\log N)$ memory footprint for a length $N$ sequence. Yet, by stacking such layers, our model yields state-of-the-art performance on a number of sequence classification and autoregressive density estimation tasks using CIFAR-10, ListOps, and PTB-XL datasets.
• Abstract（参考訳）: 分類や生成モデリングなど、与えられたタスクに合ったシーケンシャルなデータソースの長距離パターンを効果的にキャプチャすることは、根本的な課題である。 ブライトフォース列挙のメモリ負荷と比較の空間トレードオフにおける一般的なアプローチは、トランスフォーマーのように複雑な逐次依存関係の計算負荷、リカレントニューラルネットワークのような計算負荷、あるいは多くのフィルタや大きなフィルタを持つ畳み込みネットワークのパラメータ負荷である。 代わりに、ウェーブレットに基づくマルチレゾリューション解析からインスピレーションを得て、シーケンスモデリングのための新しいビルディングブロックを定義します。 モデルの主要なコンポーネントはマルチレゾリューション畳み込みであり、入力シーケンスのマルチスケールトレンドをキャプチャします。 私たちのMultiresConvは、拡張因果畳み込み木にまたがる共用フィルタで実装できます。 したがって、畳み込みネットワークの計算上の利点とウェーブレット分解の原理的理論的動機が引き起こされる。 私たちのMultiresLayerは実装が簡単で、パラメータが大幅に少なく、最大$\mathcal{O}(N\log N)$メモリフットプリントを$N$シーケンスで保持します。 しかし, これらの層を積み重ねることで, CIFAR-10, ListOps, PTB-XLデータセットを用いて, シーケンス分類および自己回帰密度推定タスクの最先端性能が得られる。

関連論文リスト

• GrootVL: Tree Topology is All You Need in State Space Model [66.36757400689281]
  GrootVLは、視覚的タスクとテキストタスクの両方に適用できる多目的マルチモーダルフレームワークである。 本手法は, 画像分類, オブジェクト検出, セグメンテーションにおいて, 既存の構造化状態空間モデルよりも大幅に優れる。 大規模言語モデルの微調整により,本手法は訓練コストの少ない複数のテキストタスクにおいて一貫した改善を実現する。
  論文  参考訳（メタデータ） (2024-06-04T15:09:29Z)
• LongVQ: Long Sequence Modeling with Vector Quantization on Structured Memory [63.41820940103348]
  自己保持機構の計算コストは、長いシーケンスの実用性を制限する。 我々はLongVQと呼ばれる新しい手法を提案し、長さ固定されたコードブックとしてグローバルな抽象化を圧縮する。 LongVQは動的グローバルパターンとローカルパターンを効果的に維持し、長距離依存性の問題の欠如を補うのに役立つ。
  論文  参考訳（メタデータ） (2024-04-17T08:26:34Z)
• Toeplitz Neural Network for Sequence Modeling [46.04964190407727]
  Toeplitz行列ベクトル生成のトリックにより、シーケンスモデリングの時間的複雑さを減らし、ログ線形化することを示す。 パラメータの固定予算で相対位置係数を生成するために、相対位置エンコーダと呼ばれる軽量サブネットワークを提案する。 512 tokenのシーケンスでトレーニングされているにもかかわらず、我々のモデルは、一貫した性能で最大14Kトークンの入力シーケンス長を推定することができる。
  論文  参考訳（メタデータ） (2023-05-08T14:49:01Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• Dynamic Clone Transformer for Efficient Convolutional Neural Netwoks [0.0]
  本稿では,多経路完全連結パターン(MPFC)という概念を導入し,位相パターンの相互依存性,精度,効率性を再考する。 MPFCにインスパイアされた動的クローントランス (DCT) と呼ばれるデュアルブランチモジュールを提案し、入力から複数の複製を生成する。
  論文  参考訳（メタデータ） (2021-06-12T13:42:28Z)
• Scalable Visual Transformers with Hierarchical Pooling [61.05787583247392]
  本稿では,視覚的トークンを徐々にプールしてシーケンス長を縮小する階層的ビジュアルトランスフォーマ(hvt)を提案する。 計算の複雑さを増すことなく、深さ/幅/解像度/パッチサイズの寸法をスケールすることで、大きなメリットをもたらします。 当社のHVTはImageNetとCIFAR-100データセットの競合ベースラインを上回っています。
  論文  参考訳（メタデータ） (2021-03-19T03:55:58Z)
• Recurrent Graph Tensor Networks: A Low-Complexity Framework for Modelling High-Dimensional Multi-Way Sequence [24.594587557319837]
  我々は、リカレントニューラルネットワーク(RNN)における隠れ状態のモデリングを近似するグラフフィルタフレームワークを開発する。 提案するフレームワークは、複数のマルチウェイシーケンスモデリングタスクを通じて検証され、従来のRNNに対してベンチマークされる。 提案したRGTNは,標準RNNよりも優れるだけでなく,従来のRNNと関連する次元の曲線を緩和できることを示す。
  論文  参考訳（メタデータ） (2020-09-18T10:13:36Z)
• Normalizing Flows with Multi-Scale Autoregressive Priors [131.895570212956]
  マルチスケール自己回帰前処理(mAR)を通した遅延空間におけるチャネルワイド依存性を導入する。 我々のmARは、分割結合フロー層(mAR-SCF)を持つモデルに先立って、複雑なマルチモーダルデータの依存関係をよりよく捉えます。 我々は,mAR-SCFにより画像生成品質が向上し,FIDとインセプションのスコアは最先端のフローベースモデルと比較して向上したことを示す。
  論文  参考訳（メタデータ） (2020-04-08T09:07:11Z)
• Residual Shuffle-Exchange Networks for Fast Processing of Long Sequences [3.8848561367220276]
  本稿では,GELUとレイヤ正規化を用いた残差ネットワークに基づくShuffle-Exchangeネットワークの簡易かつ軽量なバージョンを提案する。 提案したアーキテクチャは, より長いシーケンスにスケールするだけでなく, より高速に収束し, 精度も向上する。 LAMBADA言語モデリングタスクのShuffle-Exchangeネットワークを超越し、MusicNetデータセットの最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2020-04-06T12:44:22Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。