論文の概要: Reparameterized Multi-Resolution Convolutions for Long Sequence Modelling

• arxiv url: http://arxiv.org/abs/2408.09453v1
• Date: Sun, 18 Aug 2024 12:20:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-08-20 20:30:46.966424
• Title: Reparameterized Multi-Resolution Convolutions for Long Sequence Modelling
• Title（参考訳）: ロングシーケンスモデリングのための再パラメータ化多解畳み込み
• Authors: Harry Jake Cunningham, Giorgio Giannone, Mingtian Zhang, Marc Peter Deisenroth,
• Abstract要約: 本稿では,大域的畳み込みカーネルのパラメータ化手法を提案する。 本実験は,Long Range Arena,Sequential CIFAR,Speech Commandsタスクにおける最先端性能を示す。 また、2次元畳み込みを1D $textttMRConv$レイヤに置き換えることで、ImageNet分類の性能も向上したと報告した。
• 参考スコア（独自算出の注目度）: 13.627888191693712
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Global convolutions have shown increasing promise as powerful general-purpose sequence models. However, training long convolutions is challenging, and kernel parameterizations must be able to learn long-range dependencies without overfitting. This work introduces reparameterized multi-resolution convolutions ($\texttt{MRConv}$), a novel approach to parameterizing global convolutional kernels for long-sequence modelling. By leveraging multi-resolution convolutions, incorporating structural reparameterization and introducing learnable kernel decay, $\texttt{MRConv}$ learns expressive long-range kernels that perform well across various data modalities. Our experiments demonstrate state-of-the-art performance on the Long Range Arena, Sequential CIFAR, and Speech Commands tasks among convolution models and linear-time transformers. Moreover, we report improved performance on ImageNet classification by replacing 2D convolutions with 1D $\texttt{MRConv}$ layers.
• Abstract（参考訳）: グローバルな畳み込みは強力な汎用シーケンスモデルとして期待されている。 しかし、長い畳み込みのトレーニングは困難であり、カーネルパラメータ化は過度に適合することなく長距離依存関係を学習できなければならない。 この研究は、長周期モデリングのためのグローバルな畳み込みカーネルをパラメータ化するための新しいアプローチである、再パラメータ化された多重解像度畳み込み("\texttt{MRConv}$")を導入している。 マルチレゾリューションの畳み込みを活用し、構造的再パラメータ化を導入し、学習可能なカーネル崩壊を導入することで、$\texttt{MRConv}$は様々なデータモダリティでよく機能する表現力のある長距離カーネルを学ぶ。 コンボリューションモデルと線形時間変換器間のLong Range Arena, Sequential CIFAR, Speech Commandsタスクにおける最先端性能について実験を行った。 さらに,2次元畳み込みを1D $\texttt{MRConv}$レイヤに置き換えることで,画像ネット分類の性能向上を報告した。

関連論文リスト

• Systems and Algorithms for Convolutional Multi-Hybrid Language Models at Scale [68.6602625868888]
  本稿では,2つの簡単な観測に基づいて,畳み込み型マルチハイブリッドアーキテクチャを提案する。 ハイブリッドモデルのオペレータは、インコンテキストリコール、マルチトークンリコール、圧縮などのトークン操作タスクにカスタマイズできる。 我々は、最適化されたトランスフォーマーの1.2倍から2.9倍、以前の世代のハイブリッドの1.1倍から1.4倍の速さでエンドツーエンドを訓練する。
  論文  参考訳（メタデータ） (2025-02-25T19:47:20Z)
• RecConv: Efficient Recursive Convolutions for Multi-Frequency Representations [8.346566205092433]
  RecConvは、小さなカーネル畳み込みを用いた多周波表現を効率的に構築する分解戦略である。 RecNeXt-M3 は RepViT-M1.1 を COCO 上で 1.9$APbox$ で上回っている。
  論文  参考訳（メタデータ） (2024-12-27T13:13:52Z)
• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• LongVQ: Long Sequence Modeling with Vector Quantization on Structured Memory [63.41820940103348]
  自己保持機構の計算コストは、長いシーケンスの実用性を制限する。 我々はLongVQと呼ばれる新しい手法を提案し、長さ固定されたコードブックとしてグローバルな抽象化を圧縮する。 LongVQは動的グローバルパターンとローカルパターンを効果的に維持し、長距離依存性の問題の欠如を補うのに役立つ。
  論文  参考訳（メタデータ） (2024-04-17T08:26:34Z)
• Sample Complexity Characterization for Linear Contextual MDPs [67.79455646673762]
  文脈決定プロセス(CMDP)は、遷移カーネルと報酬関数がコンテキスト変数によってインデックス付けされた異なるMDPで時間とともに変化できる強化学習のクラスを記述する。 CMDPは、時間とともに変化する環境で多くの現実世界のアプリケーションをモデル化するための重要なフレームワークとして機能する。 CMDPを2つの線形関数近似モデルで検討する: 文脈変化表現とすべての文脈に対する共通線形重み付きモデルIと、すべての文脈に対する共通表現と文脈変化線形重み付きモデルIIである。
  論文  参考訳（メタデータ） (2024-02-05T03:25:04Z)
• Sequence Modeling with Multiresolution Convolutional Memory [27.218134279968062]
  我々は、MultiresLayerと呼ばれるシーケンスモデリングのための新しいビルディングブロックを構築します。 我々のモデルの主要な構成要素はマルチレゾリューション・コンボリューションであり、入力シーケンスにおけるマルチスケールトレンドをキャプチャする。 本モデルでは,多数のシーケンス分類と自己回帰密度推定タスクについて,最先端の性能を示す。
  論文  参考訳（メタデータ） (2023-05-02T17:50:54Z)
• SMPConv: Self-moving Point Representations for Continuous Convolution [4.652175470883851]
  本稿では,ニューラルネットワークを使わずに連続的な畳み込みを構築するための代替手法を提案する。 重みパラメータが自由に動く自己移動点表現と連続関数の実装にスキームを用いる。 その軽量な構造のため、我々はまず大規模な環境で連続的畳み込みの有効性を実証する。
  論文  参考訳（メタデータ） (2023-04-05T09:36:30Z)
• Incorporating Transformer Designs into Convolutions for Lightweight Image Super-Resolution [46.32359056424278]
  大規模な畳み込みカーネルは畳み込みニューラルネットワークの設計に人気がある。 カーネルのサイズが大きくなるとパラメータの数が2倍に増加し、計算量やメモリの要求も大きくなる。 本稿では,自己注意機構を付加した標準畳み込みを改良した近傍注意モジュールを提案する。 NAモジュールをベースとして,TSRと呼ばれる軽量単一画像超解像(SISR)ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-03-25T01:32:18Z)
• DO-Conv: Depthwise Over-parameterized Convolutional Layer [66.46704754669169]
  本稿では,各入力チャネルが異なる2次元カーネルに変換されるような,奥行きの畳み込みを付加した畳み込み層の拡張を提案する。 従来の畳み込み層をDO-Conv層に置き換えただけでCNNの性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-06-22T06:57:10Z)
• Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
  本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。 これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。 この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2020-02-21T05:00:01Z)
• Supervised Learning for Non-Sequential Data: A Canonical Polyadic Decomposition Approach [85.12934750565971]
  特徴相互作用の効率的なモデリングは、非順序的タスクに対する教師あり学習の基盤となる。 この問題を緩和するため、モデルパラメータをテンソルとして暗黙的に表現することが提案されている。 表現性を向上するため,任意の高次元特徴ベクトルに特徴写像を適用できるようにフレームワークを一般化する。
  論文  参考訳（メタデータ） (2020-01-27T22:38:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。