論文の概要: Kernel-U-Net: Hierarchical and Symmetrical Framework for Multivariate
Time Series Forecasting
- arxiv url: http://arxiv.org/abs/2401.01479v1
- Date: Wed, 3 Jan 2024 00:49:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-04 15:34:07.134901
- Title: Kernel-U-Net: Hierarchical and Symmetrical Framework for Multivariate
Time Series Forecasting
- Title(参考訳): kernel-u-net:多変量時系列予測のための階層的および対称的フレームワーク
- Authors: Jiang You, Re\'ne Natowicz, Arben Cela, Jacob Ouanounou, Patrick
Siarry
- Abstract要約: 近年のU-Netベースの手法は,実世界のデータセットの予測において優れた性能を示した。
本稿では,ネットワークの各層で入力シーケンスをスライスに分割し,カーネルを用いて計算する,対称的で階層的なKernel-U-Netを提案する。
- 参考スコア(独自算出の注目度): 2.0186752447895993
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Time series forecasting task predicts future trends based on historical
information. Recent U-Net-based methods have demonstrated superior performance
in predicting real-world datasets. However, the performance of these models is
lower than patch-based models or linear models. In this work, we propose a
symmetric and hierarchical framework, Kernel-U-Net, which cuts the input
sequence into slices at each layer of the network and then computes them using
kernels. Furthermore, it generalizes the concept of convolutional kernels in
classic U-Net to accept custom kernels that follow the same design pattern.
Compared to the existing linear or transformer-based solution, our model
contains 3 advantages: 1) A small number of parameters: the parameters size is
$O(log(L)^2)$ where $L$ is the look-back window size, 2) Flexibility: its
kernels can be customized and fitted to the datasets, 3) Computation
efficiency: the computation complexity of transformer modules is reduced to
$O(log(L)^2)$ if they are placed close to the latent vector. Kernel-U-Net
accuracy was greater than or equal to the state-of-the-art model on six (out of
seven) real-world datasets.
- Abstract(参考訳): 時系列予測タスクは、履歴情報に基づいて将来のトレンドを予測する。
近年のU-Netベースの手法は,実世界のデータセット予測において優れた性能を示した。
しかし、これらのモデルの性能はパッチベースモデルや線形モデルよりも低い。
本研究では,ネットワークの各層で入力シーケンスをスライスに分割し,カーネルを用いて計算する,対称的で階層的なKernel-U-Netを提案する。
さらに、U-Netにおける畳み込みカーネルの概念を一般化し、同じ設計パターンに従うカスタムカーネルを受け入れる。
既存の線形あるいは変圧器ベースのソリューションと比較して、我々のモデルは3つの利点がある。
パラメータのサイズは$o(log(l)^2)$であり、ここで$l$はルックバックウィンドウサイズである。
2) 柔軟性: カーネルをカスタマイズしてデータセットに適合させることができる。
3) 計算効率: 変圧器モジュールの計算複雑性は、潜伏ベクトルに近ければ$O(log(L)^2)$に削減される。
Kernel-U-Netの精度は、6つの(7つの)実世界のデータセットの最先端モデルよりも高かった。
関連論文リスト
- TCCT-Net: Two-Stream Network Architecture for Fast and Efficient Engagement Estimation via Behavioral Feature Signals [58.865901821451295]
本稿では,新しい2ストリーム機能融合 "Tensor-Convolution and Convolution-Transformer Network" (TCCT-Net) アーキテクチャを提案する。
時間空間領域における意味のあるパターンをよりよく学習するために、ハイブリッド畳み込み変換器を統合する「CT」ストリームを設計する。
並行して、時間周波数領域からリッチなパターンを効率的に抽出するために、連続ウェーブレット変換(CWT)を用いて情報を2次元テンソル形式で表現する「TC」ストリームを導入する。
論文 参考訳(メタデータ) (2024-04-15T06:01:48Z) - ConvTimeNet: A Deep Hierarchical Fully Convolutional Model for
Multivariate Time Series Analysis [8.560776357590088]
ConvTimeNetは、時系列解析のための汎用モデルとして設計された、新しい階層的完全畳み込みネットワークである。
結果は、ほとんどの状況において、有効性という点で、一貫して強いベースラインを上回りました。
論文 参考訳(メタデータ) (2024-03-03T12:05:49Z) - Stochastic Configuration Machines: FPGA Implementation [4.57421617811378]
コンフィグレーションネットワーク(SCN)は、データモデリングのメリットと実現可能性から、産業アプリケーションにおいて主要な選択肢である。
本稿では、フィールドプログラマブルゲートアレイ(FPGA)にSCMモデルを実装し、学習性能を向上させるためにバイナリコード入力を導入することを目的とする。
論文 参考訳(メタデータ) (2023-10-30T02:04:20Z) - Tensor Slicing and Optimization for Multicore NPUs [2.670309629218727]
本稿では,Slicing Optimization (TSO) と呼ばれるマルチコアNPUに対するコンパイラ最適化パスを提案する。
TSOは、一連のCNNモデルの実行時間を最小化する最高のテンソルスライシングを特定する。
その結果、TSOは一連のCNNモデルの実行時間を最小化する最適なテンソルスライシングを識別できることがわかった。
論文 参考訳(メタデータ) (2023-04-06T12:03:03Z) - An Adaptive Device-Edge Co-Inference Framework Based on Soft
Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。
本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。
レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文 参考訳(メタデータ) (2022-01-09T09:31:50Z) - Kernel Identification Through Transformers [54.3795894579111]
カーネル選択はガウス過程(GP)モデルの性能決定において中心的な役割を果たす。
この研究は、高次元GP回帰モデルのためのカスタムカーネル関数を構築するという課題に対処する。
KITT: Kernel Identification through Transformersを提案する。
論文 参考訳(メタデータ) (2021-06-15T14:32:38Z) - Random Features for the Neural Tangent Kernel [57.132634274795066]
完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。
得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
論文 参考訳(メタデータ) (2021-04-03T09:08:12Z) - Einsum Networks: Fast and Scalable Learning of Tractable Probabilistic
Circuits [99.59941892183454]
我々は,PC用の新しい実装設計であるEinsum Networks (EiNets)を提案する。
中心となるのは、E EiNets は単一のモノリシックな einsum-operation に多数の算術演算を組み合わせている。
本稿では,PCにおける予測最大化(EM)の実装を,自動微分を利用した簡易化が可能であることを示す。
論文 参考訳(メタデータ) (2020-04-13T23:09:15Z) - PolyScientist: Automatic Loop Transformations Combined with Microkernels
for Optimization of Deep Learning Primitives [55.79741270235602]
深層学習カーネル開発のためのハイブリッドソリューションを開発する。
我々は、高度な多面体技術を用いて、パフォーマンスのために外部ループを自動的に調整する。
論文 参考訳(メタデータ) (2020-02-06T08:02:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。