論文の概要: FSMLP: Modelling Channel Dependencies With Simplex Theory Based Multi-Layer Perceptions In Frequency Domain

• arxiv url: http://arxiv.org/abs/2412.01654v2
• Date: Tue, 03 Dec 2024 04:40:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:43:27.719264
• Title: FSMLP: Modelling Channel Dependencies With Simplex Theory Based Multi-Layer Perceptions In Frequency Domain
• Title（参考訳）: FSMLP:周波数領域におけるシンメックス理論に基づく多層知覚を用いたチャネル依存性のモデル化
• Authors: Zhengnan Li, Haoxuan Li, Hao Wang, Jun Fang, Duoyin Li Yunxiao Qin,
• Abstract要約: 時系列予測(TSF)は、Webデータ分析、エネルギー消費予測、天気予報など、さまざまな領域において重要な役割を果たす。 MLP(Multi-Layer Perceptrons)は、一時的依存関係をキャプチャするのに軽量で効果的であるが、チャネル間の依存関係をモデル化する場合、過度に適合する傾向がある。 本手法では, モデルが単純なパターンを学習し, 過度な値に収まらないようにする。
• 参考スコア（独自算出の注目度）: 16.693117400535833
• License:
• Abstract: Time series forecasting (TSF) plays a crucial role in various domains, including web data analysis, energy consumption prediction, and weather forecasting. While Multi-Layer Perceptrons (MLPs) are lightweight and effective for capturing temporal dependencies, they are prone to overfitting when used to model inter-channel dependencies. In this paper, we investigate the overfitting problem in channel-wise MLPs using Rademacher complexity theory, revealing that extreme values in time series data exacerbate this issue. To mitigate this issue, we introduce a novel Simplex-MLP layer, where the weights are constrained within a standard simplex. This strategy encourages the model to learn simpler patterns and thereby reducing overfitting to extreme values. Based on the Simplex-MLP layer, we propose a novel \textbf{F}requency \textbf{S}implex \textbf{MLP} (FSMLP) framework for time series forecasting, comprising of two kinds of modules: \textbf{S}implex \textbf{C}hannel-\textbf{W}ise MLP (SCWM) and \textbf{F}requency \textbf{T}emporal \textbf{M}LP (FTM). The SCWM effectively leverages the Simplex-MLP to capture inter-channel dependencies, while the FTM is a simple yet efficient temporal MLP designed to extract temporal information from the data. Our theoretical analysis shows that the upper bound of the Rademacher Complexity for Simplex-MLP is lower than that for standard MLPs. Moreover, we validate our proposed method on seven benchmark datasets, demonstrating significant improvements in forecasting accuracy and efficiency, while also showcasing superior scalability. Additionally, we demonstrate that Simplex-MLP can improve other methods that use channel-wise MLP to achieve less overfitting and improved performance. Code are available \href{https://github.com/FMLYD/FSMLP}{\textcolor{red}{here}}.
• Abstract（参考訳）: 時系列予測(TSF)は、Webデータ分析、エネルギー消費予測、天気予報など、さまざまな領域において重要な役割を果たす。 MLP(Multi-Layer Perceptrons)は、一時的依存関係をキャプチャするのに軽量で効果的であるが、チャネル間の依存関係をモデル化する場合、過度に適合する傾向がある。 本稿では,Rademacher複雑性理論を用いたチャネルワイドMLPの過度適合問題について検討し,時系列データの極端な値がこの問題を悪化させることを示した。 この問題を軽減するために、我々は、標準の単純度内で重みが制約される新しいSimplex-MLP層を導入する。 この戦略は、モデルがより単純なパターンを学習し、極端な値への過度な適合を減らすことを奨励する。 The Simplex-MLP layer, we propose a novel \textbf{F}requency \textbf{S}implex \textbf{MLP} (FSMLP) framework for time series forecasting: \textbf{S}implex \textbf{C}hannel-\textbf{W}ise MLP (SCWM) and \textbf{F}requency \textbf{T}emporal \textbf{M}LP (FTM)。 SCWMはSimplex-MLPを効果的に利用してチャネル間の依存関係をキャプチャし、FTMはデータから時間情報を抽出するために設計されたシンプルで効率的な時間的MLPである。 理論解析により, 単純X-MLP のラデマッハ複雑性の上限は標準 MLP よりも低いことがわかった。 さらに,提案手法を7つのベンチマークデータセット上で検証し,精度と効率を予測し,優れたスケーラビリティを示す。 さらに,チャネルワイズ MLP を用いてオーバーフィッティングを低減し,性能を向上する他の手法も,Simplex-MLP によって改善できることを実証した。 コードは href{https://github.com/FMLYD/FSMLP}{\textcolor{red}{here}} で入手できる。

関連論文リスト

• CALF: Aligning LLMs for Time Series Forecasting via Cross-modal Fine-Tuning [59.88924847995279]
  MTSFのためのクロスモーダルLCMファインチューニング(CALF)フレームワークを提案する。 分散の相違を低減するため,クロスモーダルマッチングモジュールを開発した。 CALFは、長期および短期の予測タスクの最先端のパフォーマンスを確立する。
  論文  参考訳（メタデータ） (2024-03-12T04:04:38Z)
• Is Vanilla MLP in Neural Radiance Field Enough for Few-shot View Synthesis? [19.34823662319042]
  NeRFは、シーンをMLP(Multi-Layer Perception)とボリュームレンダリング手順でモデル化することで、新しいビュー合成において優れた性能を実現している。 既知のビューが少ないと、モデルは与えられたビューを過度に適合させる傾向がある。
  論文  参考訳（メタデータ） (2024-03-10T04:27:06Z)
• Frequency-domain MLPs are More Effective Learners in Time Series Forecasting [67.60443290781988]
  時系列予測は、金融、交通、エネルギー、医療など、さまざまな産業領域において重要な役割を果たしてきた。 最多ベースの予測手法は、ポイントワイドマッピングと情報のボトルネックに悩まされる。 本稿では、時系列予測のための周波数領域上に構築された、シンプルで効果的なアーキテクチャであるFreTSを提案する。
  論文  参考訳（メタデータ） (2023-11-10T17:05:13Z)
• Strip-MLP: Efficient Token Interaction for Vision MLP [31.02197585697145]
  textbfStrip-MLPを導入し,トークン間相互作用を3つの方法で強化する。 Strip-MLPは、小さなデータセット上での空間モデルの性能を大幅に改善する。 CIFAR-100ではCaltech-101では+2.44%、CIFAR-100では+2.16%である。
  論文  参考訳（メタデータ） (2023-07-21T09:40:42Z)
• MLP Fusion: Towards Efficient Fine-tuning of Dense and Mixture-of-Experts Language Models [33.86069537521178]
  訓練済みの言語モデル(PLM)を微調整することは、多くの自然言語処理アプリケーションにおいて主要な戦略として現れる。 一般的なアプローチ(量子化や蒸留など)は、PLM微細チューニングの計算/メモリを減らすために広く研究されている。 微調整に特化して設計されたワンショット圧縮技術を提案する。
  論文  参考訳（メタデータ） (2023-07-18T03:12:51Z)
• UNeXt: MLP-based Rapid Medical Image Segmentation Network [80.16644725886968]
  UNetとその最新の拡張であるTransUNetは、ここ数年で主要な医療画像分割手法である。 画像分割のための畳み込み多層パーセプトロンネットワークUNeXtを提案する。 パラメータ数を72倍に減らし,計算複雑性を68倍に減らし,推論速度を10倍に改善し,セグメンテーション性能も向上した。
  論文  参考訳（メタデータ） (2022-03-09T18:58:22Z)
• Rethinking Network Design and Local Geometry in Point Cloud: A Simple Residual MLP Framework [55.40001810884942]
  我々は、洗練された局所幾何学的抽出器を組み込んだ純粋な残留ネットワークPointMLPを導入するが、それでも非常に競争力がある。 実世界のScanObjectNNデータセットでは,従来のベストメソッドを3.3%の精度で上回ります。 最新のCurveNetと比較して、PointMLPは2倍速く、テストは7倍速く、ModelNet40ベンチマークではより正確である。
  論文  参考訳（メタデータ） (2022-02-15T01:39:07Z)
• RepMLPNet: Hierarchical Vision MLP with Re-parameterized Locality [113.1414517605892]
  そこで本研究では,FC層に局所前処理を組み込む手法であるLocality Injectionを提案する。 RepMLPNetはCityscapesセマンティックセグメンテーションにシームレスに移行した最初の企業である。
  論文  参考訳（メタデータ） (2021-12-21T10:28:17Z)
• Sparse-MLP: A Fully-MLP Architecture with Conditional Computation [7.901786481399378]
  厳密な条件計算を伴うMoE(Mixture-of-Experts)は、注意に基づくモデルを、同等の計算コストでより多くのパラメータに拡張するための効果的なアーキテクチャであることが証明されている。 我々は、より効率的なアーキテクチャを実現するために、最近のMixerモデルをMoEで拡張するSparse-MLPを提案する。
  論文  参考訳（メタデータ） (2021-09-05T06:43:08Z)
• AS-MLP: An Axial Shifted MLP Architecture for Vision [50.11765148947432]
  本稿では,Axial Shifted Architecture (AS-MLP)を提案する。 特徴写像のチャネルを軸シフトすることにより、AS-MLPは異なる方向から情報の流れを得ることができる。 提案したAS-MLPアーキテクチャでは,ImageNet-1Kデータセット上の88Mパラメータと15.2GFLOPを用いて,83.3%のTop-1精度が得られる。
  論文  参考訳（メタデータ） (2021-07-18T08:56:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。