論文の概要: Disentangled Interpretable Representation for Efficient Long-term Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2411.17257v1
• Date: Tue, 26 Nov 2024 09:33:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:34:13.818813
• Title: Disentangled Interpretable Representation for Efficient Long-term Time Series Forecasting
• Title（参考訳）: 効率的な時系列予測のための不整合解釈型表現法
• Authors: Yuang Zhao, Tianyu Li, Jiadong Chen, Shenrong Ye, Fuxin Jiang, Tieying Zhang, Xiaofeng Gao,
• Abstract要約: 業界 5.0 が時系列予測(LTSF)の新たな課題を導入 既存のディープラーニングと線形モデルは、しばしば過度の複雑さに悩まされ、直感的に解釈できない。 本稿では,Dentangled Interpretable である DiPE-Linear を提案する。 線形ネットワーク。
• 参考スコア（独自算出の注目度）: 8.315265596107686
• License:
• Abstract: Industry 5.0 introduces new challenges for Long-term Time Series Forecasting (LTSF), characterized by high-dimensional, high-resolution data and high-stakes application scenarios. Against this backdrop, developing efficient and interpretable models for LTSF becomes a key challenge. Existing deep learning and linear models often suffer from excessive parameter complexity and lack intuitive interpretability. To address these issues, we propose DiPE-Linear, a Disentangled interpretable Parameter-Efficient Linear network. DiPE-Linear incorporates three temporal components: Static Frequential Attention (SFA), Static Temporal Attention (STA), and Independent Frequential Mapping (IFM). These components alternate between learning in the frequency and time domains to achieve disentangled interpretability. The decomposed model structure reduces parameter complexity from quadratic in fully connected networks (FCs) to linear and computational complexity from quadratic to log-linear. Additionally, a Low-Rank Weight Sharing policy enhances the model's ability to handle multivariate series. Despite operating within a subspace of FCs with limited expressive capacity, DiPE-Linear demonstrates comparable or superior performance to both FCs and nonlinear models across multiple open-source and real-world LTSF datasets, validating the effectiveness of its sophisticatedly designed structure. The combination of efficiency, accuracy, and interpretability makes DiPE-Linear a strong candidate for advancing LTSF in both research and real-world applications. The source code is available at https://github.com/wintertee/DiPE-Linear.
• Abstract（参考訳）: 業界 5.0 は、高次元、高解像度のデータと高精細なアプリケーションシナリオを特徴とする、長期時系列予測(LTSF)の新たな課題を導入している。 このような背景から、LTSFの効率的かつ解釈可能なモデルの開発が重要な課題となっている。 既存のディープラーニングと線形モデルは、しばしば過剰なパラメータの複雑さに悩まされ、直感的に解釈できない。 これらの問題に対処するために,Dentangled Interpretable Parameter-Efficient Linear Network である DiPE-Linear を提案する。 DiPE-Linearには、SFA(Static Frequential Attention)、STA(Static Temporal Attention)、IFM(Independent Frequential Mapping)という3つの一時的なコンポーネントが含まれている。 これらのコンポーネントは、周波数領域の学習と時間領域の間の交互に、非絡み合った解釈性を実現する。 分解されたモデル構造は、完全連結ネットワーク(FC)における二次的なパラメータ複雑性から、二次的から対数線型への線形および計算の複雑さを減少させる。 さらに、Low-Rank Weight Sharingポリシーは、モデルを多変量級数を扱う能力を高める。 DiPE-Linearは、表現能力に制限のあるFCのサブスペース内で運用されているにもかかわらず、複数のオープンソースおよび実世界のLTSFデータセットにおいて、FCと非線形モデルの両方に匹敵するあるいは優れた性能を示し、その洗練された構造の有効性を検証している。 効率性、精度、解釈可能性の組み合わせにより、DPE-Linearは研究と現実世界の両方のアプリケーションにおいてLTSFを前進させる強力な候補となる。 ソースコードはhttps://github.com/wintertee/DiPE-Linear.comで入手できる。

関連論文リスト

• A Temporal Linear Network for Time Series Forecasting [0.0]
  本稿では,線形モデルの能力を拡張しつつ,解釈性と計算効率を向上する時間線形ネット(TLN)を提案する。 我々のアプローチはアーキテクチャ全体を通して厳密な線形性を維持するTSMixerの変種である。 TLNの重要な革新は、同等の線形モデルを計算する能力であり、TSMixerのようなより複雑なアーキテクチャでは見つからないレベルの解釈性を提供する。
  論文  参考訳（メタデータ） (2024-10-28T18:51:19Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• KV Cache Compression, But What Must We Give in Return? A Comprehensive Benchmark of Long Context Capable Approaches [52.02764371205856]
  長期の文脈能力は、大規模言語モデル(LLM)にとって重要な能力である この研究は、現在の手法の分類を提供し、長いコンテキストタスクの7つのカテゴリにまたがる10以上の最先端のアプローチを評価する。
  論文  参考訳（メタデータ） (2024-07-01T17:59:47Z)
• Long Context Alignment with Short Instructions and Synthesized Positions [56.1267385315404]
  本稿では,ステップスキッピングアライメント(SkipAlign)を紹介する。 これは、Large Language Models(LLMs)の長期コンテキスト機能を強化するために設計された新しい技術である。 ベースモデルとアライメントデータセットを慎重に選択することで、SkipAlignは6Bパラメータだけで最高のパフォーマンスを実現し、LongBenchのGPT-3.5-Turbo-16Kのような強力なベースラインに匹敵する。
  論文  参考訳（メタデータ） (2024-05-07T01:56:22Z)
• TSLANet: Rethinking Transformers for Time Series Representation Learning [19.795353886621715]
  時系列データは、その固有の長短の依存関係によって特徴づけられる。 本稿では,時系列タスクの普遍的畳み込みモデルとして,新しい時系列軽量ネットワーク(TSLANet)を導入する。 我々の実験では、TSLANetは分類、予測、異常検出にまたがる様々なタスクにおいて最先端のモデルよりも優れていることを示した。
  論文  参考訳（メタデータ） (2024-04-12T13:41:29Z)
• B-LSTM-MIONet: Bayesian LSTM-based Neural Operators for Learning the Response of Complex Dynamical Systems to Length-Variant Multiple Input Functions [6.75867828529733]
  マルチインプットディープニューラル演算子(MIONet)は、異なるバナッハ空間における複数の入力関数を可能にするためにDeepONetを拡張した。 MIONetは、出力位置の制約なしにデータセットグリッド間隔をトレーニングする柔軟性を提供する。 この作業はMIONetを再設計し、Long Short Term Memory(LSTM)を統合して、時間依存のデータからニューラル演算子を学ぶ。
  論文  参考訳（メタデータ） (2023-11-28T04:58:17Z)
• Long-term Time Series Forecasting based on Decomposition and Neural Ordinary Differential Equations [23.51377034692954]
  長期の時系列予測は、金融投資、医療、交通、天気予報など様々な分野で研究されている課題である。 本稿では,線形常微分方程式(ODE)に基づくモデルと,データ統計特性に基づく時系列分解法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T08:22:38Z)
• Analysis and Optimization of Wireless Federated Learning with Data Heterogeneity [72.85248553787538]
  本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。 ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。 実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-04T04:18:01Z)
• Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution [57.71199089609161]
  長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。 トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。 LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-05T13:59:29Z)
• Learning summary features of time series for likelihood free inference [93.08098361687722]
  時系列データから要約機能を自動的に学習するためのデータ駆動型戦略を提案する。 以上の結果から,データから要約的特徴を学習することで,手作りの値に基づいてLFI手法よりも優れる可能性が示唆された。
  論文  参考訳（メタデータ） (2020-12-04T19:21:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。