論文の概要: Channel-Aware Low-Rank Adaptation in Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2407.17246v1
• Date: Wed, 24 Jul 2024 13:05:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-25 13:54:30.592122
• Title: Channel-Aware Low-Rank Adaptation in Time Series Forecasting
• Title（参考訳）: 時系列予測におけるチャネル対応低ランク適応
• Authors: Tong Nie, Yuewen Mei, Guoyang Qin, Jian Sun, Wei Ma,
• Abstract要約: 2つの代表的なチャネル戦略は、モデル表現性とロバスト性に密接に関連している。 本稿では,チャネル対応の低ランク適応手法を,アイデンティティ対応の個別コンポーネント上での条件付きCDモデルに適用する。
• 参考スコア（独自算出の注目度）: 43.684035409535696
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The balance between model capacity and generalization has been a key focus of recent discussions in long-term time series forecasting. Two representative channel strategies are closely associated with model expressivity and robustness, including channel independence (CI) and channel dependence (CD). The former adopts individual channel treatment and has been shown to be more robust to distribution shifts, but lacks sufficient capacity to model meaningful channel interactions. The latter is more expressive for representing complex cross-channel dependencies, but is prone to overfitting. To balance the two strategies, we present a channel-aware low-rank adaptation method to condition CD models on identity-aware individual components. As a plug-in solution, it is adaptable for a wide range of backbone architectures. Extensive experiments show that it can consistently and significantly improve the performance of both CI and CD models with demonstrated efficiency and flexibility. The code is available at https://github.com/tongnie/C-LoRA.
• Abstract（参考訳）: モデルキャパシティと一般化のバランスは、長期連続予測における最近の議論の重要な焦点となっている。 2つの代表的なチャネル戦略は、チャネル独立(CI)とチャネル依存(CD)を含むモデル表現性と堅牢性と密接に関連している。 前者は個別のチャネル処理を採用し、分散シフトに対してより堅牢であることが示されているが、意味のあるチャネル相互作用をモデル化するのに十分な能力がない。 後者は、複雑なチャネル間の依存関係を表現するためにより表現力があるが、過度に適合する傾向がある。 この2つの戦略のバランスをとるために、チャネル対応の低ランク適応法を、アイデンティティ対応の個別コンポーネント上で条件付きCDモデルに適用する。 プラグインソリューションとして、幅広いバックボーンアーキテクチャに適用可能である。 大規模な実験により、効率と柔軟性を示すことで、CIモデルとCDモデルの両方のパフォーマンスを一貫して、そして、大幅に改善できることが示されている。 コードはhttps://github.com/tongnie/C-LoRAで公開されている。

関連論文リスト

• Contrastive random lead coding for channel-agnostic self-supervision of biosignals [3.101600812051321]
  本稿では, チャネルに依存しない生体信号の自己超越に対して, CRLC(Contrative random lead coding)を導入する。 脳波と心電図のデータに基づいてモデルを事前学習し、下流のタスクのためにそれらを微調整することで、我々のアプローチを検証する。
  論文  参考訳（メタデータ） (2024-10-21T09:33:45Z)
• SOFTS: Efficient Multivariate Time Series Forecasting with Series-Core Fusion [59.96233305733875]
  時系列予測は、金融、交通管理、エネルギー、医療など様々な分野で重要な役割を果たしている。 いくつかの方法は、注意やミキサーのようなメカニズムを利用して、チャネル相関をキャプチャすることでこの問題に対処する。 本稿では,効率的なモデルであるSOFTS(Series-cOre Fused Time Series forecaster)を提案する。
  論文  参考訳（メタデータ） (2024-04-22T14:06:35Z)
• From Similarity to Superiority: Channel Clustering for Time Series Forecasting [61.96777031937871]
  CCM(Channel Clustering Module)を開発した。 CCMは、固有の類似性を特徴とするチャネルを動的にグループ化し、個々のチャネルのアイデンティティの代わりにクラスタ情報を活用する。 CCMは、CIモデルとCDモデルのパフォーマンスを、それぞれ長期および短期の予測において平均利率2.4%と7.2%で向上させることができる。
  論文  参考訳（メタデータ） (2024-03-31T02:46:27Z)
• MCformer: Multivariate Time Series Forecasting with Mixed-Channels Transformer [8.329947472853029]
  Channel Independence(CI)戦略は、すべてのチャネルを単一のチャネルとして扱い、データセットを拡張する。 Mixed Channels戦略は、CI戦略のデータ拡張アドバンテージと、チャネル間の相関を忘れないように対処する機能を組み合わせたものだ。 モデルは特定の数のチャネルをブレンドし、チャネル間の相関情報を効果的に取得するための注意機構を活用する。
  論文  参考訳（メタデータ） (2024-03-14T09:43:07Z)
• Guided Diffusion from Self-Supervised Diffusion Features [49.78673164423208]
  ガイダンスは拡散モデルにおいて重要な概念として機能するが、その効果は追加のデータアノテーションや事前学習の必要性によって制限されることが多い。 本稿では,拡散モデルからガイダンスを抽出するフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-14T11:19:11Z)
• Is Channel Independent strategy optimal for Time Series Forecasting? [0.0]
  現在のCI戦略が時系列予測のベストソリューションであるかどうかを検討します。 まず、単純なCSCと呼ばれる戦略を提案し、これは$mathbfC$hannel $mathbfS$elf-$mathbfC$lustering戦略を表す。 第2に,自己クラスタリングにインスパイアされたディープモデルのためのChannel Rearrangement (CR)を提案する。
  論文  参考訳（メタデータ） (2023-10-18T15:24:34Z)
• The Capacity and Robustness Trade-off: Revisiting the Channel Independent Strategy for Multivariate Time Series Forecasting [50.48888534815361]
  本稿では、Channel Dependent(CD)戦略でトレーニングされたモデルが、Channel Dependent(CD)戦略でトレーニングされたモデルよりも優れていることを示す。 以上の結果から,CD手法は高いキャパシティを持つが,分散ドリフト時系列を正確に予測する堅牢性に欠けることがわかった。 本稿では,CI戦略を超越した正規化(PRReg)による予測残差法(Predict Residuals with Regularization, PRReg)を提案する。
  論文  参考訳（メタデータ） (2023-04-11T13:15:33Z)
• DAIS: Automatic Channel Pruning via Differentiable Annealing Indicator Search [55.164053971213576]
  畳み込みニューラルネットワークは,計算オーバーヘッドが大きいにもかかわらず,コンピュータビジョンタスクの実行において大きな成功を収めている。 構造的(チャネル)プルーニングは、通常、ネットワーク構造を保ちながらモデルの冗長性を低減するために適用される。 既存の構造化プルーニング法では、手作りのルールが必要であり、これは大きなプルーニング空間に繋がる可能性がある。
  論文  参考訳（メタデータ） (2020-11-04T07:43:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。