論文の概要: FaCTR: Factorized Channel-Temporal Representation Transformers for Efficient Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2506.05597v1
• Date: Thu, 05 Jun 2025 21:17:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-09 17:28:43.239753
• Title: FaCTR: Factorized Channel-Temporal Representation Transformers for Efficient Time Series Forecasting
• Title（参考訳）: FaCTR:効率的な時系列予測のための分解チャネル時間表現変換器
• Authors: Yash Vijay, Harini Subramanyan,
• Abstract要約: 時系列データは、時間ステップごとの情報密度が低く、チャネル間の複雑な依存関係が特徴である。 構造設計を明示した軽量な変換器FaCTRを提案する。 コンパクトな設計にもかかわらず、FaCTRは11の公開予測ベンチマークで最先端のパフォーマンスを誇った。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: While Transformers excel in language and vision-where inputs are semantically rich and exhibit univariate dependency structures-their architectural complexity leads to diminishing returns in time series forecasting. Time series data is characterized by low per-timestep information density and complex dependencies across channels and covariates, requiring conditioning on structured variable interactions. To address this mismatch and overparameterization, we propose FaCTR, a lightweight spatiotemporal Transformer with an explicitly structural design. FaCTR injects dynamic, symmetric cross-channel interactions-modeled via a low-rank Factorization Machine into temporally contextualized patch embeddings through a learnable gating mechanism. It further encodes static and dynamic covariates for multivariate conditioning. Despite its compact design, FaCTR achieves state-of-the-art performance on eleven public forecasting benchmarks spanning both short-term and long-term horizons, with its largest variant using close to only 400K parameters-on average 50x smaller than competitive spatiotemporal transformer baselines. In addition, its structured design enables interpretability through cross-channel influence scores-an essential requirement for real-world decision-making. Finally, FaCTR supports self-supervised pretraining, positioning it as a compact yet versatile foundation for downstream time series tasks.
• Abstract（参考訳）: トランスフォーマーは言語や視覚的な入力に優れており、セマンティックにリッチであり、単変量依存構造を示すが、アーキテクチャの複雑さは時系列予測におけるリターンの低下につながる。 時系列データは、時間ステップごとの情報密度が低く、チャネルと共変量間の複雑な依存関係が特徴であり、構造化された変数相互作用の条件付けを必要とする。 このミスマッチと過パラメータ化に対処するため, 構造設計を明示した軽量時空間変圧器FaCTRを提案する。 FaCTRは、低ランクファクトリゼーションマシンを介してモデル化された動的で対称なチャネル間相互作用を、学習可能なゲーティング機構を通じて時間的にコンテキスト化されたパッチ埋め込みに注入する。 さらに、多変量条件付けのための静的および動的共変体を符号化する。 コンパクトな設計にもかかわらず、FaCTRは短期と長期の地平線にまたがる11の公開予測ベンチマークで最先端のパフォーマンスを達成し、最大の変種は400Kに近いパラメータで、競合する時空間変圧器のベースラインよりも平均50倍小さい。 さらに、その構造設計により、実世界の意思決定に不可欠なチャンネル間影響スコアによる解釈が可能となる。 最後に、FaCTRは自己教師付き事前トレーニングをサポートし、下流の時系列タスクのためのコンパクトだが汎用的な基盤として位置づけている。

関連論文リスト

• Is Attention Required for Transformer Inference? Explore Function-preserving Attention Replacement [13.38679135071682]
  本稿では,事前学習したトランスフォーマーのすべての注意ブロックを学習可能なシーケンス・ツー・シーケンスモジュールに置き換える機能保存型アテンション・リプレースメントフレームワークを提案する。 DeiTビジョントランスファミリ上でFARを検証し、ImageNet上の元のモデルの精度と、パラメータとレイテンシを低減した複数の下流タスクとを一致させることを実証する。
  論文  参考訳（メタデータ） (2025-05-24T02:23:46Z)
• Sentinel: Multi-Patch Transformer with Temporal and Channel Attention for Time Series Forecasting [48.52101281458809]
  トランスフォーマーに基づく時系列予測は、シーケンシャルデータをモデル化するトランスフォーマーの能力により、近年、強い関心を集めている。 チャネル次元からコンテキスト情報を抽出できるエンコーダで構成されるトランスフォーマーベースのアーキテクチャであるSentinelを提案する。 マルチパッチアテンション機構を導入し、パッチ処理を利用して入力シーケンスをトランスフォーマーアーキテクチャに自然に組み込むことができるように構成する。
  論文  参考訳（メタデータ） (2025-03-22T06:01:50Z)
• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• Unlocking the Power of Patch: Patch-Based MLP for Long-Term Time Series Forecasting [0.0]
  近年,Transformer アーキテクチャを改良し,長期連続予測タスクの有効性を実証する研究が進められている。 これらのモデルの有効性は, 適用されたパッチ機構に大きく寄与する。 LTSFタスクのための新しいシンプルなパッチベースコンポーネント(PatchMLP)を提案する。
  論文  参考訳（メタデータ） (2024-05-22T12:12:20Z)
• Parsimony or Capability? Decomposition Delivers Both in Long-term Time Series Forecasting [46.63798583414426]
  時系列予測(LTSF)は時系列分析において重要なフロンティアである。 本研究は, 分析的および実証的な証拠から, 分解が過剰なモデルインフレーションを包含する鍵であることを実証する。 興味深いことに、時系列データの本質的なダイナミクスに分解を合わせることで、提案モデルは既存のベンチマークより優れている。
  論文  参考訳（メタデータ） (2024-01-22T13:15:40Z)
• CARD: Channel Aligned Robust Blend Transformer for Time Series Forecasting [50.23240107430597]
  本稿では,CARD(Channel Aligned Robust Blend Transformer)という特殊なトランスを設計する。 まず、CARDはチャネルに沿ったアテンション構造を導入し、信号間の時間的相関をキャプチャする。 第二に、マルチスケール知識を効率的に活用するために、異なる解像度のトークンを生成するトークンブレンドモジュールを設計する。 第3に,潜在的な過度な問題を軽減するため,時系列予測のためのロバストな損失関数を導入する。
  論文  参考訳（メタデータ） (2023-05-20T05:16:31Z)
• Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution [57.71199089609161]
  長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。 トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。 LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-05T13:59:29Z)
• TCCT: Tightly-Coupled Convolutional Transformer on Time Series Forecasting [6.393659160890665]
  本稿では, 密結合型畳み込み変換器(TCCT)と3つのTCCTアーキテクチャを提案する。 実世界のデータセットに対する我々の実験は、我々のTCCTアーキテクチャが既存の最先端トランスフォーマーモデルの性能を大幅に改善できることを示している。
  論文  参考訳（メタデータ） (2021-08-29T08:49:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。