論文の概要: RankFormer: Rethinking Time Series Transformers through Representation Capacity Analysis and Progressive Decoding

• arxiv url: http://arxiv.org/abs/2610.36703v1
• Date: Tue, 27 Oct 2026 06:20:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.526385
• Title: RankFormer: Rethinking Time Series Transformers through Representation Capacity Analysis and Progressive Decoding
• Title（参考訳）: RankFormer:Representation Capacity AnalysisとProgressive Decodingを通じて時系列トランスフォーマーを再考する
• Abstract要約: 時系列予測のための新しいエンコーダデコーダアーキテクチャである RankFormer を提案する。 本稿では,トークン化,埋め込み,アテンションデザインが時系列変換器の表現能力に与える影響について検討する。 我々は、情報交換時のランク安定性を向上させるために、Hourglass Attentionを用いたランクエンコーダを開発した。
• 参考スコア（独自算出の注目度）: 45.44344121773199
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multivariate time series forecasting plays a critical role in Web and cyber-physical systems, where large-scale services and IoT infrastructures generate complex temporal data. Transformer-based models have achieved strong empirical performance in this domain, yet the principles governing the expressive capacity of their learned representations remain insufficiently understood. Moreover, many existing models rely on simplified decoding strategies, including channel-independent modeling and direct projection heads, which limit their ability to capture complex multivariate dynamics. To address these challenges, we propose RankFormer, a novel encoder-decoder architecture for multivariate time series forecasting. We establish a rank-based analysis framework to investigate how tokenization, embedding, and attention designs affect the representation capacity of time series Transformers. Our analysis reveals that patchification increases the potential representation capacity by aggregating multiple temporal observations into each token, while subsequent encoding operations determine how much of this capacity is realized. Guided by these insights, we develop a rank-enhancing encoder with Hourglass Attention to improve rank stability during information interaction. Furthermore, we introduce the Interactive Progressive Decoder (IPD), which improves future trajectory modeling through global-guided cross-channel interaction and progressive refinement. Extensive experiments on real-world long-term forecasting benchmarks demonstrate that RankFormer achieves competitive performance against state-of-the-art methods. Code repository: https://github.com/TangPeiwang/Rankformer.
• Abstract（参考訳）: 多変量時系列予測は、大規模なサービスとIoTインフラストラクチャが複雑な時間データを生成するWebおよびサイバー物理システムにおいて重要な役割を果たす。 トランスフォーマーベースのモデルは、この領域で強力な経験的性能を達成したが、それらの学習表現の表現能力を支配する原則は、まだ十分に理解されていない。 さらに、既存のモデルの多くは、チャネルに依存しないモデリングや直接射影ヘッドなど、単純化された復号法に依存しており、複雑な多変量ダイナミクスを捉える能力を制限する。 これらの課題に対処するために,多変量時系列予測のための新しいエンコーダデコーダアーキテクチャである RankFormer を提案する。 我々は,トークン化,埋め込み,アテンションデザインが時系列変換器の表現能力にどのように影響するかを調べるために,ランクに基づく分析フレームワークを構築した。 分析の結果,各トークンに複数の時間的観測を集約することにより,パッチ化により潜在的な表現能力が増大し,その後の符号化操作でその容量がどの程度実現されるかが決定されることがわかった。 これらの知見に導かれて、情報交換時のランク安定性を向上させるために、Hourglass Attentionを用いたランクエンコーダを開発する。 さらに,対話型プログレッシブデコーダ (IPD) を導入し,グローバルなチャネル間相互作用とプログレッシブリファインメントによる将来の軌道モデリングを改善する。 実世界の長期予測ベンチマークに関する大規模な実験は、RangeFormerが最先端の手法と競合する性能を発揮することを示した。 コードリポジトリ: https://github.com/TangPeiwang/Rankformer.com

関連論文リスト

• Insight-V++: Towards Advanced Long-Chain Visual Reasoning with Multimodal Large Language Models [65.4947731385794]
  基礎画像中心モデルであるInsight-Vから進化した統合多エージェント視覚推論フレームワークを提案する。 空間的時間的推論を強化し、評価ロバスト性を向上させる2つの新しいアルゴリズムST-GRPOとJ-GRPOを導入する。 LLaVA-NeXTやQwen2.5-VLといったベースモデルの実験は、挑戦的な画像とビデオの推論ベンチマーク間で大きなパフォーマンス向上を示している。
  論文  参考訳（メタデータ） (2026-03-18T15:28:07Z)
• Patch-Level Tokenization with CNN Encoders and Attention for Improved Transformer Time-Series Forecasting [0.0]
  本稿では,局所的時間的表現学習をグローバル依存モデルから分離する2段階予測フレームワークを提案する。 畳み込みニューラルネットワークは、固定長の時間的パッチで動作し、短距離時間的ダイナミクスと非線形特徴相互作用を抽出する。 その後、Transformerエンコーダがパッチ間の時間依存性をモデル化し、予測を生成する。
  論文  参考訳（メタデータ） (2026-01-18T16:16:01Z)
• LoViC: Efficient Long Video Generation with Context Compression [68.22069741704158]
  百万単位のオープンドメインビデオに基づいてトレーニングされたDiTベースのフレームワークであるLoViCを紹介する。 当社のアプローチの核心はFlexFormerです。ビデオとテキストを統合された潜在表現に共同で圧縮する表現型オートエンコーダです。
  論文  参考訳（メタデータ） (2025-07-17T09:46:43Z)
• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• Todyformer: Towards Holistic Dynamic Graph Transformers with Structure-Aware Tokenization [6.799413002613627]
  Todyformerは、動的グラフに適したトランスフォーマーベースのニューラルネットワークである。 メッセージパッシングニューラルネットワーク(MPNN)のローカルエンコーディング能力とトランスフォーマーのグローバルエンコーディング能力を統合する。 Todyformerは、ダウンストリームタスクの最先端メソッドよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-02T23:05:30Z)
• FormerTime: Hierarchical Multi-Scale Representations for Multivariate Time Series Classification [53.55504611255664]
  formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。 1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
  論文  参考訳（メタデータ） (2023-02-20T07:46:14Z)
• Temporal Saliency Detection Towards Explainable Transformer-based Timeseries Forecasting [3.046315755726937]
  本稿では、注意機構を基盤として、マルチ水平時系列予測に適用する効果的なアプローチであるTSD(Temporal Saliency Detection)を提案する。 TSD手法は, 多重ヘッドを凝縮することにより, 多分解能パターンの多分解能解析を容易にし, 複雑な時系列データの予測を段階的に向上させる。
  論文  参考訳（メタデータ） (2022-12-15T12:47:59Z)
• CCVS: Context-aware Controllable Video Synthesis [95.22008742695772]
  プレゼンテーションでは、古いビデオクリップから新しいビデオクリップを合成するための自己教師付き学習アプローチを紹介している。 時間的連続性のための文脈情報と微妙な制御のための補助情報に基づいて合成過程を規定する。
  論文  参考訳（メタデータ） (2021-07-16T17:57:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。