Fugu-MT 論文翻訳(概要): ParallelTime: Dynamically Weighting the Balance of Short- and Long-Term Temporal Dependencies

論文の概要: ParallelTime: Dynamically Weighting the Balance of Short- and Long-Term Temporal Dependencies

arxiv url: http://arxiv.org/abs/2507.13998v1
Date: Fri, 18 Jul 2025 15:08:02 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-21 20:43:26.330522
Title: ParallelTime: Dynamically Weighting the Balance of Short- and Long-Term Temporal Dependencies
Title（参考訳）: ParallelTime: 短期と長期の依存関係のバランスを動的に重くする
Authors: Itay Katav, Aryeh Kontorovich,
Abstract要約: 自然言語処理では、短期依存関係をキャプチャするローカルウィンドウアテンションと、長期依存関係をキャプチャするMambaを組み合わせたアプローチが使用されている。時系列予測タスクでは,長期的および短期的依存関係に等しい重みを割り当てるのが最適ではないことがわかった。本稿では,長期および短期の依存関係に対する相互依存重みを算出する動的重み付け機構であるParallelTime Weighterを提案する。
参考スコア（独自算出の注目度）: 11.40258240052954
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Modern multivariate time series forecasting primarily relies on two architectures: the Transformer with attention mechanism and Mamba. In natural language processing, an approach has been used that combines local window attention for capturing short-term dependencies and Mamba for capturing long-term dependencies, with their outputs averaged to assign equal weight to both. We find that for time-series forecasting tasks, assigning equal weight to long-term and short-term dependencies is not optimal. To mitigate this, we propose a dynamic weighting mechanism, ParallelTime Weighter, which calculates interdependent weights for long-term and short-term dependencies for each token based on the input and the model's knowledge. Furthermore, we introduce the ParallelTime architecture, which incorporates the ParallelTime Weighter mechanism to deliver state-of-the-art performance across diverse benchmarks. Our architecture demonstrates robustness, achieves lower FLOPs, requires fewer parameters, scales effectively to longer prediction horizons, and significantly outperforms existing methods. These advances highlight a promising path for future developments of parallel Attention-Mamba in time series forecasting. The implementation is readily available at: \href{https://github.com/itay1551/ParallelTime}{ParallelTime GitHub
Abstract（参考訳）: 現代の多変量時系列予測は、主に注意機構を備えたトランスフォーマーとマンバという2つのアーキテクチャに依存している。自然言語処理では、短期的依存関係をキャプチャするローカルウィンドウアテンションと、長期的依存関係をキャプチャするMambaを組み合わせたアプローチが使用されている。時系列予測タスクでは,長期的および短期的依存関係に等しい重みを割り当てるのが最適ではないことがわかった。これを軽減するために,入力とモデルの知識に基づいて,トークンの長期的および短期的依存関係に対する相互依存重みを算出する動的重み付け機構であるParallelTime Weighterを提案する。さらに,ParallelTime Weighter機構を組み込んだParallelTimeアーキテクチャを導入する。我々のアーキテクチャは、ロバスト性を示し、より低いFLOPを実現し、パラメータを少なくし、より長い水平線予測に効果的にスケールし、既存の手法よりも大幅に優れています。これらの進歩は、時系列予測における並列アテンション・マンバの今後の発展に期待できる道である。実装は以下の通り。 \href{https://github.com/itay1551/ParallelTime}{ParallelTime GitHub

関連論文リスト

Pangu Embedded: An Efficient Dual-system LLM Reasoner with Metacognition [95.54406667705999]
Pangu Embeddedは、Ascend Neural Processing Units (NPU) 上で開発された効率的なLarge Language Model (LLM) 推論器である。既存の推論最適化 LLM でよく見られる計算コストと推論遅延の問題に対処する。単一の統一モデルアーキテクチャ内で、迅速な応答と最先端の推論品質を提供する。
論文参考訳（メタデータ） (2025-05-28T14:03:02Z)
APB: Accelerating Distributed Long-Context Inference by Passing Compressed Context Blocks across GPUs [81.5049387116454]
我々は、効率的な長文推論フレームワークであるAPBを紹介する。 APBはプリフィル速度を高めるためにマルチホスト近似アテンションを使用する。 APBはFlashAttn、RingAttn、StarAttnと比較して最大9.2x、4.2x、1.6xの速度を実現している。
論文参考訳（メタデータ） (2025-02-17T17:59:56Z)
Parallelized Autoregressive Visual Generation [65.9579525736345]
本稿では,並列化された自己回帰視覚生成のための簡易かつ効果的な手法を提案する。本手法は,画像生成タスクと映像生成タスクの両方において,最大9.5倍の高速化を実現し,品質劣化を最小限に抑えた3.6倍の高速化を実現する。
論文参考訳（メタデータ） (2024-12-19T17:59:54Z)
UmambaTSF: A U-shaped Multi-Scale Long-Term Time Series Forecasting Method Using Mamba [7.594115034632109]
本稿では,新しい時系列予測フレームワークであるUmambaTSFを提案する。 U字型エンコーダ・デコーダ多層パーセプトロン(MLP)のマルチスケール特徴抽出機能とMambaのロングシーケンス表現を統合する。 UmambaTSFは、広く使用されているベンチマークデータセットで最先端のパフォーマンスと優れた汎用性を達成する。
論文参考訳（メタデータ） (2024-10-15T04:56:43Z)
ParallelSpec: Parallel Drafter for Efficient Speculative Decoding [62.68430939686566]
提案するParallelSpecは,最先端の投機的復号化手法における自己回帰的起草戦略の代替となる。投機段階における自己回帰的起草とは対照的に,効率的な投機モデルとして機能する並列投機を訓練する。
論文参考訳（メタデータ） (2024-10-08T01:05:08Z)
Integration of Mamba and Transformer -- MAT for Long-Short Range Time Series Forecasting with Application to Weather Dynamics [7.745945701278489]
長い時間範囲の時系列予測は、長期にわたる将来の傾向やパターンを予測するのに不可欠である。 Transformersのようなディープラーニングモデルは、時系列予測の進歩に大きく貢献している。本稿では,MambaモデルとTransformerモデルの長所と短所について検討する。
論文参考訳（メタデータ） (2024-09-13T04:23:54Z)
Mamba or Transformer for Time Series Forecasting? Mixture of Universals (MoU) Is All You Need [28.301119776877822]
時系列予測には、正確な予測のために短期と長期の依存関係のバランスが必要である。変換器は長期依存のモデリングに優れているが、2次計算コストで批判されている。 Mambaは、ほぼ直線的な代替手段を提供するが、潜在的な情報損失のため、時系列の長期予測では効果が低いと報告されている。
論文参考訳（メタデータ） (2024-08-28T17:59:27Z)
SIGMA: Selective Gated Mamba for Sequential Recommendation [56.85338055215429]
最近の進歩であるMambaは、時系列予測において例外的なパフォーマンスを示した。 SIGMA(Selective Gated Mamba)と呼ばれる,シークエンシャルレコメンデーションのための新しいフレームワークを紹介する。以上の結果から,SIGMAは5つの実世界のデータセットにおいて,現在のモデルよりも優れていたことが示唆された。
論文参考訳（メタデータ） (2024-08-21T09:12:59Z)
LongVQ: Long Sequence Modeling with Vector Quantization on Structured Memory [63.41820940103348]
自己保持機構の計算コストは、長いシーケンスの実用性を制限する。我々はLongVQと呼ばれる新しい手法を提案し、長さ固定されたコードブックとしてグローバルな抽象化を圧縮する。 LongVQは動的グローバルパターンとローカルパターンを効果的に維持し、長距離依存性の問題の欠如を補うのに役立つ。
論文参考訳（メタデータ） (2024-04-17T08:26:34Z)
TimeMachine: A Time Series is Worth 4 Mambas for Long-term Forecasting [13.110156202816112]
TimeMachineは時系列データのユニークな特性を利用して、マルチスケールで適切なコンテキストキューを生成する。 TimeMachineは、ベンチマークデータセットを使用して広範囲に検証されるように、予測精度、スケーラビリティ、メモリ効率において優れたパフォーマンスを達成する。
論文参考訳（メタデータ） (2024-03-14T22:19:37Z)
Does Long-Term Series Forecasting Need Complex Attention and Extra Long Inputs? [21.15722677855935]
トランスフォーマーベースのモデルは、様々な時系列タスクにおいて印象的なパフォーマンスを達成した。近年、LTSF(Long-Term Series Forecasting)タスクも注目されている。トランスフォーマーベースの手法を要求される計算複雑性と長いシーケンスのため、LTSFタスクへの適用には2つの大きな問題がある。
論文参考訳（メタデータ） (2023-06-08T08:37:49Z)
Cluster-and-Conquer: A Framework For Time-Series Forecasting [94.63501563413725]
本稿では,高次元時系列データを予測するための3段階フレームワークを提案する。当社のフレームワークは非常に汎用的で,各ステップで時系列予測やクラスタリングが利用可能です。単純な線形自己回帰モデルでインスタンス化されると、いくつかのベンチマークデータセットで最先端の結果が得られる。
論文参考訳（メタデータ） (2021-10-26T20:41:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。