Fugu-MT 論文翻訳(概要): QKCV Attention: Enhancing Time Series Forecasting with Static Categorical Embeddings for Both Lightweight and Pre-trained Foundation Models

論文の概要: QKCV Attention: Enhancing Time Series Forecasting with Static Categorical Embeddings for Both Lightweight and Pre-trained Foundation Models

arxiv url: http://arxiv.org/abs/2510.20222v1
Date: Tue, 21 Oct 2025 18:15:21 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-25 03:08:17.426229
Title: QKCV Attention: Enhancing Time Series Forecasting with Static Categorical Embeddings for Both Lightweight and Pre-trained Foundation Models
Title（参考訳）: QKCV 注意: 軽量・事前訓練基礎モデルのための静的カテゴリー埋め込みによる時系列予測の強化
Authors: Hao Wang, Baojun Ma,
Abstract要約: 本稿では,従来のQKVフレームワークの拡張であるQKCV(Query-Key-Category-Value)について紹介する。 QKCVは、さまざまな実世界のデータセットにわたる注目ベースのモデルの予測精度を高める。
参考スコア（独自算出の注目度）: 3.1231899978018824
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In real-world time series forecasting tasks, category information plays a pivotal role in capturing inherent data patterns. This paper introduces QKCV (Query-Key-Category-Value) attention, an extension of the traditional QKV framework that incorporates a static categorical embedding C to emphasize category-specific information. As a versatile plug-in module, QKCV enhances the forecasting accuracy of attention-based models (e.g., Vanilla Transformer, Informer, PatchTST, TFT) across diverse real-world datasets. Furthermore, QKCV demonstrates remarkable adaptability in fine-tuning univariate time series foundation model by solely updating the static embedding C while preserving pretrained weights, thereby reducing computational overhead and achieving superior fine-tuning performance.
Abstract（参考訳）: 実世界の時系列予測タスクでは、カテゴリ情報は固有のデータパターンをキャプチャする上で重要な役割を果たす。本稿では,QKCV(Query-Key-Category-Value)アテンションについて紹介する。汎用的なプラグインモジュールとして、QKCVは、さまざまな現実世界のデータセットにわたる注目ベースのモデル(例えば、Vanilla Transformer、Informer、PatchTST、TFT)の予測精度を向上させる。さらに、QKCVは、事前トレーニングした重みを保ちながら静的埋め込みCのみを更新することにより、微調整された時系列基礎モデルの顕著な適応性を示し、計算オーバーヘッドを低減し、より優れた微調整性能を実現する。

関連論文リスト

Estimating Time Series Foundation Model Transferability via In-Context Learning [74.65355820906355]
時系列基礎モデル(TSFM)は、大規模な事前訓練を通じて強力なゼロショット予測を提供する。微調整は、公開データに制限のあるドメインのパフォーマンス向上に依然として不可欠である。モデル選択をコンテキスト内学習問題として再キャストする転送可能性推定フレームワークであるTimeTicを紹介する。
論文参考訳（メタデータ） (2025-09-28T07:07:13Z)
CauKer: classification time series foundation models can be pretrained on synthetic data only [19.43041847803551]
CauKerは、現実的な傾向、季節性、非線形相互作用を持つ多様で因果的に一貫性のある合成時系列を生成するように設計されている。実験の結果,CauKerの生成したデータセットは,データセットサイズ(10Kから10Mサンプル)とモデルキャパシティ(1Mから783Mパラメータ)の両方に対して明確なスケーリング則を示すことがわかった。
論文参考訳（メタデータ） (2025-08-04T20:18:31Z)
PTMs-TSCIL Pre-Trained Models Based Class-Incremental Learning [7.784244204592032]
時系列データのためのクラスインクリメンタルラーニング(CIL)は、新たな知識獲得のための破滅的な忘れと可塑性に対する安定性のバランスをとる上で、課題に直面している。 PTMを用いた時系列クラスインクリメンタルラーニング(TSCIL)の第1回研究について紹介する。
論文参考訳（メタデータ） (2025-03-10T10:27:21Z)
Dynamic-KGQA: A Scalable Framework for Generating Adaptive Question Answering Datasets [9.785129730843435]
知識グラフから適応的なQAデータセットを生成するスケーラブルなフレームワークであるDynamic-KGQAを紹介する。固定ベンチマークとは異なり、Dynamic-KGQAは、基盤となるディストリビューションを保持しながら、実行毎に新しいデータセットバリアントを生成する。 Dynamic-KGQAは、KGQAモデルのトレーニングと評価を容易にするコンパクトでセマンティックなコヒーレントなサブグラフを生成する。
論文参考訳（メタデータ） (2025-03-06T23:58:01Z)
Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
論文参考訳（メタデータ） (2024-07-11T10:35:53Z)
Attention as Robust Representation for Time Series Forecasting [23.292260325891032]
多くの実用化には時系列予測が不可欠である。トランスフォーマーの重要な特徴、注意機構、データ表現を強化するために動的に埋め込みを融合させ、しばしば注意重みを副産物の役割に還元する。提案手法は,時系列の主表現として注目重みを高くし,データポイント間の時間的関係を利用して予測精度を向上させる。
論文参考訳（メタデータ） (2024-02-08T03:00:50Z)
Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
論文参考訳（メタデータ） (2024-02-04T20:00:45Z)
TACTiS-2: Better, Faster, Simpler Attentional Copulas for Multivariate Time Series [57.4208255711412]
パウラ理論に基づいて,最近導入されたトランスフォーマーに基づく注目パウラ(TACTiS)の簡易な目的を提案する。結果から,実世界の予測タスクにまたがって,このモデルのトレーニング性能が大幅に向上し,最先端のパフォーマンスが達成できることが示唆された。
論文参考訳（メタデータ） (2023-10-02T16:45:19Z)
Kalman Filter for Online Classification of Non-Stationary Data [101.26838049872651]
オンライン連続学習(OCL)では、学習システムはデータのストリームを受け取り、予測とトレーニングの手順を順次実行する。本稿では,線形予測量に対するニューラル表現と状態空間モデルを用いた確率ベイズオンライン学習モデルを提案する。多クラス分類の実験では、モデルの予測能力と非定常性を捉える柔軟性を示す。
論文参考訳（メタデータ） (2023-06-14T11:41:42Z)
Revisiting Class-Incremental Learning with Pre-Trained Models: Generalizability and Adaptivity are All You Need [84.3507610522086]
クラスインクリメンタルラーニング(Class-incremental Learning, CIL)は、古いクラスを忘れずに新しいクラスに適応することを目的としている。近年の事前訓練は大きな進歩を遂げており、CILには膨大な事前訓練モデル(PTM)が利用できるようになった。 CILの中核となる要素は、モデル更新の適応性と知識伝達の一般化性である。
論文参考訳（メタデータ） (2023-03-13T17:59:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。