Fugu-MT 論文翻訳(概要): Parameter-Efficient Adaptation of Pretrained Language Models for Time-Series Forecasting

論文の概要: Parameter-Efficient Adaptation of Pretrained Language Models for Time-Series Forecasting

arxiv url: http://arxiv.org/abs/2609.15344v1
Date: Mon, 14 Sep 2026 10:30:59 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-16 07:15:06.26363
Title: Parameter-Efficient Adaptation of Pretrained Language Models for Time-Series Forecasting
Title（参考訳）: 時系列予測のための事前学習言語モデルのパラメータ効率の良い適応
Abstract要約: 我々は,事前訓練したGPT-2バックボーンの埋め込み空間に直接,固定長の時系列パッチを投影する。我々は, (i) 表現戦略 (連続埋め込みとテキストシリアライゼーション) , (ii) 適応体制 (部分的あるいは完全微調整) および (iv) 入力コンテキスト長の影響を解析した。
参考スコア（独自算出の注目度）: 2.141079906482723
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We study the adaptation of pretrained language models to univariate time-series forecasting through a parameter-efficient transfer learning framework, with the goal of understanding which design choices drive effective cross-modal transfer. While language models operate on discrete textual tokens, time series consist of continuous numerical observations with temporal dependencies. To bridge this modality gap, we project fixed-length time-series patches directly into the embedding space of a pretrained GPT-2 backbone, bypassing textual tokenization and treating the Transformer as a generic sequence encoder. Through controlled ablation studies on seven benchmark datasets spanning energy, weather, traffic, and finance, we analyze the effects of (i)~representation strategy (continuous embeddings versus textual serialisation), (ii)~adaptation regime (frozen backbone versus partial or full fine-tuning), (iii)~architectural components such as adapters, pooling strategies, and prediction heads, and (iv)~input context length. Continuous patch-based embeddings consistently outperform textual prompting and randomly initialised backbones. The adapted pipeline attains MASE within the range of specialised forecasting architectures while updating less than 1\% of total model parameters. Results further indicate that freezing the pretrained backbone and training lightweight projection and adapter modules provides a favourable accuracy--efficiency trade-off with stable behaviour across varying context lengths.
Abstract（参考訳）: 本研究では,パラメータ効率のよい移動学習フレームワークを用いて,事前学習した言語モデルを用いて時系列予測を一変させる手法について検討する。言語モデルは個別のテキストトークンで動くが、時系列は時間的依存を伴う連続的な数値的な観察から構成される。このモダリティギャップを埋めるため、トレーニング済みのGPT-2バックボーンの埋め込み空間に直接固定長の時系列パッチを投影し、テキストトークン化を回避し、Transformerを汎用シーケンスエンコーダとして扱う。エネルギー、天気、交通、金融にまたがる7つのベンチマークデータセットの制御されたアブレーション研究を通じて、我々は影響を分析する。 (i)~表現戦略(連続埋め込み対テキストシリアライゼーション) (ii)~適応体制(凍結した背骨対部分的または完全な微調整) 三) アダプタ、プーリング戦略、予測ヘッド等の構造部品 (iv)~入力コンテキスト長。継続的パッチベースの埋め込みは、テキストプロンプトとランダムに初期化されたバックボーンを一貫して上回る。適応パイプラインは、MASEを特別な予測アーキテクチャの範囲内で達成し、全体のモデルパラメータの1/%未満を更新する。さらに、事前訓練されたバックボーンを凍結し、軽量プロジェクションとアダプタモジュールを訓練することで、様々なコンテキストの長さにわたって安定した振る舞いで、良好な精度で効率よくトレードオフできることを示す。

関連論文リスト

LeapTS: Rethinking Time Series Forecasting as Adaptive Multi-Horizon Scheduling [74.94985663101906]
本稿では,予測地平線上での動的スケジューリングプロセスとして時系列予測を再構成する新しいフレームワーク LeapTSを提案する。 LeapTSは、Transformerベースのモデルよりも2.6$times$から5.3$times$推論スピードアップを実現しつつ、全体的な予測性能を少なくとも7.4%向上させる。
論文参考訳（メタデータ） (2026-05-11T09:54:02Z)
IPatch: A Multi-Resolution Transformer Architecture for Robust Time-Series Forecasting [1.00150464907602]
IPatchは、ポイントワイドおよびパッチワイドトークンを統合し、複数の解像度で時間情報をモデル化するマルチレゾリューショントランスフォーマーアーキテクチャである。 7つのベンチマークデータセットの実験では、IPatchは予測精度、ノイズ、様々な予測地平線を越えた一般化を一貫して改善している。
論文参考訳（メタデータ） (2026-03-25T11:31:32Z)
Baguan-TS: A Sequence-Native In-Context Learning Model for Time Series Forecasting with Covariates [31.296823831987748]
Baguan-TSは、3Dトランスフォーマーによってインスタンス化されるICLと生系列表現学習を統合している。 i) キャリブレーションとトレーニング安定性, 特徴に依存しない目標空間検索に基づく局所キャリブレーション, および (ii) コンテクストオーバーフィッティング戦略によって緩和された出力過スムージングの2つの主要なハードルに対処する。
論文参考訳（メタデータ） (2026-03-18T07:24:19Z)
Matching Features, Not Tokens: Energy-Based Fine-Tuning of Language Models [102.20309135516186]
クロスエントロピー(CE)トレーニングは、言語モデルの密集したスケーラブルな監視を提供する。言語モデル微調整のための特徴マッチング手法を提案する。この目的を効率的に最適化するために,エネルギーベースファインチューニングを提案する。
論文参考訳（メタデータ） (2026-03-12T17:57:50Z)
Patch-Level Tokenization with CNN Encoders and Attention for Improved Transformer Time-Series Forecasting [0.0]
本稿では,局所的時間的表現学習をグローバル依存モデルから分離する2段階予測フレームワークを提案する。畳み込みニューラルネットワークは、固定長の時間的パッチで動作し、短距離時間的ダイナミクスと非線形特徴相互作用を抽出する。その後、Transformerエンコーダがパッチ間の時間依存性をモデル化し、予測を生成する。
論文参考訳（メタデータ） (2026-01-18T16:16:01Z)
Estimating Time Series Foundation Model Transferability via In-Context Learning [74.65355820906355]
時系列基礎モデル(TSFM)は、大規模な事前訓練を通じて強力なゼロショット予測を提供する。微調整は、公開データに制限のあるドメインのパフォーマンス向上に依然として不可欠である。モデル選択をコンテキスト内学習問題として再キャストする転送可能性推定フレームワークであるTimeTicを紹介する。
論文参考訳（メタデータ） (2025-09-28T07:07:13Z)
Enhancing Foundation Models for Time Series Forecasting via Wavelet-based Tokenization [74.3339999119713]
我々はウェーブレットベースのトークンーザを開発し、時間局所化周波数の空間でモデルが複雑な表現を直接学習できるようにする。提案手法は,まず入力時系列をスケール・分解し,次に閾値を設定し,ウェーブレット係数を定量化し,最後に予測水平方向の係数を予測する自己回帰モデルを事前学習する。
論文参考訳（メタデータ） (2024-12-06T18:22:59Z)
Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
我々は時系列の統一予測のための因果変換器Timer-XLを提案する。大規模な事前トレーニングに基づいて、Timer-XLは最先端のゼロショット性能を達成する。
論文参考訳（メタデータ） (2024-10-07T07:27:39Z)
Adapting to Length Shift: FlexiLength Network for Trajectory Prediction [53.637837706712794]
軌道予測は、自律運転、ロボット工学、シーン理解など、様々な応用において重要な役割を果たしている。既存のアプローチは主に、一般に標準入力時間を用いて、公開データセットの予測精度を高めるために、コンパクトなニューラルネットワークの開発に重点を置いている。本稿では,様々な観測期間に対する既存の軌道予測の堅牢性を高めるための,汎用的で効果的なフレームワークFlexiLength Network(FLN)を紹介する。
論文参考訳（メタデータ） (2024-03-31T17:18:57Z)
Multi-Patch Prediction: Adapting LLMs for Time Series Representation Learning [22.28251586213348]
aLLM4TSは、時系列表現学習にLarge Language Models(LLM)を適用する革新的なフレームワークである。われわれのフレームワークの特筆すべき要素はパッチワイドデコーディング層である。
論文参考訳（メタデータ） (2024-02-07T13:51:26Z)
A Time Series is Worth 64 Words: Long-term Forecasting with Transformers [4.635547236305835]
本稿では,時系列予測と自己教師型表現学習のためのトランスフォーマーモデルを提案する。 i) 時系列をサブシリーズレベルのパッチに分割し、Transformerへの入力トークンとして機能させる。 PatchTSTは、SOTA Transformerベースのモデルと比較して、長期予測精度を著しく向上させることができる。
論文参考訳（メタデータ） (2022-11-27T05:15:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。