論文の概要: PT-Tuning: Bridging the Gap between Time Series Masked Reconstruction
and Forecasting via Prompt Token Tuning
- arxiv url: http://arxiv.org/abs/2311.03768v1
- Date: Tue, 7 Nov 2023 07:11:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-08 16:23:34.694234
- Title: PT-Tuning: Bridging the Gap between Time Series Masked Reconstruction
and Forecasting via Prompt Token Tuning
- Title（参考訳）: PT-Tuning:Prompt Token Tuningによる時系列マスケード復元と予測のギャップを埋める
- Authors: Hao Liu, Jinrui Gan, Xiaoxuan Fan, Yi Zhang, Chuanxian Luo, Jing
Zhang, Guangxin Jiang, Yucheng Qian, Changwei Zhao, Huan Ma, Zhenyu Guo
- Abstract要約: 近年,自己指導型学習が時系列領域で盛んに研究されている。
これらの手法の多くは、新しいデコーダが事前訓練されたデコーダを置き換える"事前訓練+微調整"パラダイムに従っている。
本稿では,事前学習したパラメータをすべて凍結し,拡張マスクトークンに数個のトレーニング可能なプロンプトトークンを追加する,シンプルで効果的なプロンプトチューニング(PT-Tuning)パラダイムを提案する。
- 参考スコア（独自算出の注目度）: 14.332279447231416
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Self-supervised learning has been actively studied in time series domain
recently, especially for masked reconstruction. Most of these methods follow
the "Pre-training + Fine-tuning" paradigm in which a new decoder replaces the
pre-trained decoder to fit for a specific downstream task, leading to
inconsistency of upstream and downstream tasks. In this paper, we first point
out that the unification of task objectives and adaptation for task difficulty
are critical for bridging the gap between time series masked reconstruction and
forecasting. By reserving the pre-trained mask token during fine-tuning stage,
the forecasting task can be taken as a special case of masked reconstruction,
where the future values are masked and reconstructed based on history values.
It guarantees the consistency of task objectives but there is still a gap in
task difficulty. Because masked reconstruction can utilize contextual
information while forecasting can only use historical information to
reconstruct. To further mitigate the existed gap, we propose a simple yet
effective prompt token tuning (PT-Tuning) paradigm, in which all pre-trained
parameters are frozen and only a few trainable prompt tokens are added to
extended mask tokens in element-wise manner. Extensive experiments on
real-world datasets demonstrate the superiority of our proposed paradigm with
state-of-the-art performance compared to representation learning and end-to-end
supervised forecasting methods.
- Abstract（参考訳）: 近年,自己指導型学習が時系列領域で積極的に研究されている。
これらのメソッドのほとんどは、新しいデコーダが特定のダウンストリームタスクに適合するようにプリトレーニングされたデコーダを置き換える"プレトレーニング+微調整"パラダイムに従っている。
本稿では,まず,課題目標の統一と課題難易度への適応が,時系列仮面再構築と予測のギャップを埋める上で重要であることを指摘した。
微調整段階に予め訓練したマスクトークンを保存することにより、予測タスクを、履歴値に基づいて将来の値をマスクして再構成するマスク再構築の特別なケースとすることができる。
タスクの目的の整合性を保証するが、タスクの難しさにはまだギャップがある。
仮面復元は文脈情報を活用できるが、予測は歴史情報のみを活用できるためである。
さらに,既存のギャップを緩和するため,プリトレーニングされたパラメータをすべて凍結し,拡張マスクトークンに要素順にわずか数個のトレーニング可能なプロンプトトークンを追加する,簡易かつ効果的なプロンプトトークンチューニング(ptチューニング)パラダイムを提案する。
実世界のデータセットに関する広範な実験は、表現学習やエンドツーエンドの教師付き予測手法と比較して、最先端のパフォーマンスで提案するパラダイムが優れていることを示している。
関連論文リスト
- Continual Diffusion with STAMINA: STack-And-Mask INcremental Adapters [67.28751868277611]
近年の研究では、テキストから画像への拡散モデルを複数の微細な概念に逐次的にカスタマイズできることが示されている。
我々は、新しいタスクを学習する能力が、長いシーケンスで飽和に達することを示す。
本稿では,低ランクの注意マーク付きアダプタとカスタマイズトークンからなるSTAMINA(STack-And-Mask Incremental Adapters)を提案する。
論文 参考訳（メタデータ） (2023-11-30T18:04:21Z) - Learning to Mask and Permute Visual Tokens for Vision Transformer Pre-Training [55.12082817901671]
我々はMasked and Permuted Vision Transformer(MaPeT)という自己教師型事前学習手法を提案する。
MaPeTは、自動回帰および置換予測を使用して、パッチ内依存関係をキャプチャする。
以上の結果から,MaPeTはベースラインやコンペティターと同一のモデル設定で比較して,ImageNet上での競合性能を実証した。
論文 参考訳（メタデータ） (2023-06-12T18:12:19Z) - SimMTM: A Simple Pre-Training Framework for Masked Time-Series Modeling [82.69579113377192]
SimMTM は Masked Time-Series Modeling のための単純な事前トレーニングフレームワークである。
SimMTMは、多様体の外にある複数の隣人の重み付けによるマスク付き時間点の復元を行う。
SimMTMは、最も先進的な時系列事前学習法と比較して、最先端の微調整性能を実現する。
論文 参考訳（メタデータ） (2023-02-02T04:12:29Z) - Ti-MAE: Self-Supervised Masked Time Series Autoencoders [16.98069693152999]
本稿では,Ti-MAEという新しいフレームワークを提案する。
Ti-MAEは、埋め込み時系列データをランダムにマスクアウトし、オートエンコーダを学び、ポイントレベルでそれらを再構築する。
いくつかの公開実世界のデータセットの実験では、マスク付きオートエンコーディングのフレームワークが生データから直接強力な表現を学習できることが示されている。
論文 参考訳（メタデータ） (2023-01-21T03:20:23Z) - Task Residual for Tuning Vision-Language Models [69.22958802711017]
タスク残差調整(TaskRes)と呼ばれる視覚言語モデル(VLM)のための新しい効率的なチューニング手法を提案する。
TaskResは、トレーニング済みモデルの事前知識とターゲットタスクに関する新たな知識を明示的に分離する。
提案されたTaskResは単純だが有効であり、11のベンチマークデータセットで以前のメソッドよりも大幅に上回っている。
論文 参考訳（メタデータ） (2022-11-18T15:09:03Z) - Bi-Granularity Contrastive Learning for Post-Training in Few-Shot Scene [10.822477939237459]
トークンレベルとシーケンスレベルの両方のコントラスト学習を統合するために,ポストトレーニングのためのコントラストマスク言語モデリング(CMLM)を提案する。
CMLMは、データ拡張を必要とせずに、数ショット設定で、最近のいくつかのポストトレーニングメソッドを超越している。
論文 参考訳（メタデータ） (2021-06-04T08:17:48Z) - Train No Evil: Selective Masking for Task-Guided Pre-Training [97.03615486457065]
一般的な事前学習と微調整の間を選択的にマスキングするタスク誘導事前学習段階を付加した3段階のフレームワークを提案する。
提案手法は,50%未満のコストで同等あるいはさらに優れた性能が得られることを示す。
論文 参考訳（メタデータ） (2020-04-21T03:14:22Z) - Ternary Feature Masks: zero-forgetting for task-incremental learning [68.34518408920661]
本稿では,タスク認識体制の継続的な学習を忘れずにアプローチを提案する。
第三のマスクを使用することで、モデルを新しいタスクにアップグレードしたり、以前のタスクからの知識を再利用したりできます。
本手法は,重みに基づく手法と比較して,メモリオーバーヘッドを低減しつつ,最先端の手法よりも優れている。
論文 参考訳（メタデータ） (2020-01-23T18:08:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。