論文の概要: Calibration of Time-Series Forecasting Transformers: Detecting and
Adapting Context-Driven Distribution Shift
- arxiv url: http://arxiv.org/abs/2310.14838v1
- Date: Mon, 23 Oct 2023 11:58:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 20:26:19.196758
- Title: Calibration of Time-Series Forecasting Transformers: Detecting and
Adapting Context-Driven Distribution Shift
- Title(参考訳): 時系列予測トランスのキャリブレーション:コンテキスト駆動分布シフトの検出と適応
- Authors: Mouxiang Chen, Lefei Shen, Han Fu, Zhuo Li, Jianling Sun, Chenghao Liu
- Abstract要約: 本稿では,コンテキスト駆動分布シフトの検出と適応のための普遍的キャリブレーション手法を提案する。
レジデンシャルベースCDS検出器(Residual-based CDS detector)またはリコンディショナー(Reconditionor)と呼ばれる新しいCDS検出器は、モデルの脆弱性をCDSに定量化する。
高いリコンディショナースコアは、重度の感受性を示し、したがってモデル適応を必要とする。
- 参考スコア(独自算出の注目度): 30.450678228983723
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent years have witnessed the success of introducing Transformers to time
series forecasting. From a data generation perspective, we illustrate that
existing Transformers are susceptible to distribution shifts driven by temporal
contexts, whether observed or unobserved. Such context-driven distribution
shift (CDS) introduces biases in predictions within specific contexts and poses
challenges for conventional training paradigm. In this paper, we introduce a
universal calibration methodology for the detection and adaptation of CDS with
a trained Transformer model. To this end, we propose a novel CDS detector,
termed the "residual-based CDS detector" or "Reconditionor", which quantifies
the model's vulnerability to CDS by evaluating the mutual information between
prediction residuals and their corresponding contexts. A high Reconditionor
score indicates a severe susceptibility, thereby necessitating model
adaptation. In this circumstance, we put forth a straightforward yet potent
adapter framework for model calibration, termed the "sample-level
contextualized adapter" or "SOLID". This framework involves the curation of a
contextually similar dataset to the provided test sample and the subsequent
fine-tuning of the model's prediction layer with a limited number of steps. Our
theoretical analysis demonstrates that this adaptation strategy is able to
achieve an optimal equilibrium between bias and variance. Notably, our proposed
Reconditionor and SOLID are model-agnostic and readily adaptable to a wide
range of Transformers. Extensive experiments show that SOLID consistently
enhances the performance of current SOTA Transformers on real-world datasets,
especially on cases with substantial CDS detected by the proposed
Reconditionor, thus validate the effectiveness of the calibration approach.
- Abstract(参考訳): 近年、時系列予測にトランスフォーマーを導入することに成功した。
データ生成の観点からは、既存のトランスフォーマーは、観測されたか観測されていないかにかかわらず、時間的文脈によって駆動される分散シフトの影響を受けやすいことを示す。
このような文脈駆動分布シフト(CDS)は、特定の文脈内での予測のバイアスを導入し、従来の訓練パラダイムの課題を提起する。
本稿では,CDSの検出と適応のためのユニバーサルキャリブレーション手法をトレーニングされたTransformerモデルで導入する。
そこで本研究では,予測残差とそれに対応するコンテキスト間の相互情報を評価することにより,cdsに対するモデルの脆弱性を定量化するcds検出器(residual-based cds detector)またはリコンディショナ(reconditionor)を提案する。
高いリコンディショナースコアは深刻な感受性を示し、モデル適応を必要とする。
この状況下では、モデルキャリブレーションのための単純で強力なアダプタフレームワークを"sample-level contextized adapter"あるいは"solid"と呼んでいます。
このフレームワークは、提供されたテストサンプルとコンテキスト的に類似したデータセットのキュレーションと、その後に限られたステップ数でモデルの予測層の微調整を含む。
理論解析の結果,この適応戦略はバイアスと分散の最適平衡を実現できることが示された。
特に,提案したReconditionorとSOLIDはモデルに依存しず,幅広いトランスフォーマーに容易に適応可能である。
大規模な実験により,SOLIDは実世界のデータセット上でのSOTAトランスフォーマーの性能を一貫して向上させ,特にリコンディショナーによって検出されたCDSが有効であった場合において,キャリブレーション手法の有効性を検証した。
関連論文リスト
- Domain-adaptive and Subgroup-specific Cascaded Temperature Regression
for Out-of-distribution Calibration [16.930766717110053]
本稿では, メタセットをベースとした新しい温度回帰法を提案し, ポストホックキャリブレーション法を提案する。
予測されたカテゴリと信頼度に基づいて,各メタセットをサブグループに分割し,多様な不確実性を捉える。
回帰ネットワークは、カテゴリ特化および信頼レベル特化スケーリングを導出し、メタセット間のキャリブレーションを達成するように訓練される。
論文 参考訳(メタデータ) (2024-02-14T14:35:57Z) - Conformal Approach To Gaussian Process Surrogate Evaluation With
Coverage Guarantees [47.22930583160043]
適応型クロスコンフォーマル予測区間を構築する手法を提案する。
結果として生じる共形予測区間は、ベイズ的信頼性集合に類似した適応性のレベルを示す。
原子炉の蒸気発生器における閉鎖現象の高コスト・評価シミュレータのサロゲートモデリングの文脈において, 本手法の適用可能性を示す。
論文 参考訳(メタデータ) (2024-01-15T14:45:18Z) - Test-time Adaptive Vision-and-Language Navigation [75.50521064106732]
視覚・言語ナビゲーションのためのFSTTA(Fast-Slow Test-Time Adaptation)アプローチを提案する。
高速更新フェーズでは、最近のマルチステップナビゲーションプロセスで発生する勾配を、さまざまなレベルの一貫性を持つコンポーネントに分解する。
遅い更新フェーズでは、歴史的に記録されたパラメータを収集し、同様の分解蓄積分析を行い、モデルを安定状態に戻す。
論文 参考訳(メタデータ) (2023-11-22T07:47:39Z) - Time-series Generation by Contrastive Imitation [87.51882102248395]
モーメントマッチングの目的によってモチベーションされ、複合的エラーを軽減し、局所的(しかし前方的な)遷移ポリシーを最適化する。
推論において、学習されたポリシーは反復的なサンプリングのジェネレータとして機能し、学習されたエネルギーはサンプルの品質を評価するための軌道レベル尺度として機能する。
論文 参考訳(メタデータ) (2023-11-02T16:45:25Z) - Generalized Robust Test-Time Adaptation in Continuous Dynamic Scenarios [18.527640606971563]
テスト時間適応(TTA)は、未ラベルのテストデータストリームのみを使用する推論フェーズにおいて、事前訓練されたモデルに分散をテストする。
本稿では,問題に効果的に対応する汎用ロバストテスト時間適応(GRoTTA)法を提案する。
論文 参考訳(メタデータ) (2023-10-07T07:13:49Z) - Predictive change point detection for heterogeneous data [0.4199844472131921]
予測と比較」は、予測機械学習モデルによって支援される変化点検出フレームワークである。
オンラインCDDルーチンでは、偽陽性率と制御不能な平均ランの長さでパフォーマンスが向上する。
この手法のパワーはトライボロジーのケーススタディで実証されている。
論文 参考訳(メタデータ) (2023-05-11T07:59:18Z) - Supervised Contrastive Learning with Heterogeneous Similarity for
Distribution Shifts [3.7819322027528113]
本稿では,教師付きコントラスト学習を用いた新たな正規化手法を提案する。
サブポピュレーションシフトや領域一般化などの分布シフトをエミュレートするベンチマークデータセットの実験は,提案手法の利点を実証している。
論文 参考訳(メタデータ) (2023-04-07T01:45:09Z) - Training on Test Data with Bayesian Adaptation for Covariate Shift [96.3250517412545]
ディープニューラルネットワークは、信頼できない不確実性推定で不正確な予測を行うことが多い。
分布シフトの下でのラベルなし入力とモデルパラメータとの明確に定義された関係を提供するベイズモデルを導出する。
本手法は精度と不確実性の両方を向上することを示す。
論文 参考訳(メタデータ) (2021-09-27T01:09:08Z) - Comparing Probability Distributions with Conditional Transport [63.11403041984197]
新しい発散として条件輸送(CT)を提案し、償却されたCT(ACT)コストと近似します。
ACTは条件付き輸送計画の計算を補正し、計算が容易な非バイアスのサンプル勾配を持つ。
さまざまなベンチマークデータセットのジェネレーティブモデリングでは、既存のジェネレーティブ敵対ネットワークのデフォルトの統計距離をACTに置き換えることで、一貫してパフォーマンスを向上させることが示されています。
論文 参考訳(メタデータ) (2020-12-28T05:14:22Z) - Evaluating Prediction-Time Batch Normalization for Robustness under
Covariate Shift [81.74795324629712]
我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。
予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。
この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
論文 参考訳(メタデータ) (2020-06-19T05:08:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。