論文の概要: Calibration of Time-Series Forecasting: Detecting and Adapting Context-Driven Distribution Shift
- arxiv url: http://arxiv.org/abs/2310.14838v2
- Date: Tue, 11 Jun 2024 14:07:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-13 00:58:30.833806
- Title: Calibration of Time-Series Forecasting: Detecting and Adapting Context-Driven Distribution Shift
- Title（参考訳）: 時系列予測の校正:コンテキスト駆動分布シフトの検出と適応
- Authors: Mouxiang Chen, Lefei Shen, Han Fu, Zhuo Li, Jianling Sun, Chenghao Liu,
- Abstract要約: 本稿では,コンテキスト駆動分布シフトの検出と適応のための普遍的キャリブレーション手法を提案する。
レジデンシャルベースCDS検出器(Residual-based CDS detector)またはリコンディショナー(Reconditionor)と呼ばれる新しいCDS検出器は、モデルの脆弱性をCDSに定量化する。
高いリコンディショナースコアは、重度の感受性を示し、したがってモデル適応を必要とする。
- 参考スコア（独自算出の注目度）: 28.73747033245012
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent years have witnessed the success of introducing deep learning models to time series forecasting. From a data generation perspective, we illustrate that existing models are susceptible to distribution shifts driven by temporal contexts, whether observed or unobserved. Such context-driven distribution shift (CDS) introduces biases in predictions within specific contexts and poses challenges for conventional training paradigms. In this paper, we introduce a universal calibration methodology for the detection and adaptation of CDS with a trained model. To this end, we propose a novel CDS detector, termed the "residual-based CDS detector" or "Reconditionor", which quantifies the model's vulnerability to CDS by evaluating the mutual information between prediction residuals and their corresponding contexts. A high Reconditionor score indicates a severe susceptibility, thereby necessitating model adaptation. In this circumstance, we put forth a straightforward yet potent adapter framework for model calibration, termed the "sample-level contextualized adapter" or "SOLID". This framework involves the curation of a contextually similar dataset to the provided test sample and the subsequent fine-tuning of the model's prediction layer with a limited number of steps. Our theoretical analysis demonstrates that this adaptation strategy can achieve an optimal bias-variance trade-off. Notably, our proposed Reconditionor and SOLID are model-agnostic and readily adaptable to a wide range of models. Extensive experiments show that SOLID consistently enhances the performance of current forecasting models on real-world datasets, especially on cases with substantial CDS detected by the proposed Reconditionor, thus validating the effectiveness of the calibration approach.
- Abstract（参考訳）: 近年では、時系列予測にディープラーニングモデルを導入することに成功した。
データ生成の観点から、既存のモデルは、観測されたか観測されていないかにかかわらず、時間的文脈によって駆動される分布シフトに影響を受けやすいことを示す。
このような文脈駆動型分布シフト(CDS)は、特定の文脈内での予測のバイアスを導入し、従来のトレーニングパラダイムに課題を提起する。
本稿では,CDSの検出と適応を訓練されたモデルで行うためのユニバーサルキャリブレーション手法を提案する。
そこで本研究では,CDS検出装置を「残留型CDS検出器」あるいは「リコンディショナー」と呼び,予測残差とそれに対応するコンテキスト間の相互情報を評価することにより,CDSに対するモデルの脆弱性を定量化する。
高いリコンディショナースコアは、重度の感受性を示し、したがってモデル適応を必要とする。
このような状況下では、モデルキャリブレーションのための単純かつ強力なアダプタフレームワークを「サンプルレベルのコンテキスト適応(sample-level contextualized adapter)」あるいは「SOLID」と呼ぶ。
このフレームワークは、提供されたテストサンプルとコンテキスト的に類似したデータセットのキュレーションと、その後に限られたステップ数でモデルの予測層の微調整を含む。
我々の理論的分析は、この適応戦略が最適なバイアス分散トレードオフを達成することを実証している。
特に,提案したReconditionorとSOLIDはモデルに依存しず,幅広いモデルに容易に適応可能である。
大規模な実験により,SOLIDは実世界のデータセット,特に提案したリコンディショナーによって検出されたCDSのケースにおいて,現在の予測モデルの性能を一貫して向上し,キャリブレーション手法の有効性を検証した。
関連論文リスト
- Semi-supervised Regression Analysis with Model Misspecification and High-dimensional Data [8.619243141968886]
条件付き平均モデルにおける回帰係数を推定するための推論フレームワークを提案する。
提案手法は,正規化推定器を適応度スコア(PS)と結果回帰(OR)モデルの両方に用い,拡張逆確率重み付き(AIPW)法を開発した。
我々の理論的な知見は、広範囲なシミュレーション研究と実世界のデータ応用を通して検証される。
論文 参考訳（メタデータ） (2024-06-20T00:34:54Z) - Onboard Out-of-Calibration Detection of Deep Learning Models using Conformal Prediction [4.856998175951948]
本研究では,共形予測アルゴリズムが深層学習モデルの不確かさと関係があることを示し,この関係が深層学習モデルが校正外であるかどうかを検出するのに有効であることを示す。
モデル不確かさと共形予測セットの平均サイズに関連する校正外検出手順を示す。
論文 参考訳（メタデータ） (2024-05-04T11:05:52Z) - Uncertainty-Calibrated Test-Time Model Adaptation without Forgetting [55.17761802332469]
テスト時間適応(TTA)は、与えられたモデルw.r.t.を任意のテストサンプルに適用することにより、トレーニングデータとテストデータの間の潜在的な分散シフトに取り組むことを目指している。
事前の手法は各テストサンプルに対してバックプロパゲーションを実行するため、多くのアプリケーションに対して許容できない最適化コストがかかる。
本稿では, 有効サンプル選択基準を策定し, 信頼性および非冗長なサンプルを同定する, 効率的なアンチフォッティングテスト時間適応法を提案する。
論文 参考訳（メタデータ） (2024-03-18T05:49:45Z) - Predictive Churn with the Set of Good Models [64.05949860750235]
近似機械学習モデルの集合に対する競合予測の効果について検討する。
ラーショモン集合内のモデル間の係り受けに関する理論的結果を示す。
当社のアプローチは、コンシューマ向けアプリケーションにおいて、より予測し、削減し、混乱を避けるためにどのように使用できるかを示します。
論文 参考訳（メタデータ） (2024-02-12T16:15:25Z) - Source-Free Unsupervised Domain Adaptation with Hypothesis Consolidation
of Prediction Rationale [53.152460508207184]
Source-Free Unsupervised Domain Adaptation (SFUDA)は、モデルがターゲットのドメインラベルやソースドメインデータにアクセスせずに新しいドメインに適応する必要がある、という課題である。
本稿では,各サンプルについて複数の予測仮説を考察し,各仮説の背景にある理論的根拠について考察する。
最適性能を達成するために,モデル事前適応,仮説統合,半教師付き学習という3段階の適応プロセスを提案する。
論文 参考訳（メタデータ） (2024-02-02T05:53:22Z) - Conformal Approach To Gaussian Process Surrogate Evaluation With
Coverage Guarantees [47.22930583160043]
適応型クロスコンフォーマル予測区間を構築する手法を提案する。
結果として生じる共形予測区間は、ベイズ的信頼性集合に類似した適応性のレベルを示す。
原子炉の蒸気発生器における閉鎖現象の高コスト・評価シミュレータのサロゲートモデリングの文脈において, 本手法の適用可能性を示す。
論文 参考訳（メタデータ） (2024-01-15T14:45:18Z) - A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。
オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
論文 参考訳（メタデータ） (2023-11-13T01:48:08Z) - Multiclass Alignment of Confidence and Certainty for Network Calibration [10.15706847741555]
最近の研究では、ディープニューラルネットワーク(DNN)が過信的な予測を行う傾向があることが示されている。
予測平均信頼度と予測確実性(MACC)の多クラスアライメントとして知られる簡易なプラグアンドプレイ補助損失を特徴とする列車時キャリブレーション法を提案する。
本手法は,領域内および領域外両方のキャリブレーション性能を実現する。
論文 参考訳（メタデータ） (2023-09-06T00:56:24Z) - Modular Conformal Calibration [80.33410096908872]
回帰における再校正のためのアルゴリズムを多種多様なクラスで導入する。
このフレームワークは、任意の回帰モデルをキャリブレーションされた確率モデルに変換することを可能にする。
我々は17の回帰データセットに対するMCCの実証的研究を行った。
論文 参考訳（メタデータ） (2022-06-23T03:25:23Z) - Consistent Counterfactuals for Deep Models [25.1271020453651]
ファクトファクトの例は、金融や医療診断といった重要な領域における機械学習モデルの予測を説明するために使用される。
本稿では,初期訓練条件に小さな変更を加えた深層ネットワークにおける実例に対するモデル予測の整合性について検討する。
論文 参考訳（メタデータ） (2021-10-06T23:48:55Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。