論文の概要: Data Leakage Inflates Generalizability of Power Outage Prediction Models
- arxiv url: http://arxiv.org/abs/2608.24665v1
- Date: Tue, 25 Aug 2026 15:05:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-26 14:09:35.055143
- Title: Data Leakage Inflates Generalizability of Power Outage Prediction Models
- Title(参考訳): データ漏洩は停電予測モデルの一般化性を膨らませる
- Abstract要約: 一般化能力に影響を与える停電予測モデルにおける3つの一般的な方法論的選択を同定する。
2018年から2023年にかけて、米国東海岸で公開されているデータを用いて、さまざまな方法論決定の予測的パフォーマンスへの影響を比較した。
ランダムな列車試験の分割は高い性能をもたらすが、これらの結果は空間的および時間的自己相関によって膨らませられることを示す。
これらの結果は、現在のデータ可用性と評価のプラクティスを考えると、公的に訓練された停止予測モデルが限られた運用価値と不確実な運用価値を提供することを示唆している。
- 参考スコア(独自算出の注目度): 0.9558392439655014
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Power outage prediction models are increasingly used in assessments of climate-driven infrastructure risk, yet current evaluation practices obscure whether these models generalize to the novel conditions such applications require. We identify three common methodological choices in power outage prediction models that influence their ability to generalize across spatial, temporal, and event-based settings. We compare the predictive performance impacts of different methodological decisions using publicly available data for the U.S. East Coast from 2018 to 2023 and feature sets derived from weather reanalysis and land-cover data, and embeddings from a GeoAI foundation model (Prithvi WxC). Specifically, we assess model performance under multiple test selection strategies, including unfiltered random splits, leave-one-state-out, and leave-one-event-out designs, which increasingly approximate real-world deployment conditions. While random train-test splits yield strong performance, we show that these results are inflated by spatial and temporal autocorrelation. Under spatial and temporal holdout experiments, predictive accuracy degrades substantially, with models often failing to outperform a simple null baseline. Incorporating GeoAI foundation model embeddings yields limited and inconsistent improvements, primarily for spatial generalization, and does not resolve poor event-level transferability. These findings suggest that, given current data availability and evaluation practices, publicly trained outage prediction models offer limited and uncertain operational value. Progress will likely require improved data coverage, more realistic evaluation protocols, and a shift in focus from marginal modeling advances toward addressing structural data constraints.
- Abstract(参考訳): 停電予測モデルは、気候変動によるインフラリスクの評価にますます使われているが、現在の評価手法では、これらのモデルがそのようなアプリケーションに必要な新しい条件に一般化するかどうかが不明である。
電源停止予測モデルでは,空間的,時間的,事象に基づく設定の一般化に影響を及ぼす3つの一般的な手法を選択する。
我々は,2018年から2023年までの米国東海岸の公用データを用いた様々な方法論決定の予測的性能への影響と,気象分析と土地被覆データから得られた特徴セットと,GeoAI基盤モデル(Prithvi WxC)からの埋め込みを比較した。
具体的には,複数のテスト選択戦略の下でのモデル性能の評価を行う。
ランダムな列車試験の分割は高い性能をもたらすが、これらの結果は空間的および時間的自己相関によって膨らませられることを示す。
空間的および時間的ホールドアウト実験では、予測精度は著しく低下し、モデルが単純なヌル基底線を上回ることがしばしばある。
GeoAI基盤モデルの組み込みは、主に空間一般化のために限定的で一貫性のない改善をもたらす。
これらの結果は、現在のデータ可用性と評価のプラクティスを考えると、公的に訓練された停止予測モデルが限られた運用価値と不確実な運用価値を提供することを示唆している。
進歩には、改善されたデータカバレッジ、より現実的な評価プロトコル、そして構造的なデータ制約に対処する限界モデリングの進歩への焦点のシフトが必要になるだろう。
関連論文リスト
- Precipitation Downscaling Using Foundation Model-Conditioned Diffusion [1.1848987098427715]
高分解能降水場は、水文学的な影響評価には不可欠であるが、地球規模の気候モデル出力は、非常に粗いため、直接の使用には偏りがある。
降水量減少に適応した拡散確率モデルに対する3つの条件付け手法について検討した。
連結条件付けは、ポイントワイドCRPSとMSEの最低値を達成するが、高強度イベントを抑制する過度に滑らかなフィールドを生成する傾向がある。
クロスアテンション条件付けは、スペクトルの忠実度を大幅に改善し、分布リアリズムを大幅に改善する。
論文 参考訳(メタデータ) (2026-08-26T14:30:39Z) - Why Model Selection Fails in Time Series Forecasting: An Empirical Study of Instability Across Data Regimes [0.0]
時系列予測モデルは、統計学的および構造的特性の異なるデータセット間で不整合性を示すことが多い。
本稿では,データ登録記述子とモデル性能の関係を解析することにより,ルールベースのモデル選択が時系列予測で失敗する理由を考察する。
論文 参考訳(メタデータ) (2026-05-02T21:19:29Z) - Assessing the Robustness of Climate Foundation Models under No-Analog Distribution Shifts [2.4329932351753114]
アナログのない」将来の気候状態は、歴史的トレーニングデータの実証範囲外の条件に、外部の強制がシステムを駆動する体制である。
我々は、U-Net、ConvLSTM、ClimaXファンデーションモデルという3つの最先端アーキテクチャの堅牢性を評価する。
論文 参考訳(メタデータ) (2026-03-24T10:29:54Z) - Target Concept Tuning Improves Extreme Weather Forecasting [51.43578341469291]
気象予報のための深層学習モデルは、台風のような珍しいが高影響の出来事でしばしば失敗する。
既存の微調整手法は、これらの極端な出来事を見落とし、全体的なパフォーマンスを犠牲にしてそれらを過度に適合させるというトレードオフに直面します。
モデルの改良によって上記の問題を解決するための,解釈可能な概念付き微調整フレームワークであるTaCTを提案する。
論文 参考訳(メタデータ) (2026-03-17T15:34:05Z) - Model-Based Policy Adaptation for Closed-Loop End-to-End Autonomous Driving [54.46325690390831]
本稿では,事前学習したE2E運転エージェントのロバスト性と安全性を高めるための汎用フレームワークとして,モデルベースポリシー適応(MPA)を提案する。
MPAは、ジオメトリ一貫性のあるシミュレーションエンジンを用いて、まず様々な対物軌道を生成する。
MPAは拡散ベースのポリシーアダプタを訓練し、基本方針の予測を洗練させ、Q値モデルを多段階に分けて長期的な結果を評価する。
論文 参考訳(メタデータ) (2025-11-26T17:01:41Z) - On conditional diffusion models for PDE simulations [53.01911265639582]
スパース観測の予測と同化のためのスコアベース拡散モデルについて検討した。
本稿では,予測性能を大幅に向上させる自動回帰サンプリング手法を提案する。
また,条件付きスコアベースモデルに対する新たなトレーニング戦略を提案する。
論文 参考訳(メタデータ) (2024-10-21T18:31:04Z) - Physics-guided Active Sample Reweighting for Urban Flow Prediction [75.24539704456791]
都市フロー予測は、バス、タクシー、ライド駆動モデルといった交通サービスのスループットを見積もる、微妙な時間的モデリングである。
最近の予測解は、物理学誘導機械学習(PGML)の概念による改善をもたらす。
我々は、PN(atized Physics-guided Network)を開発し、P-GASR(Physical-guided Active Sample Reweighting)を提案する。
論文 参考訳(メタデータ) (2024-07-18T15:44:23Z) - Inference at the data's edge: Gaussian processes for modeling and inference under model-dependency, poor overlap, and extrapolation [0.0]
ガウス過程 (GP) はフレキシブルな非線形回帰法である。
これは、予測された(非現実的な)値に対する不確実性を扱うための原則化されたアプローチを提供する。
これは外挿または弱い重なり合いの条件下では特に有用である。
論文 参考訳(メタデータ) (2024-07-15T05:09:50Z) - A Temporally Disentangled Contrastive Diffusion Model for Spatiotemporal Imputation [35.46631415365955]
C$2$TSDという条件拡散フレームワークを導入する。
実世界の3つのデータセットに対する我々の実験は、最先端のベースラインと比較して、我々のアプローチの優れた性能を示している。
論文 参考訳(メタデータ) (2024-02-18T11:59:04Z) - ExtremeCast: Boosting Extreme Value Prediction for Global Weather Forecast [57.6987191099507]
非対称な最適化を行い、極端な天気予報を得るために極端な値を強調する新しい損失関数であるExlossを導入する。
また,複数のランダムサンプルを用いて予測結果の不確かさをキャプチャするExBoosterについても紹介する。
提案手法は,上位中距離予測モデルに匹敵する全体的な予測精度を維持しつつ,極端気象予測における最先端性能を達成することができる。
論文 参考訳(メタデータ) (2024-02-02T10:34:13Z) - Long-term drought prediction using deep neural networks based on geospatial weather data [75.38539438000072]
農業計画や保険には1年前から予測される高品質の干ばつが不可欠だ。
私たちは、体系的なエンドツーエンドアプローチを採用するエンドツーエンドアプローチを導入することで、干ばつデータに取り組みます。
主な発見は、TransformerモデルであるEarthFormerが、正確な短期(最大6ヶ月)の予測を行う際の例外的なパフォーマンスである。
論文 参考訳(メタデータ) (2023-09-12T13:28:06Z) - Back2Future: Leveraging Backfill Dynamics for Improving Real-time
Predictions in Future [73.03458424369657]
公衆衛生におけるリアルタイム予測では、データ収集は簡単で要求の多いタスクである。
過去の文献では「バックフィル」現象とそのモデル性能への影響についてはほとんど研究されていない。
我々は、与えられたモデルの予測をリアルタイムで洗練することを目的とした、新しい問題とニューラルネットワークフレームワークBack2Futureを定式化する。
論文 参考訳(メタデータ) (2021-06-08T14:48:20Z) - Learning Prediction Intervals for Model Performance [1.433758865948252]
モデル性能の予測間隔を計算する手法を提案する。
我々は,幅広いドリフト条件におけるアプローチを評価し,競合ベースラインよりも大幅に改善することを示す。
論文 参考訳(メタデータ) (2020-12-15T21:32:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。