論文の概要: SAFE: A Novel Approach to AI Weather Evaluation through Stratified Assessments of Forecasts over Earth

• arxiv url: http://arxiv.org/abs/2510.26099v1
• Date: Thu, 30 Oct 2025 03:22:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-31 16:05:09.642587
• Title: SAFE: A Novel Approach to AI Weather Evaluation through Stratified Assessments of Forecasts over Earth
• Title（参考訳）: SAFE:地球上の予測の階層的評価によるAI気象評価の新しいアプローチ
• Authors: Nick Masi, Randall Balestriero,
• Abstract要約: 地球上の予測の成層的評価(英: Stratified Assessments of Forecasts over Earth、SAFE)は、地球上で行われる一連の予測の成層的性能を解明するためのパッケージである。 SAFEはさまざまなデータドメインを統合して、地理空間グリッドポイントに関連するさまざまな属性を階層化する。 その重要性を示すために、SAFEを使用して、最先端のAIベースの天気予報モデルの動物園をベンチマークする。
• 参考スコア（独自算出の注目度）: 18.705966042259405
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The dominant paradigm in machine learning is to assess model performance based on average loss across all samples in some test set. This amounts to averaging performance geospatially across the Earth in weather and climate settings, failing to account for the non-uniform distribution of human development and geography. We introduce Stratified Assessments of Forecasts over Earth (SAFE), a package for elucidating the stratified performance of a set of predictions made over Earth. SAFE integrates various data domains to stratify by different attributes associated with geospatial gridpoints: territory (usually country), global subregion, income, and landcover (land or water). This allows us to examine the performance of models for each individual stratum of the different attributes (e.g., the accuracy in every individual country). To demonstrate its importance, we utilize SAFE to benchmark a zoo of state-of-the-art AI-based weather prediction models, finding that they all exhibit disparities in forecasting skill across every attribute. We use this to seed a benchmark of model forecast fairness through stratification at different lead times for various climatic variables. By moving beyond globally-averaged metrics, we for the first time ask: where do models perform best or worst, and which models are most fair? To support further work in this direction, the SAFE package is open source and available at https://github.com/N-Masi/safe
• Abstract（参考訳）: 機械学習における支配的なパラダイムは、あるテストセットにおけるすべてのサンプルの平均損失に基づいてモデルパフォーマンスを評価することである。 これは、気候や気候設定において地球上の平均的なパフォーマンスを測り、人類の発達と地理の不均一な分布を考慮できないことを意味している。 我々は,地球上の予測の集合の成層的性能を解明するためのパッケージである,地球上の予測の成層的評価(SAFE)を紹介した。 SAFEは、領域(通常国)、グローバルサブリージョン、収入、土地被覆(土地または水)など、地理空間グリッドポイントに関連するさまざまな属性によって成層化するために、さまざまなデータドメインを統合している。 これにより、各属性の個々の層(例えば、各国における精度)のモデルの性能を調べることができる。 その重要性を示すために、SAFEを使用して、最先端のAIベースの天気予報モデルの動物園をベンチマークし、それらすべてが全ての属性にわたって予測スキルの相違を示すことを発見した。 これを用いて、様々な気候変数の異なる鉛時間における成層化によるモデル予測公正性のベンチマークを作成する。 平均的なメトリクスを超えて、私たちは初めて、モデルがベストまたは最悪のパフォーマンスを、どのモデルが最も公正であるかを尋ねます。 この方向にさらなる作業をサポートするため、SAFEパッケージはオープンソースであり、https://github.com/N-Masi/safeで入手できる。

関連論文リスト

• Geospatial Diffusion for Land Cover Imperviousness Change Forecasting [0.0]
  本稿では,歴史的・補助的なデータソースに規定されたデータ問題としてLULC予測をフレーミングすることにより,土地被覆変化予測のためのジェネレーティブAI(GenAI)を利用した新しいパラダイムを提案する。 本研究では,不確実性予測のための拡散モデルをトレーニングし,その性能を全く変化しないベースラインと比較する。 トレーニング期間中に12大都市圏で1年間にわたり評価した結果,平均分解能が$geq 0.7times0.7km2$の場合,これらのベースラインよりもMAEが低いことが示唆された。
  論文  参考訳（メタデータ） (2025-08-14T13:45:10Z)
• A comparison of stretched-grid and limited-area modelling for data-driven regional weather forecasting [0.493599216374976]
  限界領域モデル (LAM) とストレッチグリッドモデル (SGM) は高分解能な地域予測を生成するために出現している。 本研究の目的は,モデル設計の違いが相対的な性能と潜在的な応用に与える影響を理解することである。
  論文  参考訳（メタデータ） (2025-07-24T12:54:08Z)
• WorldPrediction: A Benchmark for High-level World Modeling and Long-horizon Procedural Planning [52.36434784963598]
  我々は、異なるAIモデルのワールドモデリングと手続き計画能力を評価するためのビデオベースのベンチマークであるWorldPredictionを紹介する。 現在のフロンティアモデルでは,WorldPrediction-WMでは57%,WorldPrediction-PPでは38%の精度しか達成できないが,人間は両タスクを完璧に解くことができる。
  論文  参考訳（メタデータ） (2025-06-04T18:22:40Z)
• GAIA: A Foundation Model for Operational Atmospheric Dynamics [0.7454461126580372]
  GAIAは、マスク付きオートエンコーダ(MAE)と自己蒸留とNOラベル(DINO)を組み合わせて、衛星画像の地球大気パターンを分析する新しいモデルである。 これらの補完的な自己教師付き学習アプローチを統合することで、我々のモデルは、局所的な特徴とグローバルな依存関係の両方を同時にキャプチャする。
  論文  参考訳（メタデータ） (2025-05-15T05:07:09Z)
• Towards an end-to-end artificial intelligence driven global weather forecasting system [57.5191940978886]
  我々は,地球規模の気象変動に対するAIに基づくデータ同化モデル,すなわちAdasを提案する。 我々は,アダスが地球観測を同化して高品質な分析を行い,長期にわたって安定して運用できることを実証した。 この手法を現実のシナリオに適用するのは,私たちが初めてです。
  論文  参考訳（メタデータ） (2023-12-18T09:05:28Z)
• Residual Corrective Diffusion Modeling for Km-scale Atmospheric Downscaling [58.456404022536425]
  気象・気候からの物理的危険予知技術の現状には、粗い解像度のグローバルな入力によって駆動される高価なkmスケールの数値シミュレーションが必要である。 ここでは、コスト効率のよい機械学習代替手段として、このようなグローバルな入力をkmスケールにダウンスケールするために、生成拡散アーキテクチャを探索する。 このモデルは、台湾上空の地域気象モデルから2kmのデータを予測するために訓練され、世界25kmの再解析に基づいている。
  論文  参考訳（メタデータ） (2023-09-24T19:57:22Z)
• Long-term drought prediction using deep neural networks based on geospatial weather data [75.38539438000072]
  農業計画や保険には1年前から予測される高品質の干ばつが不可欠だ。 私たちは、体系的なエンドツーエンドアプローチを採用するエンドツーエンドアプローチを導入することで、干ばつデータに取り組みます。 主な発見は、TransformerモデルであるEarthFormerが、正確な短期(最大6ヶ月)の予測を行う際の例外的なパフォーマンスである。
  論文  参考訳（メタデータ） (2023-09-12T13:28:06Z)
• An Effective Meaningful Way to Evaluate Survival Models [34.21432603301076]
  実際には、テストセットには検閲された個人が含まれています。 本稿では,現実的な半合成サバイバルデータセットを生成するための,新しい効果的なアプローチを提案する。 提案手法では,モデルの性能に基づいて精度の高いランク付けが可能であり,しばしば真のMAEと密接に一致している。
  論文  参考訳（メタデータ） (2023-06-01T23:22:46Z)
• A Meta-Analysis of Solar Forecasting Based on Skill Score [0.0]
  定性的な太陽予測の総合的メタ分析を,スキルスコアに基づいて行った。 4,687点のデータベースを構築し解析した。 時間内および日内予測は日頭予測よりも改善が見られた。
  論文  参考訳（メタデータ） (2022-08-22T18:37:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。