論文の概要: Every Fixed Metric Has a Blind Spot: A Learned Atmospheric Critic for Scoring Forecast Realism

• arxiv url: http://arxiv.org/abs/2609.18381v1
• Date: Wed, 16 Sep 2026 09:36:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.737337
• Title: Every Fixed Metric Has a Blind Spot: A Learned Atmospheric Critic for Scoring Forecast Realism
• Title（参考訳）: すべての固定されたメトリクスに盲点がある:予報リアリズムを損なうための大気汚染
• Abstract要約: モデル出力から参照データを分離するための判別器を訓練し、出力ロジットを用いて発散性のようなリアリズムスコアを得る。 ERA5リアナリシスデータに適用した各種合成汚損データを用いて,学習した大気汚染を既存の指標と比較した。 現実主義のスコアは長いリードタイムで劣化し、メトリックは一般に機械学習モデルよりも高いリアリズムを数値モデルに割り当てる。
• 参考スコア（独自算出の注目度）: 2.0935101589828244
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite their high accuracy on point-wise metrics, machine learning weather forecasting models can exhibit different failure modes such as blurring, periodic irregularities, and other unphysical spatial artifacts. This has motivated a variety of metrics to detect known failure cases. Existing metrics fix a representation or transformation in advance, and that choice limits the artifacts they can detect. We propose to train a discriminator for separating reference data from the model's output, and using its output logit to obtain a divergence-like realism score. The discriminator learns whatever separates the model's fields from real weather, adapting to whichever failure mode that model exhibits. We compare our learned atmospheric critic to existing metrics using various synthetic corruptions applied to ERA5 reanalysis data. Our method successfully identifies the corruptions and ranks their severity, while existing metrics fail on at least one corruption. Additionally, we evaluate forecasts from real weather models, and find that the realism score degrades with longer lead times and the metric generally assigns higher realism to numerical models than to machine learning models.
• Abstract（参考訳）: 点値の精度が高いにもかかわらず、機械学習の天気予報モデルは、ぼやけたり、周期的不規則性、その他の非物理的空間的アーティファクトなど、さまざまな障害モードを示すことができる。 これは既知の障害ケースを検出するために、さまざまなメトリクスを動機付けている。 既存のメトリクスは事前に表現や変換を修正し、その選択によって検出可能なアーティファクトを制限します。 本稿では,モデル出力から参照データを分離するための判別器を訓練し,その出力ロジットを用いて発散性のようなリアリズムスコアを求めることを提案する。 判別器は、モデルが提示するどの障害モードにも適応して、モデルのフィールドを実際の天候から切り離すものを学ぶ。 ERA5リアナリシスデータに適用した各種合成汚損データを用いて,学習した大気汚染を既存の指標と比較した。 我々の手法は汚職の特定に成功し、その重症度をランク付けする一方、既存の指標は少なくとも1つの汚職で失敗する。 さらに、実際の気象モデルから予測を評価し、実数論のスコアがより長いリードタイムで劣化し、計量は一般に機械学習モデルよりも高いリアリズムを数値モデルに割り当てる。

関連論文リスト

• Unsupervised Learning for Industrial Defect Detection: A Case Study on Shearographic Data [0.0]
  本研究では,せん断画像の自動異常検出のための教師なし学習手法について検討する。 完全に接続されたオートエンコーダ、畳み込みオートエンコーダ、学生-教師モデルという3つのアーキテクチャが評価されている。 その結果, 生徒-教師のアプローチは, より優れた分類を達成し, 正確なローカライゼーションを可能にすることがわかった。
  論文  参考訳（メタデータ） (2025-11-04T12:48:02Z)
• Calibrated Value-Aware Model Learning with Probabilistic Environment Models [11.633285935344208]
  我々は、人気の高いMuZero損失を含む、価値認識モデル学習損失の家系を分析した。 これらの損失は、通常用いられるように、無調整の代理損失であり、必ずしも正しいモデルと値関数を回復しないことを意味する。
  論文  参考訳（メタデータ） (2025-05-28T18:40:49Z)
• Position: All Current Generative Fidelity and Diversity Metrics are Flawed [58.815519650465774]
  現在のジェネレーティブの忠実度と多様性の指標がすべて欠陥があることを示します。 私たちの目標は、モデルではなく、メトリクスの開発により多くの労力を費やすように研究コミュニティを説得することにあります。
  論文  参考訳（メタデータ） (2025-05-28T15:10:33Z)
• Root Causing Prediction Anomalies Using Explainable AI [3.970146574042422]
  本稿では,機械学習モデルにおける根源的性能劣化に対する説明可能なAI(XAI)の新たな応用法を提案する。 単一機能の破損は、カスケード機能、ラベル、コンセプトドリフトを引き起こす可能性がある。 我々は、パーソナライズされた広告に使用されるモデルの信頼性を向上させるために、この手法をうまく応用した。
  論文  参考訳（メタデータ） (2024-03-04T19:38:50Z)
• Learning Real-World Image De-Weathering with Imperfect Supervision [57.748585821252824]
  既存の現実世界のデヒータリングデータセットは、接地トラス画像と入力された劣化画像の間に、一貫性のない照明、位置、テクスチャを示すことが多い。 我々は、入力劣化画像と可能な限り一貫性のある擬似ラベルを生成するための一貫性ラベルコンストラクタ(CLC)を開発した。 我々は,従来の不完全ラベルと擬似ラベルを組み合わせることで,情報割当戦略による脱ウェザリングモデルを共同で監督する。
  論文  参考訳（メタデータ） (2023-10-23T14:02:57Z)
• Understanding Factual Errors in Summarization: Errors, Summarizers, Datasets, Error Detectors [105.12462629663757]
  本研究では、既存の9つのデータセットから事実性エラーアノテーションを集約し、基礎となる要約モデルに従ってそれらを階層化する。 本稿では,この階層化ベンチマークにおいて,最近のChatGPTベースの指標を含む最先端の事実性指標の性能を比較し,その性能が様々な種類の要約モデルで大きく異なることを示す。
  論文  参考訳（メタデータ） (2022-05-25T15:26:48Z)
• A Principled Approach to Failure Analysis and Model Repairment: Demonstration in Medical Imaging [12.732665048388041]
  マシンラーニングモデルは通常、デプロイ後の予期せぬ失敗を示す。 私たちは2つの重要な質問に答えることで、このプロセスの標準化と原則の導入を目指しています。 そこで本研究では,タイプ内および型間一般化の測定により,特定された障害タイプの品質を検証できることを示唆する。 我々は,以前に正しいデータの性能を維持しつつ,失敗タイプに対して高い精度を達成できた場合,モデルを修復すると考えることができると論じる。
  論文  参考訳（メタデータ） (2021-09-25T12:04:19Z)
• Taxonomizing local versus global structure in neural network loss landscapes [60.206524503782006]
  ロスランドスケープが世界規模で良好に接続されている場合, 最適なテスト精度が得られることを示す。 また、モデルが小さい場合や、品質の低いデータに訓練された場合、世界規模で接続の不十分なランドスケープが生じる可能性があることも示しています。
  論文  参考訳（メタデータ） (2021-07-23T13:37:14Z)
• Simulated Adversarial Testing of Face Recognition Models [53.10078734154151]
  本稿では,シミュレータを用いて機械学習アルゴリズムの検証方法を学ぶためのフレームワークを提案する。 実データでトレーニングされたモデルの弱点が、シミュレーションサンプルを使って発見できることを示すのはこれが初めてである。
  論文  参考訳（メタデータ） (2021-06-08T17:58:10Z)
• Defuse: Harnessing Unrestricted Adversarial Examples for Debugging Models Beyond Test Accuracy [11.265020351747916]
  Defuseは、テストデータ以外のモデルエラーを自動的に検出し、修正する手法である。 本稿では, 生成モデルを用いて, モデルによって誤分類された自然発生事例を探索する逆機械学習手法に着想を得たアルゴリズムを提案する。 Defuseはテストセットの一般化を維持しながら、微調整後のエラーを修正する。
  論文  参考訳（メタデータ） (2021-02-11T18:08:42Z)
• Unsupervised Anomaly Detection with Adversarial Mirrored AutoEncoders [51.691585766702744]
  本稿では,識別器のミラー化ワッサースタイン損失を利用して,よりセマンティックレベルの再構築を行う逆自動エンコーダの変種を提案する。 我々は,再建基準の代替として,異常スコアの代替尺度を提案した。 提案手法は,OOD検出ベンチマークにおける異常検出の最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2020-03-24T08:26:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。