論文の概要: EvoBench: An Evolving, Diagnostic Benchmark Framework for Environmental Modeling
- arxiv url: http://arxiv.org/abs/2610.35464v1
- Date: Mon, 26 Oct 2026 13:58:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:14.01889
- Title: EvoBench: An Evolving, Diagnostic Benchmark Framework for Environmental Modeling
- Title（参考訳）: EvoBench:環境モデリングのための進化的診断ベンチマークフレームワーク
- Abstract要約: モデルは気候変動によって悪化し、モデルは監視されていない場所で失敗し、モデルは洪水や干ばつのような稀だが重要な制度を欠いている。
textbfEvoBenchは、モデルをどこで失敗するかを示し、時間の経過とともに失敗を追跡し、モデルの能力ギャップにフォーカスするために進化するベンチマークフレームワークです。
- 参考スコア（独自算出の注目度）: 30.230075641187202
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine learning models are now widely used to predict environmental variable dynamics in domains like hydrology, climate science, agriculture, and ecology. These models are usually compared on fixed benchmark datasets using a single average accuracy score. As models improve, their scores become very close when averaged over large regions and long time periods, so the benchmark can no longer tell them apart, and a single number hides \emph{where} and \emph{when} a model fails. Three failures are common across environmental domains: models get worse as the climate shifts (non-stationarity), models fail at unmonitored sites (spatial extrapolation), and models miss rare but important regimes such as floods and droughts. We present \textbf{EvoBench}, a benchmark framework that shows where a model fails, tracks failures over time, and evolves to focus on model capability gaps. We apply EvoBench to daily streamflow prediction as a case study (\textbf{CAMELS-Evolve}, about 9{,}000 U.S. basins, 1985--2024) and compare an operational physical model (NWM), a conceptual reference (HBV), and several data-driven models. No model wins on every testing scenarios (e.g., in terms of average accuracy, performance at low flows and unmonitored basins). Also we observe that all data-driven models under-predict floods. Additionally, we show that targeted fix based on the reported failures could mitigate weaknesses the benchmark identified in certain scenarios. EvoBench turns model evaluation from a saturated ranking into a moving map of model limitations.
- Abstract（参考訳）: 機械学習モデルは現在、水文学、気候科学、農業、生態学といった分野における環境変動のダイナミクスを予測するために広く使われている。
これらのモデルは通常、単一の平均精度スコアを使用して、固定されたベンチマークデータセットで比較される。
モデルが改善されるにつれて、そのスコアは大きな領域や長い期間にわたって平均されるときに非常に近くなるので、ベンチマークはそれらを区別することができなくなり、単一の数値がモデルが失敗するときに \emph{where} と \emph{when} を隠す。
モデルが悪くなる(非定常性)、モデルが監視されていない場所で失敗する(空間外挿)、モデルが洪水や干ばつのような稀だが重要な体制を逃す、という3つの失敗がある。
これは、モデルをどこで失敗するかを示し、時間の経過とともに失敗を追跡し、モデルの能力ギャップにフォーカスするために進化するベンチマークフレームワークです。
本稿では,EvoBenchを1日あたりのストリームフロー予測に適用する(約9{,}000 U.S. basins 1985-2024)とともに,操作物理モデル(NWM),概念基準(HBV),データ駆動モデルの比較を行った。
すべてのテストシナリオでモデルが勝利することはありません(例えば、平均的正確性、低フローでのパフォーマンス、監視されていない盆地など)。
また、予測洪水下のすべてのデータ駆動モデルも観察する。
さらに、報告された障害に基づく対象の修正は、特定のシナリオで特定されたベンチマークの弱点を軽減する可能性があることを示す。
EvoBenchはモデル評価を飽和ランキングからモデル制限の移動マップに変換する。
関連論文リスト
- Bayesian Models for Joint Selection of Features and Auto-Regressive Lags: Theory and Applications in Environmental and Financial Forecasting [0.9208007322096533]
自動相関誤差を伴う線形回帰における変数選択のためのベイズ的フレームワークを開発する。
本フレームワークは,MSPEの低減,真のモデル成分同定の改善,自動相関ノイズとの整合性の向上を実現している。
既存の手法と比較して,本フレームワークはより低いMSPEを実現し,真のモデル成分の同定が向上し,自動相関ノイズとの整合性が向上する。
論文 参考訳（メタデータ） (2025-08-12T18:44:36Z) - RoHOI: Robustness Benchmark for Human-Object Interaction Detection [84.78366452133514]
ヒューマン・オブジェクト・インタラクション(HOI)検出は、コンテキスト認識支援を可能にするロボット・ヒューマン・アシストに不可欠である。
HOI検出のための最初のベンチマークを導入し、様々な課題下でモデルのレジリエンスを評価する。
我々のベンチマークであるRoHOIは、HICO-DETとV-COCOデータセットに基づく20の汚職タイプと、新しいロバストネスにフォーカスしたメトリクスを含んでいる。
論文 参考訳（メタデータ） (2025-07-12T01:58:04Z) - Evaluation of a Foundational Model and Stochastic Models for Forecasting Sporadic or Spiky Production Outages of High-Performance Machine Learning Services [0.0]
我々は、最先端の機械学習サービスの散発的またはスパイクな生産停止を予測するために、最先端の基礎モデルを最適化する。
この分析は、各評価されたモデルが、散発的またはスパイクなイベントに対してどのように機能するかを理解するのに役立ちます。
最適なパラメータを持つモデルを用いて、6%未満の値誤差を持つ特定の根本原因の1年間の障害統計を推定する。
論文 参考訳（メタデータ） (2025-06-30T23:59:12Z) - Evaluating Deep Learning Approaches for Predictions in Unmonitored Basins with Continental-scale Stream Temperature Models [1.8067095934521364]
最近の機械学習(ML)モデルは、大規模な空間スケールでの正確な予測に膨大なデータセットを利用することができる。
本研究では,モデル設計とインプットに必要なデータ,および性能向上のためのトレーニングについて考察する。
論文 参考訳（メタデータ） (2024-10-23T15:36:59Z) - LiveXiv -- A Multi-Modal Live Benchmark Based on Arxiv Papers Content [62.816876067499415]
我々は、科学的ArXiv論文に基づくスケーラブルな進化型ライブベンチマークであるLiveXivを提案する。
LiveXivは、任意のタイムスタンプでドメイン固有の原稿にアクセスし、視覚的な問合せペアを自動的に生成することを提案する。
ベンチマークの最初のバージョンで、複数のオープンでプロプライエタリなLMM(Large Multi-modal Models)をベンチマークし、その挑戦的な性質を示し、モデルの真の能力を明らかにする。
論文 参考訳（メタデータ） (2024-10-14T17:51:23Z) - Do Contemporary Causal Inference Models Capture Real-World Heterogeneity? Findings from a Large-Scale Benchmark [39.06952509635041]
本研究では,条件平均処理効果(CATE)推定アルゴリズムを大規模ベンチマークで評価し,予期せぬ結果を示す。
CATE推定の62%は、自明なゼロエフェクト予測器よりも平均正方形誤差(MSE)が高く、非効率であることがわかった。
これらの結果は、現在のCATEモデルにおける重要な課題を浮き彫りにして、より広範な評価と方法論的改善の必要性を浮き彫りにしている。
論文 参考訳（メタデータ） (2024-10-09T16:04:40Z) - Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data [49.73114504515852]
各世代の合成データによって元の実データを置き換えることは、モデル崩壊の傾向にあることを示す。
生成した実データと連続する合成データの蓄積は,モデル崩壊を回避することを実証する。
論文 参考訳（メタデータ） (2024-04-01T18:31:24Z) - Incremental Outlier Detection Modelling Using Streaming Analytics in Finance & Health Care [0.0]
リアルタイムデータの時代において、従来の手法はストリーミング環境の動的な性質に追従するのに苦労することが多い。
本稿では,モデルを一度構築し,リアルタイム環境下で評価するハイブリッドフレームワークを提案する。
我々は、一級サポートベクターマシン(OCSVM)、孤立林適応型スライドウィンドウアプローチ(IForest ASD)、正確な嵐(ES)、角度ベース外乱検出(ABOD)、局所外乱係数(LOF)、Kitsunesオンラインアルゴリズム(KitNet)、K-nearest近隣の8種類の最先端外乱検出モデルを採用した。
論文 参考訳（メタデータ） (2023-05-17T02:30:28Z) - Back2Future: Leveraging Backfill Dynamics for Improving Real-time
Predictions in Future [73.03458424369657]
公衆衛生におけるリアルタイム予測では、データ収集は簡単で要求の多いタスクである。
過去の文献では「バックフィル」現象とそのモデル性能への影響についてはほとんど研究されていない。
我々は、与えられたモデルの予測をリアルタイムで洗練することを目的とした、新しい問題とニューラルネットワークフレームワークBack2Futureを定式化する。
論文 参考訳（メタデータ） (2021-06-08T14:48:20Z) - Anomaly Detection of Time Series with Smoothness-Inducing Sequential
Variational Auto-Encoder [59.69303945834122]
Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。
我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。
合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
論文 参考訳（メタデータ） (2021-02-02T06:15:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。