論文の概要: PredBench: Benchmarking Spatio-Temporal Prediction across Diverse Disciplines

• arxiv url: http://arxiv.org/abs/2407.08418v2
• Date: Fri, 12 Jul 2024 02:55:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-16 03:48:26.785608
• Title: PredBench: Benchmarking Spatio-Temporal Prediction across Diverse Disciplines
• Title（参考訳）: PredBench: さまざまな分野にわたる時空間予測のベンチマーク
• Authors: ZiDong Wang, Zeyu Lu, Di Huang, Tong He, Xihui Liu, Wanli Ouyang, Lei Bai,
• Abstract要約: 予測時間ネットワークの総合評価に適したベンチマークであるPredBenchを紹介する。 このベンチマークでは、広く採用されている12のメソッドと、複数のアプリケーションドメインにまたがる多様なデータセットを統合する。 その多次元評価フレームワークは、総合的なメトリクスセットで分析を広げる。
• 参考スコア（独自算出の注目度）: 86.36060279469304
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we introduce PredBench, a benchmark tailored for the holistic evaluation of spatio-temporal prediction networks. Despite significant progress in this field, there remains a lack of a standardized framework for a detailed and comparative analysis of various prediction network architectures. PredBench addresses this gap by conducting large-scale experiments, upholding standardized and appropriate experimental settings, and implementing multi-dimensional evaluations. This benchmark integrates 12 widely adopted methods with 15 diverse datasets across multiple application domains, offering extensive evaluation of contemporary spatio-temporal prediction networks. Through meticulous calibration of prediction settings across various applications, PredBench ensures evaluations relevant to their intended use and enables fair comparisons. Moreover, its multi-dimensional evaluation framework broadens the analysis with a comprehensive set of metrics, providing deep insights into the capabilities of models. The findings from our research offer strategic directions for future developments in the field. Our codebase is available at https://github.com/OpenEarthLab/PredBench.
• Abstract（参考訳）: 本稿では,時空間予測ネットワークの全体的評価に適したベンチマークであるPredBenchを紹介する。 この分野では大きな進歩があったが、様々な予測ネットワークアーキテクチャの詳細と比較分析のための標準化されたフレームワークはいまだに存在しない。 PredBenchはこのギャップに対処するため、大規模な実験を行い、標準化された適切な実験環境を維持し、多次元評価を実装する。 このベンチマークは、広く採用されている12のメソッドと、複数のアプリケーションドメインにまたがる15の多様なデータセットを統合し、現代の時空間予測ネットワークを広範囲に評価する。 PredBenchは、様々なアプリケーションにわたる予測設定の厳密な校正を通じて、意図した使用に関する評価を保証し、公正な比較を可能にする。 さらに、その多次元評価フレームワークは、包括的なメトリクスセットで分析を拡張し、モデルの能力に関する深い洞察を提供する。 本研究から得られた知見は,今後の発展に向けての戦略的方向性を提供するものである。 私たちのコードベースはhttps://github.com/OpenEarthLab/PredBench.orgで公開されています。

関連論文リスト

• GIFT-Eval: A Benchmark For General Time Series Forecasting Model Evaluation [90.53485251837235]
  時系列基礎モデルはゼロショット予測に優れ、明示的なトレーニングなしで多様なタスクを処理する。 GIFT-Evalは、多様なデータセットに対する評価を促進するための先駆的なベンチマークである。 GIFT-Evalには、144,000の時系列と17700万のデータポイントの23のデータセットが含まれている。
  論文  参考訳（メタデータ） (2024-10-14T11:29:38Z)
• MIBench: A Comprehensive Benchmark for Model Inversion Attack and Defense [43.71365087852274]
  Model Inversion (MI)攻撃は、ターゲットモデルの出力情報を活用して、プライバシに敏感なトレーニングデータを再構築することを目的としている。 包括的で整合性があり、信頼性の高いベンチマークが欠如していることは、非常に大きな課題である。 この致命的なギャップに対処するため、モデル反転攻撃と防御のための最初の実用的なベンチマーク(textitMIBench)を紹介した。
  論文  参考訳（メタデータ） (2024-10-07T16:13:49Z)
• JANET: Joint Adaptive predictioN-region Estimation for Time-series [28.19630729432862]
  共形予測領域を構築するための新しいフレームワークであるJANET(Joint Adaptive predictioN- Region Estimation for Time-Series)を提案する。 JANETは、帰納的共形フレームワークを一般化し、制御されたK系列誤差率の合同予測領域を効率的に生成する。 我々の経験的評価は、JANETが様々な時系列データセットにまたがる多段階予測タスクにおいて優れた性能を示している。
  論文  参考訳（メタデータ） (2024-07-08T21:03:15Z)
• GenBench: A Benchmarking Suite for Systematic Evaluation of Genomic Foundation Models [56.63218531256961]
  我々はGenomic Foundation Modelsの有効性を評価するためのベンチマークスイートであるGenBenchを紹介する。 GenBenchはモジュラーで拡張可能なフレームワークを提供し、様々な最先端の方法論をカプセル化している。 本稿では,タスク固有性能におけるモデルアーキテクチャとデータセット特性の相互作用のニュアンス解析を行う。
  論文  参考訳（メタデータ） (2024-06-01T08:01:05Z)
• Bayesian Online Learning for Consensus Prediction [16.890828000688174]
  本稿では,部分フィードバックから専門家のコンセンサスを動的に推定する手法の一群を提案する。 我々は,CIFAR-10H と ImageNet-16H の様々なベースラインに対して,我々のフレームワークの有効性を示す。
  論文  参考訳（メタデータ） (2023-12-12T19:18:04Z)
• Conformal Prediction in Multi-User Settings: An Evaluation [0.10231119246773925]
  マシンラーニングモデルは、ユーザを区別することなく、トレーニングされ、評価される。 これにより、マルチユーザ設定で不正確なパフォーマンス指標が生成される。 本研究では,複数のマルチユーザ設定における共形予測フレームワークの評価を行った。
  論文  参考訳（メタデータ） (2023-12-08T17:33:23Z)
• Regions of Reliability in the Evaluation of Multivariate Probabilistic Forecasts [73.33395097728128]
  時系列予測評価のための適切なスコアリングルールに関する最初の体系的な有限サンプル研究を提供する。 本研究では, 地中構造と予測分布のいくつかの重要な相違点をテストするために, 総合的な総合的合成ベンチマークを用いて解析を行った。
  論文  参考訳（メタデータ） (2023-04-19T17:38:42Z)
• A Closer Look at Debiased Temporal Sentence Grounding in Videos: Dataset, Metric, and Approach [53.727460222955266]
  テンポラル・センテンス・グラウンディング・イン・ビデオ(TSGV)は、未編集のビデオに自然言語文を埋め込むことを目的としている。 最近の研究では、現在のベンチマークデータセットには明らかなモーメントアノテーションバイアスがあることが判明している。 偏りのあるデータセットによる膨らませ評価を緩和するため、基礎的リコールスコアを割引する新しい評価基準「dR@n,IoU@m」を導入する。
  論文  参考訳（メタデータ） (2022-03-10T08:58:18Z)
• Cluster-and-Conquer: A Framework For Time-Series Forecasting [94.63501563413725]
  本稿では,高次元時系列データを予測するための3段階フレームワークを提案する。 当社のフレームワークは非常に汎用的で,各ステップで時系列予測やクラスタリングが利用可能です。 単純な線形自己回帰モデルでインスタンス化されると、いくつかのベンチマークデータセットで最先端の結果が得られる。
  論文  参考訳（メタデータ） (2021-10-26T20:41:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。