論文の概要: Evaluating the Generalization Ability of Spatiotemporal Model in Urban Scenario

• arxiv url: http://arxiv.org/abs/2410.04740v2
• Date: Wed, 9 Oct 2024 07:03:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 02:17:53.657257
• Title: Evaluating the Generalization Ability of Spatiotemporal Model in Urban Scenario
• Title（参考訳）: 都市シナリオにおける時空間モデルの一般化能力の評価
• Authors: Hongjun Wang, Jiyuan Chen, Tong Pan, Zheng Dong, Lingyu Zhang, Renhe Jiang, Xuan Song,
• Abstract要約: 本研究では,自転車シェアリング,311サービス,歩行者交通速度,交通流,配車需要,自転車シェアリングの6つのシナリオからなる時空間アウト・オブ・ディストリビューション(ST-OOD)ベンチマークを提案する。 我々は、最先端モデルについて広範囲に評価し、その性能は分配外設定で著しく低下し、ほとんどのモデルが単純なマルチレイヤ・パーセプトロン(MLP)よりも性能が悪くなっていることを発見した。 その結果,ほとんどのデータセットにおいて若干のドロップアウト率で一般化性能が向上し,分配性能に最小限の影響が認められた。
• 参考スコア（独自算出の注目度）: 11.208740750755025
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spatiotemporal neural networks have shown great promise in urban scenarios by effectively capturing temporal and spatial correlations. However, urban environments are constantly evolving, and current model evaluations are often limited to traffic scenarios and use data mainly collected only a few weeks after training period to evaluate model performance. The generalization ability of these models remains largely unexplored. To address this, we propose a Spatiotemporal Out-of-Distribution (ST-OOD) benchmark, which comprises six urban scenario: bike-sharing, 311 services, pedestrian counts, traffic speed, traffic flow, ride-hailing demand, and bike-sharing, each with in-distribution (same year) and out-of-distribution (next years) settings. We extensively evaluate state-of-the-art spatiotemporal models and find that their performance degrades significantly in out-of-distribution settings, with most models performing even worse than a simple Multi-Layer Perceptron (MLP). Our findings suggest that current leading methods tend to over-rely on parameters to overfit training data, which may lead to good performance on in-distribution data but often results in poor generalization. We also investigated whether dropout could mitigate the negative effects of overfitting. Our results showed that a slight dropout rate could significantly improve generalization performance on most datasets, with minimal impact on in-distribution performance. However, balancing in-distribution and out-of-distribution performance remains a challenging problem. We hope that the proposed benchmark will encourage further research on this critical issue.
• Abstract（参考訳）: 時空間相関を効果的に捉えることで、時空間ニューラルネットワークは都市シナリオにおいて大きな可能性を秘めている。 しかし、都市環境は常に進化しており、現在のモデル評価は交通シナリオに限られることが多く、主にトレーニング期間の数週間後に収集されたデータを用いてモデルの性能を評価する。 これらのモデルの一般化能力はほとんど解明されていない。 これを解決するために,自転車シェアリング,311サービス,歩行者数,交通速度,交通流,配車需要,自転車シェアリングの6つの都市シナリオからなる時空間アウト・オブ・ディストリビューション(ST-OOD)ベンチマークを提案する。 我々は最先端の時空間モデルを広く評価し、その性能は分布外設定で著しく低下し、ほとんどのモデルは単純なMulti-Layer Perceptron (MLP)よりもさらに悪化することを示した。 以上の結果から,従来の指導手法ではトレーニングデータに過度に適合するパラメータが多すぎる傾向にあることが示唆された。 また,オーバーフィッティングによる悪影響を軽減できるかどうかについても検討した。 その結果,ほとんどのデータセットにおいて若干のドロップアウト率で一般化性能が向上し,分配性能に最小限の影響が認められた。 しかし、分配のバランスと分配のアウト・オブ・ディストリビューションのパフォーマンスは依然として難しい問題である。 提案されたベンチマークが、この重要な問題に関するさらなる研究を促進することを期待している。

関連論文リスト

• Robust Traffic Forecasting against Spatial Shift over Years [11.208740750755025]
  新たに提案したトラフィックOODベンチマークを用いて,時空間技術モデルについて検討する。 これらのモデルのパフォーマンスが著しく低下していることが分かりました。 そこで我々は,学習中にグラフ生成器の集合を学習し,それらを組み合わせて新しいグラフを生成するMixture Expertsフレームワークを提案する。 我々の手法は相似的かつ有効であり、任意の時間モデルにシームレスに統合できる。
  論文  参考訳（メタデータ） (2024-10-01T03:49:29Z)
• Physics-guided Active Sample Reweighting for Urban Flow Prediction [75.24539704456791]
  都市フロー予測は、バス、タクシー、ライド駆動モデルといった交通サービスのスループットを見積もる、微妙な時間的モデリングである。 最近の予測解は、物理学誘導機械学習(PGML)の概念による改善をもたらす。 我々は、PN(atized Physics-guided Network)を開発し、P-GASR(Physical-guided Active Sample Reweighting)を提案する。
  論文  参考訳（メタデータ） (2024-07-18T15:44:23Z)
• Deep Temporal Deaggregation: Large-Scale Spatio-Temporal Generative Models [5.816964541847194]
  本稿では,最新技術よりもパフォーマンスとスケールが大幅に向上する時系列の変圧器に基づく拡散モデルTDDPMを提案する。 これは、いくつかのシーケンス長、標準データセット、評価尺度にまたがる新しい包括的なベンチマークで評価される。
  論文  参考訳（メタデータ） (2024-06-18T09:16:11Z)
• No "Zero-Shot" Without Exponential Data: Pretraining Concept Frequency Determines Multimodal Model Performance [68.18779562801762]
  マルチモーダルモデルは、下流の"ゼロショット"のパフォーマンスを線形改善するために、指数関数的に多くのデータを必要とする。 本研究は,大規模な訓練パラダイムの下での「ゼロショット」一般化能力の鍵となる訓練データに対する指数関数的要求を明らかにする。
  論文  参考訳（メタデータ） (2024-04-04T17:58:02Z)
• Data Attribution for Diffusion Models: Timestep-induced Bias in Influence Estimation [53.27596811146316]
  拡散モデルは、以前の文脈における瞬間的な入出力関係ではなく、一連のタイムステップで操作する。 本稿では、この時間的ダイナミクスを取り入れた拡散トラクInについて、サンプルの損失勾配ノルムが時間ステップに大きく依存していることを確認する。 そこで我々はDiffusion-ReTracを再正規化適応として導入し、興味のあるサンプルを対象にしたトレーニングサンプルの検索を可能にする。
  論文  参考訳（メタデータ） (2024-01-17T07:58:18Z)
• Rethinking Urban Mobility Prediction: A Super-Multivariate Time Series Forecasting Approach [71.67506068703314]
  長期の都市移動予測は、都市施設やサービスの効果的管理において重要な役割を担っている。 伝統的に、都市移動データはビデオとして構成され、経度と緯度を基本的なピクセルとして扱う。 本研究では,都市におけるモビリティ予測の新たな視点について紹介する。 都市移動データを従来のビデオデータとして単純化するのではなく、複雑な時系列と見なす。
  論文  参考訳（メタデータ） (2023-12-04T07:39:05Z)
• Temporal graph models fail to capture global temporal dynamics [0.43512163406552007]
  我々は「最近普及しているノード」の自明な最適化のないベースラインを提案する。 本研究では, 時間変動が強いデータセットに対して, 標準負サンプリング評価が不適当であることを示す。 この結果から,時間グラフネットワークアーキテクチャは,重要なグローバルダイナミクスを持つ問題における使用法を深く再考する必要があることが示唆された。
  論文  参考訳（メタデータ） (2023-09-27T15:36:45Z)
• MemDA: Forecasting Urban Time Series with Memory-based Drift Adaptation [24.284969264008733]
  本稿では,データの周期性を考慮してドリフトを符号化するコンセプトドリフト問題に対する新しい都市時系列予測モデルを提案する。 我々の設計は最先端の手法よりも優れており、既存の予測バックボーンに十分に一般化することができる。
  論文  参考訳（メタデータ） (2023-09-25T15:22:28Z)
• Back2Future: Leveraging Backfill Dynamics for Improving Real-time Predictions in Future [73.03458424369657]
  公衆衛生におけるリアルタイム予測では、データ収集は簡単で要求の多いタスクである。 過去の文献では「バックフィル」現象とそのモデル性能への影響についてはほとんど研究されていない。 我々は、与えられたモデルの予測をリアルタイムで洗練することを目的とした、新しい問題とニューラルネットワークフレームワークBack2Futureを定式化する。
  論文  参考訳（メタデータ） (2021-06-08T14:48:20Z)
• Mind the Trade-off: Debiasing NLU Models without Degrading the In-distribution Performance [70.31427277842239]
  信頼性正則化という新しいデバイアス化手法を導入する。 モデルがバイアスを悪用するのを防ぐと同時に、トレーニングのすべての例から学ぶのに十分なインセンティブを得られるようにします。 提案手法を3つのNLUタスクで評価し,前者とは対照的に,アウト・オブ・ディストリビューション・データセットの性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-05-01T11:22:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。