論文の概要: Learning from Complexity: Exploring Dynamic Sample Pruning of Spatio-Temporal Training
- arxiv url: http://arxiv.org/abs/2602.19113v1
- Date: Sun, 22 Feb 2026 10:11:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-24 17:42:02.486315
- Title: Learning from Complexity: Exploring Dynamic Sample Pruning of Spatio-Temporal Training
- Title(参考訳): 複雑さから学ぶ:時空間訓練における動的サンプルプルーニングの探求
- Authors: Wei Chen, Junle Chen, Yuqian Wu, Yuxuan Liang, Xiaofang Zhou,
- Abstract要約: 大規模な、しばしば冗長なデータセットでディープラーニングモデルをトレーニングすることは、重大な計算ボトルネックを示す。
本稿では,動的試料刈り込みによる複雑性から学習する新しい訓練手法について検討する。
また,ST-Pruneは,モデル性能の維持や改善を図りながら,トレーニング速度を著しく向上させることを示した。
- 参考スコア(独自算出の注目度): 36.98769959300113
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spatio-temporal forecasting is fundamental to intelligent systems in transportation, climate science, and urban planning. However, training deep learning models on the massive, often redundant, datasets from these domains presents a significant computational bottleneck. Existing solutions typically focus on optimizing model architectures or optimizers, while overlooking the inherent inefficiency of the training data itself. This conventional approach of iterating over the entire static dataset each epoch wastes considerable resources on easy-to-learn or repetitive samples. In this paper, we explore a novel training-efficiency techniques, namely learning from complexity with dynamic sample pruning, ST-Prune, for spatio-temporal forecasting. Through dynamic sample pruning, we aim to intelligently identify the most informative samples based on the model's real-time learning state, thereby accelerating convergence and improving training efficiency. Extensive experiments conducted on real-world spatio-temporal datasets show that ST-Prune significantly accelerates the training speed while maintaining or even improving the model performance, and it also has scalability and universality.
- Abstract(参考訳): 時空間予測は、交通、気候科学、都市計画におけるインテリジェントシステムの基本である。
しかし、これらの領域から巨大な、しばしば冗長なデータセットでディープラーニングモデルをトレーニングすることは、重大な計算ボトルネックとなる。
既存のソリューションは通常、モデルアーキテクチャやオプティマイザの最適化に重点を置いている。
従来の静的データセット全体を反復するアプローチでは、各エポックは簡単に学習できるサンプルや反復的なサンプルにかなりのリソースを浪費する。
本稿では,時空間予測のための動的サンプリングプルーニング(ST-Prune)による複雑性から学習する,新しいトレーニング効率技術について検討する。
動的サンプルプルーニングにより、モデルのリアルタイム学習状態に基づいて、最も情報性の高いサンプルをインテリジェントに識別し、収束を加速し、訓練効率を向上させることを目的とする。
実世界の時空間データセットで実施された大規模な実験により、ST-Pruneはモデル性能を維持したり改善したりしながらトレーニング速度を著しく加速し、拡張性と普遍性も有することが示された。
関連論文リスト
- Entropy-Guided Token Dropout: Training Autoregressive Language Models with Limited Domain Data [89.96277093034547]
本研究では,エントロピー誘導型トークンドロップアウト方式であるEntroDropを導入する。
本稿では,EntroDropが標準正規化ベースラインを一貫して上回り,拡張型マルチエポックトレーニングを通じて堅牢な性能を維持していることを示す。
論文 参考訳(メタデータ) (2025-12-29T12:35:51Z) - Learning with Calibration: Exploring Test-Time Computing of Spatio-Temporal Forecasting [40.9030781267984]
本稿では,S時間予測のための新しいテスト時間計算パラダイム,すなわちキャリブレーションによる学習,ST-TTCを提案する。
本研究の目的は,テストフェーズ中に非定常性に起因する周期的構造バイアスを捕捉し,予測に対するリアルタイムなバイアス補正を行い,精度を向上させることである。
論文 参考訳(メタデータ) (2025-05-31T16:48:27Z) - STRAP: Spatio-Temporal Pattern Retrieval for Out-of-Distribution Generalization [29.10084723132903]
本稿では,時空間探索型パターン学習フレームワークSTRAPを提案する。
推論中、STRAPは現在の入力と類似性に基づいてライブラリから関連するパターンを検索し、プラグイン・アンド・プレイ・プロンプト機構を介してモデルに注入する。
複数の実世界のストリーミンググラフデータセットに対する実験によると、STRAPはSTOODタスクの最先端STGNNベースラインを一貫して上回っている。
論文 参考訳(メタデータ) (2025-05-26T06:11:05Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-22T02:12:08Z) - OpenSTL: A Comprehensive Benchmark of Spatio-Temporal Predictive
Learning [67.07363529640784]
提案するOpenSTLは,一般的なアプローチを再帰的モデルと再帰的モデルに分類する。
我々は, 合成移動物体軌道, 人間の動き, 運転シーン, 交通流, 天気予報など, さまざまな領域にわたるデータセットの標準評価を行う。
リカレントフリーモデルは、リカレントモデルよりも効率と性能のバランスが良いことがわかった。
論文 参考訳(メタデータ) (2023-06-20T03:02:14Z) - SimVPv2: Towards Simple yet Powerful Spatiotemporal Predictive Learning [61.419914155985886]
空間的・時間的モデリングにおけるUnetアーキテクチャの必要性を解消する合理化モデルであるSimVPv2を提案する。
SimVPv2はモデルアーキテクチャを単純化するだけでなく、性能と計算効率も改善する。
標準のMoving MNISTベンチマークでは、SimVPv2は、FLOPが少なく、トレーニング時間の半分、推論効率が60%速く、SimVPよりも優れたパフォーマンスを実現している。
論文 参考訳(メタデータ) (2022-11-22T08:01:33Z) - Towards Robust Dataset Learning [90.2590325441068]
本稿では,頑健なデータセット学習問題を定式化するための三段階最適化法を提案する。
ロバストな特徴と非ロバストな特徴を特徴付ける抽象モデルの下で,提案手法はロバストなデータセットを確実に学習する。
論文 参考訳(メタデータ) (2022-11-19T17:06:10Z) - Learning to Continuously Optimize Wireless Resource in a Dynamic
Environment: A Bilevel Optimization Perspective [52.497514255040514]
この研究は、データ駆動メソッドが動的環境でリソース割り当て戦略を継続的に学び、最適化することを可能にする新しいアプローチを開発しています。
学習モデルが新たなエピソードに段階的に適応できるように、連続学習の概念を無線システム設計に組み込むことを提案する。
我々の設計は、異なるデータサンプルにまたがる公平性を保証する、新しい二段階最適化定式化に基づいている。
論文 参考訳(メタデータ) (2021-05-03T07:23:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。