論文の概要: Easy Begun is Half Done: Spatial-Temporal Graph Modeling with ST-Curriculum Dropout

• arxiv url: http://arxiv.org/abs/2211.15182v1
• Date: Mon, 28 Nov 2022 09:47:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-29 17:01:39.726970
• Title: Easy Begun is Half Done: Spatial-Temporal Graph Modeling with ST-Curriculum Dropout
• Title（参考訳）: ST-Curriculum Dropoutを用いた時空間グラフモデリング
• Authors: Hongjun Wang, Jiyuan Chen, Tong Pan, Zipei Fan, Boyuan Zhang, Renhe Jiang, Lingyu Zhang, Yi Xie, Zhongyi Wang, Xuan Song
• Abstract要約: 空間時間グラフモデリングのための新しい実装戦略ST-Curriculum Dropoutを提案する。 我々は,高レベルな特徴空間における各ノードの学習困難さを評価し,それらの困難さを排除し,モデルが基本的ST関係のみを扱う必要があることを確かめる。 私たちの戦略は、トレーニング可能なパラメータを追加せずに、標準的なディープラーニングアーキテクチャに適用できます。
• 参考スコア（独自算出の注目度）: 8.924689054841524
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spatial-temporal (ST) graph modeling, such as traffic speed forecasting and taxi demand prediction, is an important task in deep learning area. However, for the nodes in graph, their ST patterns can vary greatly in difficulties for modeling, owning to the heterogeneous nature of ST data. We argue that unveiling the nodes to the model in a meaningful order, from easy to complex, can provide performance improvements over traditional training procedure. The idea has its root in Curriculum Learning which suggests in the early stage of training models can be sensitive to noise and difficult samples. In this paper, we propose ST-Curriculum Dropout, a novel and easy-to-implement strategy for spatial-temporal graph modeling. Specifically, we evaluate the learning difficulty of each node in high-level feature space and drop those difficult ones out to ensure the model only needs to handle fundamental ST relations at the beginning, before gradually moving to hard ones. Our strategy can be applied to any canonical deep learning architecture without extra trainable parameters, and extensive experiments on a wide range of datasets are conducted to illustrate that, by controlling the difficulty level of ST relations as the training progresses, the model is able to capture better representation of the data and thus yields better generalization.
• Abstract（参考訳）: 交通速度予測やタクシー需要予測といった空間的時間的(st)グラフモデリングは、ディープラーニング分野において重要なタスクである。 しかし、グラフ内のノードの場合、それらのSTパターンはSTデータの異種性に依拠し、モデリングの困難さに大きく依存する。 我々は、ノードをモデルに有意義な順序で公開することで、従来のトレーニング手順よりもパフォーマンスが向上すると主張している。 このアイデアはカリキュラム学習のルーツであり、初期のトレーニングモデルではノイズや難しいサンプルに敏感であることが示唆されている。 本稿では,空間時間グラフモデリングのための新しい実装戦略ST-Curriculum Dropoutを提案する。 具体的には,高レベルな機能空間における各ノードの学習難易度を評価し,それらの難易度を取り除き,モデルが最初から基本的なst関係のみを処理することを保証する。 我々の戦略は、訓練可能なパラメータを加味せずに任意の標準的ディープラーニングアーキテクチャに適用でき、訓練が進むにつれてST関係の難易度を制御することによって、より優れたデータ表現を捉えることができ、より高度な一般化が得られることを示すために、幅広いデータセットに関する広範な実験を行うことができる。

関連論文リスト

• EasyST: A Simple Framework for Spatio-Temporal Prediction [18.291117879544945]
  本稿では,時空間予測のための簡単なフレームワークであるEasySTパラダイムを提案する。 複雑な時間的GNNからの知識を蒸留することにより、軽量で堅牢なマルチ層パーセプトロン(MLP)の一般化を学習する。 EasySTは、効率と精度の点で最先端のアプローチを超越している。
  論文  参考訳（メタデータ） (2024-09-10T11:40:01Z)
• Generalizable Implicit Neural Representation As a Universal Spatiotemporal Traffic Data Learner [46.866240648471894]
  時空間交通データ(STTD)は、マルチスケール交通システムの複雑な動的挙動を測定する。 本稿では,STTDを暗黙的ニューラル表現としてパラメータ化することで,STTD学習問題に対処する新しいパラダイムを提案する。 実世界のシナリオにおける広範な実験を通じて,その有効性を検証し,廊下からネットワークスケールへの応用を示す。
  論文  参考訳（メタデータ） (2024-06-13T02:03:22Z)
• EfficientTrain++: Generalized Curriculum Learning for Efficient Visual Backbone Training [79.96741042766524]
  訓練カリキュラムをソフトセレクション機能として再構築する。 自然画像の内容の露光は,データ拡張の強度によって容易に達成できることを示す。 結果のメソッドであるEfficientTrain++は単純で汎用的だが驚くほど効果的である。
  論文  参考訳（メタデータ） (2024-05-14T17:00:43Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• Curriculum Learning for Graph Neural Networks: Which Edges Should We Learn First [13.37867275976255]
  本研究は, 難易度から難易度, 難易度に応じて, より多くのエッジをトレーニングに組み込む新しい戦略を提案する。 提案手法の強みは,学習した表現の一般化能力とロバスト性の向上である。
  論文  参考訳（メタデータ） (2023-10-28T15:35:34Z)
• OpenSTL: A Comprehensive Benchmark of Spatio-Temporal Predictive Learning [67.07363529640784]
  提案するOpenSTLは,一般的なアプローチを再帰的モデルと再帰的モデルに分類する。 我々は, 合成移動物体軌道, 人間の動き, 運転シーン, 交通流, 天気予報など, さまざまな領域にわたるデータセットの標準評価を行う。 リカレントフリーモデルは、リカレントモデルよりも効率と性能のバランスが良いことがわかった。
  論文  参考訳（メタデータ） (2023-06-20T03:02:14Z)
• Spatial-Temporal Graph Learning with Adversarial Contrastive Adaptation [19.419836274690816]
  効率的な自己教師型学習を実現するための空間時空間グラフ学習モデル(GraphST)を提案する。 提案手法は, 重要な多視点自己教師情報の蒸留を自動化する, 対向的コントラスト学習パラダイムである。 実生活データセット上での様々な時空間予測タスクにおいて,提案手法の優位性を示す。
  論文  参考訳（メタデータ） (2023-06-19T03:09:35Z)
• Spatio-Temporal Graph Few-Shot Learning with Cross-City Knowledge Transfer [58.6106391721944]
  クロスシティの知識は、データ不足の都市から学んだモデルを活用して、データ不足の都市の学習プロセスに役立てるという、その将来性を示している。 本稿では,ST-GFSLと呼ばれるS時間グラフのためのモデルに依存しない数ショット学習フレームワークを提案する。 本研究では,4つの交通速度予測ベンチマークの総合的な実験を行い,ST-GFSLの有効性を最先端手法と比較した。
  論文  参考訳（メタデータ） (2022-05-27T12:46:52Z)
• Style Curriculum Learning for Robust Medical Image Segmentation [62.02435329931057]
  深部セグメンテーションモデルは、トレーニングデータセットとテストデータセットの間の画像強度の分散シフトによって、しばしば劣化する。 本稿では,そのような分散シフトが存在する場合に,ロバストなセグメンテーションを確保するための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-01T08:56:24Z)
• The World as a Graph: Improving El Ni\~no Forecasts with Graph Neural Networks [0.00916150060695978]
  季節予測へのグラフニューラルネットワークの最初の応用を提案する。 当社のモデルであるGraphinoは、最先端のディープラーニングベースのモデルで最大6ヶ月の予測を上回ります。
  論文  参考訳（メタデータ） (2021-04-11T19:55:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。