論文の概要: Spatio-Temporal Few-Shot Learning via Diffusive Neural Network Generation
- arxiv url: http://arxiv.org/abs/2402.11922v3
- Date: Mon, 25 Mar 2024 11:39:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-27 01:25:46.004184
- Title: Spatio-Temporal Few-Shot Learning via Diffusive Neural Network Generation
- Title(参考訳): 拡散型ニューラルネットワークによる時空間Few-Shot学習
- Authors: Yuan Yuan, Chenyang Shao, Jingtao Ding, Depeng Jin, Yong Li,
- Abstract要約: 本稿では,都市知識伝達を伴う複雑な数ショット学習のための新しい生成事前学習フレームワークであるGPDを提案する。
我々は、プロンプトで導かれる調整されたニューラルネットワークを生成する生成拡散モデルを再放送する。
GPDは、トラフィック速度予測やクラウドフロー予測といったタスクのデータセットにおける最先端のベースラインを一貫して上回る。
- 参考スコア(独自算出の注目度): 25.916891462152044
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Spatio-temporal modeling is foundational for smart city applications, yet it is often hindered by data scarcity in many cities and regions. To bridge this gap, we propose a novel generative pre-training framework, GPD, for spatio-temporal few-shot learning with urban knowledge transfer. Unlike conventional approaches that heavily rely on common feature extraction or intricate few-shot learning designs, our solution takes a novel approach by performing generative pre-training on a collection of neural network parameters optimized with data from source cities. We recast spatio-temporal few-shot learning as pre-training a generative diffusion model, which generates tailored neural networks guided by prompts, allowing for adaptability to diverse data distributions and city-specific characteristics. GPD employs a Transformer-based denoising diffusion model, which is model-agnostic to integrate with powerful spatio-temporal neural networks. By addressing challenges arising from data gaps and the complexity of generalizing knowledge across cities, our framework consistently outperforms state-of-the-art baselines on multiple real-world datasets for tasks such as traffic speed prediction and crowd flow prediction. The implementation of our approach is available: https://github.com/tsinghua-fib-lab/GPD.
- Abstract(参考訳): 時空間モデリングはスマートシティのアプリケーションに基礎を置いているが、多くの都市や地域でのデータ不足によってしばしば妨げられている。
このギャップを埋めるために,都市知識伝達を伴う時空間小ショット学習のための新しい生成前学習フレームワーク GPD を提案する。
一般的な特徴抽出や複雑な数ショットの学習設計に大きく依存する従来のアプローチとは異なり、当社のソリューションは、ソースシティのデータに最適化されたニューラルネットワークパラメータのコレクションを生成前トレーニングすることで、新しいアプローチを採用する。
本研究では,プロンプトによって誘導されるニューラルネットワークを調整し,多様なデータ分布や都市特有の特性に適応可能な生成拡散モデルの事前学習として,時空間学習を再考する。
GPDはTransformerベースのデノナイジング拡散モデルを採用しており、強力な時空間ニューラルネットワークとの統合にはモデルに依存しない。
データギャップと都市間の知識の一般化の複雑さから生じる課題に対処することによって、私たちのフレームワークは、トラフィック速度予測やクラウドフロー予測といったタスクにおいて、複数の実世界のデータセットにおける最先端のベースラインを一貫して上回ります。
このアプローチの実装は、https://github.com/tsinghua-fib-lab/GPD.comで利用可能です。
関連論文リスト
- Diffusion-based Neural Network Weights Generation [85.6725307453325]
データセット条件付き事前学習重み抽出による効率よく適応的な伝達学習手法を提案する。
具体的には、ニューラルネットワークの重みを再構築できる変分オートエンコーダを備えた潜時拡散モデルを用いる。
論文 参考訳(メタデータ) (2024-02-28T08:34:23Z) - Visual Prompting Upgrades Neural Network Sparsification: A Data-Model
Perspective [67.25782152459851]
より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。
具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
論文 参考訳(メタデータ) (2023-12-03T13:50:24Z) - Graph-based Multi-ODE Neural Networks for Spatio-Temporal Traffic
Forecasting [8.832864937330722]
長距離交通予測は、交通ネットワークで観測される複雑な時間的相関のため、依然として困難な課題である。
本稿では,GRAM-ODE(Graph-based Multi-ODE Neural Networks)と呼ばれるアーキテクチャを提案する。
実世界の6つのデータセットを用いて行った大規模な実験は、最先端のベースラインと比較して、GRAM-ODEの優れた性能を示す。
論文 参考訳(メタデータ) (2023-05-30T02:10:42Z) - Automated Spatio-Temporal Graph Contrastive Learning [18.245433428868775]
パラメータ化コントラストビュージェネレータを用いた時間自動拡張方式を開発した。
AutoSTは多視点セマンティクスをよく保存した異種グラフに適応することができる。
いくつかの実世界のデータセットで3つのダウンストリーム時間的マイニングタスクの実験は、大きなパフォーマンス向上を示している。
論文 参考訳(メタデータ) (2023-05-06T03:52:33Z) - Semantic-Fused Multi-Granularity Cross-City Traffic Prediction [17.020546413647708]
本研究では,異なる粒度で融合した意味を持つ都市間における知識伝達を実現するためのセマンティック・フューズド・マルチグラニュラリティ・トランスファー・ラーニング・モデルを提案する。
本稿では,静的な空間依存を保ちながら,様々な意味を融合する意味融合モジュールを設計する。
STLモデルの有効性を検証するため、6つの実世界のデータセットについて広範な実験を行った。
論文 参考訳(メタデータ) (2023-02-23T04:26:34Z) - Online Evolutionary Neural Architecture Search for Multivariate
Non-Stationary Time Series Forecasting [72.89994745876086]
本研究は、オンラインニューロ進化に基づくニューラルアーキテクチャサーチ(ONE-NAS)アルゴリズムを提案する。
ONE-NASは、オンライン予測タスクのためにリカレントニューラルネットワーク(RNN)を自動設計し、動的にトレーニングする新しいニューラルネットワーク探索手法である。
その結果、ONE-NASは従来の統計時系列予測法よりも優れていた。
論文 参考訳(メタデータ) (2023-02-20T22:25:47Z) - Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。
提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。
我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文 参考訳(メタデータ) (2022-09-26T17:59:58Z) - Spatio-Temporal Graph Few-Shot Learning with Cross-City Knowledge
Transfer [58.6106391721944]
クロスシティの知識は、データ不足の都市から学んだモデルを活用して、データ不足の都市の学習プロセスに役立てるという、その将来性を示している。
本稿では,ST-GFSLと呼ばれるS時間グラフのためのモデルに依存しない数ショット学習フレームワークを提案する。
本研究では,4つの交通速度予測ベンチマークの総合的な実験を行い,ST-GFSLの有効性を最先端手法と比較した。
論文 参考訳(メタデータ) (2022-05-27T12:46:52Z) - ONE-NAS: An Online NeuroEvolution based Neural Architecture Search for
Time Series Forecasting [3.3758186776249928]
この研究は、Online NeuroEvolution based Neural Architecture Search (ONE-NAS)アルゴリズムを提示する。
ONE-NASは、オンライン環境で新しいリカレントニューラルネットワーク(RNN)を自動設計し、訓練することのできる、最初のニューラルネットワーク検索アルゴリズムである。
従来の統計時系列予測よりも優れており、ナイーブ、移動平均、指数的平滑化などが挙げられる。
論文 参考訳(メタデータ) (2022-02-27T22:58:32Z) - Model-Based Deep Learning [155.063817656602]
信号処理、通信、制御は伝統的に古典的な統計モデリング技術に依存している。
ディープニューラルネットワーク(DNN)は、データから操作を学ぶ汎用アーキテクチャを使用し、優れたパフォーマンスを示す。
私たちは、原理数学モデルとデータ駆動システムを組み合わせて両方のアプローチの利点を享受するハイブリッド技術に興味があります。
論文 参考訳(メタデータ) (2020-12-15T16:29:49Z) - Industrial Forecasting with Exponentially Smoothed Recurrent Neural
Networks [0.0]
本稿では,産業応用における非定常力学系のモデル化に好適な指数的スムーズなリカレントニューラルネットワーク(RNN)のクラスを提案する。
指数スムーズなRNNの電力負荷、気象データ、株価予測への応用は、多段階時系列予測における隠れ状態の指数スムーズ化の有効性を強調している。
論文 参考訳(メタデータ) (2020-04-09T17:53:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。