Fugu-MT 論文翻訳(概要): Spatio-Temporal Few-Shot Learning via Diffusive Neural Network Generation

論文の概要: Spatio-Temporal Few-Shot Learning via Diffusive Neural Network Generation

arxiv url: http://arxiv.org/abs/2402.11922v3
Date: Mon, 25 Mar 2024 11:39:57 GMT
ステータス: 処理完了
システム内更新日: 2024-03-27 01:25:46.004184
Title: Spatio-Temporal Few-Shot Learning via Diffusive Neural Network Generation
Title（参考訳）: 拡散型ニューラルネットワークによる時空間Few-Shot学習
Authors: Yuan Yuan, Chenyang Shao, Jingtao Ding, Depeng Jin, Yong Li,
Abstract要約: 本稿では,都市知識伝達を伴う複雑な数ショット学習のための新しい生成事前学習フレームワークであるGPDを提案する。我々は、プロンプトで導かれる調整されたニューラルネットワークを生成する生成拡散モデルを再放送する。 GPDは、トラフィック速度予測やクラウドフロー予測といったタスクのデータセットにおける最先端のベースラインを一貫して上回る。
参考スコア（独自算出の注目度）: 25.916891462152044
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Spatio-temporal modeling is foundational for smart city applications, yet it is often hindered by data scarcity in many cities and regions. To bridge this gap, we propose a novel generative pre-training framework, GPD, for spatio-temporal few-shot learning with urban knowledge transfer. Unlike conventional approaches that heavily rely on common feature extraction or intricate few-shot learning designs, our solution takes a novel approach by performing generative pre-training on a collection of neural network parameters optimized with data from source cities. We recast spatio-temporal few-shot learning as pre-training a generative diffusion model, which generates tailored neural networks guided by prompts, allowing for adaptability to diverse data distributions and city-specific characteristics. GPD employs a Transformer-based denoising diffusion model, which is model-agnostic to integrate with powerful spatio-temporal neural networks. By addressing challenges arising from data gaps and the complexity of generalizing knowledge across cities, our framework consistently outperforms state-of-the-art baselines on multiple real-world datasets for tasks such as traffic speed prediction and crowd flow prediction. The implementation of our approach is available: https://github.com/tsinghua-fib-lab/GPD.
Abstract（参考訳）: 時空間モデリングはスマートシティのアプリケーションに基礎を置いているが、多くの都市や地域でのデータ不足によってしばしば妨げられている。このギャップを埋めるために,都市知識伝達を伴う時空間小ショット学習のための新しい生成前学習フレームワーク GPD を提案する。一般的な特徴抽出や複雑な数ショットの学習設計に大きく依存する従来のアプローチとは異なり、当社のソリューションは、ソースシティのデータに最適化されたニューラルネットワークパラメータのコレクションを生成前トレーニングすることで、新しいアプローチを採用する。本研究では,プロンプトによって誘導されるニューラルネットワークを調整し,多様なデータ分布や都市特有の特性に適応可能な生成拡散モデルの事前学習として,時空間学習を再考する。 GPDはTransformerベースのデノナイジング拡散モデルを採用しており、強力な時空間ニューラルネットワークとの統合にはモデルに依存しない。データギャップと都市間の知識の一般化の複雑さから生じる課題に対処することによって、私たちのフレームワークは、トラフィック速度予測やクラウドフロー予測といったタスクにおいて、複数の実世界のデータセットにおける最先端のベースラインを一貫して上回ります。このアプローチの実装は、https://github.com/tsinghua-fib-lab/GPD.comで利用可能です。

関連論文リスト

Expand and Compress: Exploring Tuning Principles for Continual Spatio-Temporal Graph Forecasting [17.530885640317372]
本稿では,新しいプロンプトチューニングに基づく連続予測手法を提案する。具体的には,基本時相グラフニューラルネットワークと連続的なプロンプトプールをメモリに格納する。この手法により、モデルが広範囲な時間的データストリームから逐次学習し、対応する期間のタスクを達成できる。
論文参考訳（メタデータ） (2024-10-16T14:12:11Z)
Navigating Spatio-Temporal Heterogeneity: A Graph Transformer Approach for Traffic Forecasting [13.309018047313801]
交通予測はスマートシティの発展において重要な研究分野として浮上している。最短時間相関のためのネットワークモデリングの最近の進歩は、パフォーマンスのリターンが低下し始めている。これらの課題に対処するために、時空間グラフ変換器(STGormer)を導入する。本研究では,その構造に基づく空間符号化手法を2つ設計し,時間位置をバニラ変圧器に統合して時間的トラフィックパターンをキャプチャする。
論文参考訳（メタデータ） (2024-08-20T13:18:21Z)
Diffusion-Based Neural Network Weights Generation [80.89706112736353]
D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
論文参考訳（メタデータ） (2024-02-28T08:34:23Z)
Visual Prompting Upgrades Neural Network Sparsification: A Data-Model Perspective [64.04617968947697]
より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
論文参考訳（メタデータ） (2023-12-03T13:50:24Z)
Graph-based Multi-ODE Neural Networks for Spatio-Temporal Traffic Forecasting [8.832864937330722]
長距離交通予測は、交通ネットワークで観測される複雑な時間的相関のため、依然として困難な課題である。本稿では,GRAM-ODE(Graph-based Multi-ODE Neural Networks)と呼ばれるアーキテクチャを提案する。実世界の6つのデータセットを用いて行った大規模な実験は、最先端のベースラインと比較して、GRAM-ODEの優れた性能を示す。
論文参考訳（メタデータ） (2023-05-30T02:10:42Z)
Online Evolutionary Neural Architecture Search for Multivariate Non-Stationary Time Series Forecasting [72.89994745876086]
本研究は、オンラインニューロ進化に基づくニューラルアーキテクチャサーチ(ONE-NAS)アルゴリズムを提案する。 ONE-NASは、オンライン予測タスクのためにリカレントニューラルネットワーク(RNN)を自動設計し、動的にトレーニングする新しいニューラルネットワーク探索手法である。その結果、ONE-NASは従来の統計時系列予測法よりも優れていた。
論文参考訳（メタデータ） (2023-02-20T22:25:47Z)
Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文参考訳（メタデータ） (2022-09-26T17:59:58Z)
Spatio-Temporal Graph Few-Shot Learning with Cross-City Knowledge Transfer [58.6106391721944]
クロスシティの知識は、データ不足の都市から学んだモデルを活用して、データ不足の都市の学習プロセスに役立てるという、その将来性を示している。本稿では,ST-GFSLと呼ばれるS時間グラフのためのモデルに依存しない数ショット学習フレームワークを提案する。本研究では,4つの交通速度予測ベンチマークの総合的な実験を行い,ST-GFSLの有効性を最先端手法と比較した。
論文参考訳（メタデータ） (2022-05-27T12:46:52Z)
ONE-NAS: An Online NeuroEvolution based Neural Architecture Search for Time Series Forecasting [3.3758186776249928]
この研究は、Online NeuroEvolution based Neural Architecture Search (ONE-NAS)アルゴリズムを提示する。 ONE-NASは、オンライン環境で新しいリカレントニューラルネットワーク(RNN)を自動設計し、訓練することのできる、最初のニューラルネットワーク検索アルゴリズムである。従来の統計時系列予測よりも優れており、ナイーブ、移動平均、指数的平滑化などが挙げられる。
論文参考訳（メタデータ） (2022-02-27T22:58:32Z)
Model-Based Deep Learning [155.063817656602]
信号処理、通信、制御は伝統的に古典的な統計モデリング技術に依存している。ディープニューラルネットワーク(DNN)は、データから操作を学ぶ汎用アーキテクチャを使用し、優れたパフォーマンスを示す。私たちは、原理数学モデルとデータ駆動システムを組み合わせて両方のアプローチの利点を享受するハイブリッド技術に興味があります。
論文参考訳（メタデータ） (2020-12-15T16:29:49Z)
Industrial Forecasting with Exponentially Smoothed Recurrent Neural Networks [0.0]
本稿では,産業応用における非定常力学系のモデル化に好適な指数的スムーズなリカレントニューラルネットワーク(RNN)のクラスを提案する。指数スムーズなRNNの電力負荷、気象データ、株価予測への応用は、多段階時系列予測における隠れ状態の指数スムーズ化の有効性を強調している。
論文参考訳（メタデータ） (2020-04-09T17:53:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。