論文の概要: ComS2T: A complementary spatiotemporal learning system for data-adaptive
model evolution
- arxiv url: http://arxiv.org/abs/2403.01738v1
- Date: Mon, 4 Mar 2024 05:31:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-06 20:06:46.905908
- Title: ComS2T: A complementary spatiotemporal learning system for data-adaptive
model evolution
- Title(参考訳): ComS2T:データ適応モデル進化のための相補的時空間学習システム
- Authors: Zhengyang Zhou, Qihe Huang, Binwu Wang, Jianpeng Hou, Kuo Yang, Yuxuan
Liang, Yang Wang
- Abstract要約: データ適応のためのモデルの進化を促進するために,ComS2Tと呼ばれるプロンプトベースの補完学習を導入する。
最初の2つの解離構造を安定および動的重みに解離し、主観測の分布を特徴付けることによって空間的および時間的プロンプトを訓練する。
このデータ適応的プロンプト機構は、2段階のトレーニングプロセスと組み合わせて、プロンプトで条件付けられたニューラルアーキテクチャの微調整を容易にする。
- 参考スコア(独自算出の注目度): 20.525608301451687
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spatiotemporal (ST) learning has become a crucial technique to enable smart
cities and sustainable urban development. Current ST learning models capture
the heterogeneity via various spatial convolution and temporal evolution
blocks. However, rapid urbanization leads to fluctuating distributions in urban
data and city structures over short periods, resulting in existing methods
suffering generalization and data adaptation issues. Despite efforts, existing
methods fail to deal with newly arrived observations and those methods with
generalization capacity are limited in repeated training. Motivated by
complementary learning in neuroscience, we introduce a prompt-based
complementary spatiotemporal learning termed ComS2T, to empower the evolution
of models for data adaptation. ComS2T partitions the neural architecture into a
stable neocortex for consolidating historical memory and a dynamic hippocampus
for new knowledge update. We first disentangle two disjoint structures into
stable and dynamic weights, and then train spatial and temporal prompts by
characterizing distribution of main observations to enable prompts adaptive to
new data. This data-adaptive prompt mechanism, combined with a two-stage
training process, facilitates fine-tuning of the neural architecture
conditioned on prompts, thereby enabling efficient adaptation during testing.
Extensive experiments validate the efficacy of ComS2T in adapting to various
spatiotemporal out-of-distribution scenarios while maintaining efficient
inference capabilities.
- Abstract(参考訳): 時空間学習はスマートシティと持続可能な都市開発を可能にする重要な技術となっている。
現在のST学習モデルは、様々な空間的畳み込みと時間的進化ブロックを通して不均一性を捉える。
しかし, 急速な都市化は, 都市データや都市構造が短時間で変動し, 一般化やデータ適応の問題に悩まされている。
努力にもかかわらず、既存の手法は新しく到着した観測に対処できず、一般化能力を持つ手法は反復訓練で制限される。
神経科学における相補的学習を動機として,データ適応のためのモデルの進化を促進するために,ComS2Tと呼ばれる即時的相補的時相学習を導入する。
ComS2Tは、神経アーキテクチャを安定した新皮質に分割し、履歴記憶を統合する。
まず, 2つの非結合構造を安定重みと動的重みに分離し, 主観測の分布を特徴付けて空間的および時間的プロンプトを訓練し, 新たなデータへの適応を可能にする。
このデータ適応的プロンプト機構は、2段階のトレーニングプロセスと組み合わせて、プロンプトで条件付けられたニューラルアーキテクチャの微調整を容易にし、テスト中の効率的な適応を可能にする。
広汎な実験は、効率的な推論能力を維持しつつ、様々な時空間分配シナリオに適応するComS2Tの有効性を検証する。
関連論文リスト
- Hybrid Transformer and Spatial-Temporal Self-Supervised Learning for
Long-term Traffic Prediction [1.8531577178922987]
本稿では,ハイブリッドトランスフォーマーと自己教師型学習を組み合わせたモデルを提案する。
このモデルは、トラフィックのシーケンスレベルにデータ拡張技術を適用することにより、適応的なデータ拡張を強化する。
本研究では,時間的および空間的依存をモデル化する2つの自己教師型学習タスクを設計し,モデルの精度と能力を向上させる。
論文 参考訳(メタデータ) (2024-01-29T06:17:23Z) - Layerwise complexity-matched learning yields an improved model of
cortical area V2 [9.818286941582672]
ディープニューラルネットワークは、人間の能力にアプローチするオブジェクト認識のためのエンドツーエンドを訓練した。
我々は,連続する層に独立して機能する自己指導型トレーニング手法を開発した。
本モデルは, 霊長類領域V2における選択性特性と神経活動に適合していることが示唆された。
論文 参考訳(メタデータ) (2023-12-18T18:37:02Z) - TWINS: A Fine-Tuning Framework for Improved Transferability of
Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。
本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。
TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文 参考訳(メタデータ) (2023-03-20T14:12:55Z) - Gait Recognition in the Wild with Multi-hop Temporal Switch [81.35245014397759]
野生での歩行認識は、より実践的な問題であり、マルチメディアとコンピュータビジョンのコミュニティの注目を集めています。
本稿では,現実のシーンにおける歩行パターンの効果的な時間的モデリングを実現するために,新しいマルチホップ時間スイッチ方式を提案する。
論文 参考訳(メタデータ) (2022-09-01T10:46:09Z) - Enhancing the Robustness via Adversarial Learning and Joint
Spatial-Temporal Embeddings in Traffic Forecasting [11.680589359294972]
本稿では,ダイナミックスとロバストネスのバランスをとることの課題に対処するため,TrendGCNを提案する。
我々のモデルは、空間的(ノード的に)埋め込みと時間的(時間的に)埋め込みを同時に組み込んで、不均一な空間的・時間的畳み込みを考慮に入れている。
ステップワイドな予測エラーを独立して扱う従来のアプローチと比較して、我々のアプローチはより現実的で堅牢な予測を生み出すことができる。
論文 参考訳(メタデータ) (2022-08-05T09:36:55Z) - Spatio-Temporal Graph Few-Shot Learning with Cross-City Knowledge
Transfer [58.6106391721944]
クロスシティの知識は、データ不足の都市から学んだモデルを活用して、データ不足の都市の学習プロセスに役立てるという、その将来性を示している。
本稿では,ST-GFSLと呼ばれるS時間グラフのためのモデルに依存しない数ショット学習フレームワークを提案する。
本研究では,4つの交通速度予測ベンチマークの総合的な実験を行い,ST-GFSLの有効性を最先端手法と比較した。
論文 参考訳(メタデータ) (2022-05-27T12:46:52Z) - Averaging Spatio-temporal Signals using Optimal Transport and Soft
Alignments [110.79706180350507]
Fr'teche は双対性を意味し, 時間的バレシェセンタを定義するために提案した損失が有効であることを示す。
手書き文字と脳画像データによる実験は、我々の理論的発見を裏付けるものである。
論文 参考訳(メタデータ) (2022-03-11T09:46:22Z) - Leveraging the structure of dynamical systems for data-driven modeling [111.45324708884813]
トレーニングセットとその構造が長期予測の品質に与える影響を考察する。
トレーニングセットのインフォームドデザインは,システムの不変性と基盤となるアトラクションの構造に基づいて,結果のモデルを大幅に改善することを示す。
論文 参考訳(メタデータ) (2021-12-15T20:09:20Z) - Building Autocorrelation-Aware Representations for Fine-Scale
Spatiotemporal Prediction [1.2862507359003323]
本稿では,空間統計理論をニューラルネットワークに組み込んだ新しいディープラーニングアーキテクチャを提案する。
DeepLATTEには、局所的自己相関パターンとグローバルな自己相関傾向の両方を強制する、自己相関誘導半教師付き学習戦略が含まれている。
我々は,DeepLATTEの公開データを用いた実演を行い,健康上の重要なトピックとして,高度に適合した複雑な物理環境下での空気質予測を行った。
論文 参考訳(メタデータ) (2021-12-10T03:21:19Z) - Learning to Continuously Optimize Wireless Resource in a Dynamic
Environment: A Bilevel Optimization Perspective [52.497514255040514]
この研究は、データ駆動メソッドが動的環境でリソース割り当て戦略を継続的に学び、最適化することを可能にする新しいアプローチを開発しています。
学習モデルが新たなエピソードに段階的に適応できるように、連続学習の概念を無線システム設計に組み込むことを提案する。
我々の設計は、異なるデータサンプルにまたがる公平性を保証する、新しい二段階最適化定式化に基づいている。
論文 参考訳(メタデータ) (2021-05-03T07:23:39Z) - Neural Spatio-Temporal Point Processes [31.474420819149724]
本稿では,ニューラルODEを計算手法として活用した,点自明なプロセスのための新しいパラメータ化のクラスを提案する。
我々は,地震学,疫学,都市移動性,神経科学など,さまざまな文脈のデータセットを用いて,我々のモデルを検証した。
論文 参考訳(メタデータ) (2020-11-09T17:28:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。