論文の概要: ComS2T: A complementary spatiotemporal learning system for data-adaptive model evolution

• arxiv url: http://arxiv.org/abs/2403.01738v1
• Date: Mon, 4 Mar 2024 05:31:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-06 20:06:46.905908
• Title: ComS2T: A complementary spatiotemporal learning system for data-adaptive model evolution
• Title（参考訳）: ComS2T:データ適応モデル進化のための相補的時空間学習システム
• Authors: Zhengyang Zhou, Qihe Huang, Binwu Wang, Jianpeng Hou, Kuo Yang, Yuxuan Liang, Yang Wang
• Abstract要約: データ適応のためのモデルの進化を促進するために,ComS2Tと呼ばれるプロンプトベースの補完学習を導入する。 最初の2つの解離構造を安定および動的重みに解離し、主観測の分布を特徴付けることによって空間的および時間的プロンプトを訓練する。 このデータ適応的プロンプト機構は、2段階のトレーニングプロセスと組み合わせて、プロンプトで条件付けられたニューラルアーキテクチャの微調整を容易にする。
• 参考スコア（独自算出の注目度）: 20.525608301451687
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spatiotemporal (ST) learning has become a crucial technique to enable smart cities and sustainable urban development. Current ST learning models capture the heterogeneity via various spatial convolution and temporal evolution blocks. However, rapid urbanization leads to fluctuating distributions in urban data and city structures over short periods, resulting in existing methods suffering generalization and data adaptation issues. Despite efforts, existing methods fail to deal with newly arrived observations and those methods with generalization capacity are limited in repeated training. Motivated by complementary learning in neuroscience, we introduce a prompt-based complementary spatiotemporal learning termed ComS2T, to empower the evolution of models for data adaptation. ComS2T partitions the neural architecture into a stable neocortex for consolidating historical memory and a dynamic hippocampus for new knowledge update. We first disentangle two disjoint structures into stable and dynamic weights, and then train spatial and temporal prompts by characterizing distribution of main observations to enable prompts adaptive to new data. This data-adaptive prompt mechanism, combined with a two-stage training process, facilitates fine-tuning of the neural architecture conditioned on prompts, thereby enabling efficient adaptation during testing. Extensive experiments validate the efficacy of ComS2T in adapting to various spatiotemporal out-of-distribution scenarios while maintaining efficient inference capabilities.
• Abstract（参考訳）: 時空間学習はスマートシティと持続可能な都市開発を可能にする重要な技術となっている。 現在のST学習モデルは、様々な空間的畳み込みと時間的進化ブロックを通して不均一性を捉える。 しかし, 急速な都市化は, 都市データや都市構造が短時間で変動し, 一般化やデータ適応の問題に悩まされている。 努力にもかかわらず、既存の手法は新しく到着した観測に対処できず、一般化能力を持つ手法は反復訓練で制限される。 神経科学における相補的学習を動機として,データ適応のためのモデルの進化を促進するために,ComS2Tと呼ばれる即時的相補的時相学習を導入する。 ComS2Tは、神経アーキテクチャを安定した新皮質に分割し、履歴記憶を統合する。 まず, 2つの非結合構造を安定重みと動的重みに分離し, 主観測の分布を特徴付けて空間的および時間的プロンプトを訓練し, 新たなデータへの適応を可能にする。 このデータ適応的プロンプト機構は、2段階のトレーニングプロセスと組み合わせて、プロンプトで条件付けられたニューラルアーキテクチャの微調整を容易にし、テスト中の効率的な適応を可能にする。 広汎な実験は、効率的な推論能力を維持しつつ、様々な時空間分配シナリオに適応するComS2Tの有効性を検証する。

関連論文リスト

• Collaborative Imputation of Urban Time Series through Cross-city Meta-learning [54.438991949772145]
  メタ学習型暗黙的ニューラル表現(INR)を利用した新しい協調的計算パラダイムを提案する。 次に,モデルに依存しないメタ学習による都市間協調学習手法を提案する。 20のグローバル都市から得られた多様な都市データセットの実験は、我々のモデルの優れた計算性能と一般化可能性を示している。
  論文  参考訳（メタデータ） (2025-01-20T07:12:40Z)
• BiDepth Multimodal Neural Network: Bidirectional Depth Deep Learning Architecture for Spatial-Temporal Prediction [4.263291797886899]
  本稿では,双方向深度変調を用いたBDMNN(BiDepth Multimodal Neural Network)を提案する。 ケーススタディでは,都市交通予測のための平均二乗誤差を12%削減し,降雨予測を15%改善した。
  論文  参考訳（メタデータ） (2025-01-14T19:59:59Z)
• CSTA: Spatial-Temporal Causal Adaptive Learning for Exemplar-Free Video Class-Incremental Learning [62.69917996026769]
  クラスインクリメンタルな学習課題は、空間的外観と時間的行動の関与の両方を学習し、保存することを必要とする。 本稿では,各クラス固有のインクリメンタル情報要件を調整し,新しいクラスパターンを学習するためのアダプタを分離するフレームワークを提案する。 異なる種類の情報間のインクリメントと記憶の衝突を減らすために,因果補償機構を提案する。
  論文  参考訳（メタデータ） (2025-01-13T11:34:55Z)
• ST-ReP: Learning Predictive Representations Efficiently for Spatial-Temporal Forecasting [7.637123047745445]
  自己監督的手法は空間的時間的表現の学習にますます適応している。 現在の値再構成と将来の値予測は、事前学習フレームワークに統合される。 予測能力を高めるために,マルチタイムスケール分析を自己監督的損失に組み込む。
  論文  参考訳（メタデータ） (2024-12-19T05:33:55Z)
• Recurrent Deep Kernel Learning of Dynamical Systems [0.5825410941577593]
  デジタル双対は計算効率の低い低次モデル(ROM)を必要とし、物理的資産の複雑な力学を正確に記述することができる。 データから低次元の潜伏空間を発見するために,データ駆動型非侵入型深層学習法(SVDKL)を提案する。 その結果,本フレームワークは, (i) 測定値の復調と再構成, (ii) システム状態のコンパクトな表現の学習, (iii) 低次元潜在空間におけるシステム進化の予測, (iv) 不確実性をモデル化できることがわかった。
  論文  参考訳（メタデータ） (2024-05-30T07:49:02Z)
• Hybrid Transformer and Spatial-Temporal Self-Supervised Learning for Long-term Traffic Prediction [1.8531577178922987]
  本稿では,ハイブリッドトランスフォーマーと自己教師型学習を組み合わせたモデルを提案する。 このモデルは、トラフィックのシーケンスレベルにデータ拡張技術を適用することにより、適応的なデータ拡張を強化する。 本研究では,時間的および空間的依存をモデル化する2つの自己教師型学習タスクを設計し,モデルの精度と能力を向上させる。
  論文  参考訳（メタデータ） (2024-01-29T06:17:23Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• SimVPv2: Towards Simple yet Powerful Spatiotemporal Predictive Learning [61.419914155985886]
  空間的・時間的モデリングにおけるUnetアーキテクチャの必要性を解消する合理化モデルであるSimVPv2を提案する。 SimVPv2はモデルアーキテクチャを単純化するだけでなく、性能と計算効率も改善する。 標準のMoving MNISTベンチマークでは、SimVPv2は、FLOPが少なく、トレーニング時間の半分、推論効率が60%速く、SimVPよりも優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-11-22T08:01:33Z)
• Gait Recognition in the Wild with Multi-hop Temporal Switch [81.35245014397759]
  野生での歩行認識は、より実践的な問題であり、マルチメディアとコンピュータビジョンのコミュニティの注目を集めています。 本稿では,現実のシーンにおける歩行パターンの効果的な時間的モデリングを実現するために,新しいマルチホップ時間スイッチ方式を提案する。
  論文  参考訳（メタデータ） (2022-09-01T10:46:09Z)
• Spatio-Temporal Graph Few-Shot Learning with Cross-City Knowledge Transfer [58.6106391721944]
  クロスシティの知識は、データ不足の都市から学んだモデルを活用して、データ不足の都市の学習プロセスに役立てるという、その将来性を示している。 本稿では,ST-GFSLと呼ばれるS時間グラフのためのモデルに依存しない数ショット学習フレームワークを提案する。 本研究では,4つの交通速度予測ベンチマークの総合的な実験を行い,ST-GFSLの有効性を最先端手法と比較した。
  論文  参考訳（メタデータ） (2022-05-27T12:46:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。