論文の概要: ComS2T: A complementary spatiotemporal learning system for data-adaptive model evolution

• arxiv url: http://arxiv.org/abs/2403.01738v1
• Date: Mon, 4 Mar 2024 05:31:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-06 20:06:46.905908
• Title: ComS2T: A complementary spatiotemporal learning system for data-adaptive model evolution
• Title（参考訳）: ComS2T:データ適応モデル進化のための相補的時空間学習システム
• Authors: Zhengyang Zhou, Qihe Huang, Binwu Wang, Jianpeng Hou, Kuo Yang, Yuxuan Liang, Yang Wang
• Abstract要約: データ適応のためのモデルの進化を促進するために,ComS2Tと呼ばれるプロンプトベースの補完学習を導入する。 最初の2つの解離構造を安定および動的重みに解離し、主観測の分布を特徴付けることによって空間的および時間的プロンプトを訓練する。 このデータ適応的プロンプト機構は、2段階のトレーニングプロセスと組み合わせて、プロンプトで条件付けられたニューラルアーキテクチャの微調整を容易にする。
• 参考スコア（独自算出の注目度）: 20.525608301451687
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spatiotemporal (ST) learning has become a crucial technique to enable smart cities and sustainable urban development. Current ST learning models capture the heterogeneity via various spatial convolution and temporal evolution blocks. However, rapid urbanization leads to fluctuating distributions in urban data and city structures over short periods, resulting in existing methods suffering generalization and data adaptation issues. Despite efforts, existing methods fail to deal with newly arrived observations and those methods with generalization capacity are limited in repeated training. Motivated by complementary learning in neuroscience, we introduce a prompt-based complementary spatiotemporal learning termed ComS2T, to empower the evolution of models for data adaptation. ComS2T partitions the neural architecture into a stable neocortex for consolidating historical memory and a dynamic hippocampus for new knowledge update. We first disentangle two disjoint structures into stable and dynamic weights, and then train spatial and temporal prompts by characterizing distribution of main observations to enable prompts adaptive to new data. This data-adaptive prompt mechanism, combined with a two-stage training process, facilitates fine-tuning of the neural architecture conditioned on prompts, thereby enabling efficient adaptation during testing. Extensive experiments validate the efficacy of ComS2T in adapting to various spatiotemporal out-of-distribution scenarios while maintaining efficient inference capabilities.
• Abstract（参考訳）: 時空間学習はスマートシティと持続可能な都市開発を可能にする重要な技術となっている。 現在のST学習モデルは、様々な空間的畳み込みと時間的進化ブロックを通して不均一性を捉える。 しかし, 急速な都市化は, 都市データや都市構造が短時間で変動し, 一般化やデータ適応の問題に悩まされている。 努力にもかかわらず、既存の手法は新しく到着した観測に対処できず、一般化能力を持つ手法は反復訓練で制限される。 神経科学における相補的学習を動機として,データ適応のためのモデルの進化を促進するために,ComS2Tと呼ばれる即時的相補的時相学習を導入する。 ComS2Tは、神経アーキテクチャを安定した新皮質に分割し、履歴記憶を統合する。 まず, 2つの非結合構造を安定重みと動的重みに分離し, 主観測の分布を特徴付けて空間的および時間的プロンプトを訓練し, 新たなデータへの適応を可能にする。 このデータ適応的プロンプト機構は、2段階のトレーニングプロセスと組み合わせて、プロンプトで条件付けられたニューラルアーキテクチャの微調整を容易にし、テスト中の効率的な適応を可能にする。 広汎な実験は、効率的な推論能力を維持しつつ、様々な時空間分配シナリオに適応するComS2Tの有効性を検証する。

関連論文リスト

• Context-Conditioned Spatio-Temporal Predictive Learning for Reliable V2V Channel Prediction [25.688521281119037]
  下流タスクの最適化には,V2Vチャネル状態情報(CSI)予測が不可欠である。 従来の予測手法は、時間、帯域幅、アンテナ(TX、RX)空間の予測を含む4次元(4D)CSIに重点を置いている。 本研究では,4次元CSIデータ内の依存関係をキャプチャするコンテキスト条件付き時間予測学習手法を提案する。
  論文  参考訳（メタデータ） (2024-09-16T04:15:36Z)
• Recurrent Deep Kernel Learning of Dynamical Systems [0.5825410941577593]
  デジタル双対は計算効率の低い低次モデル(ROM)を必要とし、物理的資産の複雑な力学を正確に記述することができる。 データから低次元の潜伏空間を発見するために,データ駆動型非侵入型深層学習法(SVDKL)を提案する。 その結果,本フレームワークは, (i) 測定値の復調と再構成, (ii) システム状態のコンパクトな表現の学習, (iii) 低次元潜在空間におけるシステム進化の予測, (iv) 不確実性をモデル化できることがわかった。
  論文  参考訳（メタデータ） (2024-05-30T07:49:02Z)
• Multi-Modality Spatio-Temporal Forecasting via Self-Supervised Learning [11.19088022423885]
  そこで本稿では,MoSSL を利用した新しい学習フレームワークを提案する。 2つの実世界のMOSTデータセットの結果は、最先端のベースラインと比較して、我々のアプローチの優位性を検証する。
  論文  参考訳（メタデータ） (2024-05-06T08:24:06Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Hybrid Transformer and Spatial-Temporal Self-Supervised Learning for Long-term Traffic Prediction [1.8531577178922987]
  本稿では,ハイブリッドトランスフォーマーと自己教師型学習を組み合わせたモデルを提案する。 このモデルは、トラフィックのシーケンスレベルにデータ拡張技術を適用することにより、適応的なデータ拡張を強化する。 本研究では,時間的および空間的依存をモデル化する2つの自己教師型学習タスクを設計し,モデルの精度と能力を向上させる。
  論文  参考訳（メタデータ） (2024-01-29T06:17:23Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• Gait Recognition in the Wild with Multi-hop Temporal Switch [81.35245014397759]
  野生での歩行認識は、より実践的な問題であり、マルチメディアとコンピュータビジョンのコミュニティの注目を集めています。 本稿では,現実のシーンにおける歩行パターンの効果的な時間的モデリングを実現するために,新しいマルチホップ時間スイッチ方式を提案する。
  論文  参考訳（メタデータ） (2022-09-01T10:46:09Z)
• Spatio-Temporal Graph Few-Shot Learning with Cross-City Knowledge Transfer [58.6106391721944]
  クロスシティの知識は、データ不足の都市から学んだモデルを活用して、データ不足の都市の学習プロセスに役立てるという、その将来性を示している。 本稿では,ST-GFSLと呼ばれるS時間グラフのためのモデルに依存しない数ショット学習フレームワークを提案する。 本研究では,4つの交通速度予測ベンチマークの総合的な実験を行い,ST-GFSLの有効性を最先端手法と比較した。
  論文  参考訳（メタデータ） (2022-05-27T12:46:52Z)
• Averaging Spatio-temporal Signals using Optimal Transport and Soft Alignments [110.79706180350507]
  Fr'teche は双対性を意味し, 時間的バレシェセンタを定義するために提案した損失が有効であることを示す。 手書き文字と脳画像データによる実験は、我々の理論的発見を裏付けるものである。
  論文  参考訳（メタデータ） (2022-03-11T09:46:22Z)
• Learning to Continuously Optimize Wireless Resource in a Dynamic Environment: A Bilevel Optimization Perspective [52.497514255040514]
  この研究は、データ駆動メソッドが動的環境でリソース割り当て戦略を継続的に学び、最適化することを可能にする新しいアプローチを開発しています。 学習モデルが新たなエピソードに段階的に適応できるように、連続学習の概念を無線システム設計に組み込むことを提案する。 我々の設計は、異なるデータサンプルにまたがる公平性を保証する、新しい二段階最適化定式化に基づいている。
  論文  参考訳（メタデータ） (2021-05-03T07:23:39Z)
• Neural Spatio-Temporal Point Processes [31.474420819149724]
  本稿では,ニューラルODEを計算手法として活用した,点自明なプロセスのための新しいパラメータ化のクラスを提案する。 我々は,地震学,疫学,都市移動性,神経科学など,さまざまな文脈のデータセットを用いて,我々のモデルを検証した。
  論文  参考訳（メタデータ） (2020-11-09T17:28:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。