論文の概要: Prompt-Enhanced Spatio-Temporal Graph Transfer Learning

• arxiv url: http://arxiv.org/abs/2405.12452v1
• Date: Tue, 21 May 2024 02:06:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-22 14:38:05.022506
• Title: Prompt-Enhanced Spatio-Temporal Graph Transfer Learning
• Title（参考訳）: プロンプト強化時空間グラフ転送学習
• Authors: Junfeng Hu, Xu Liu, Zhencheng Fan, Yifang Yin, Shili Xiang, Savitha Ramasamy, Roger Zimmermann,
• Abstract要約: 本稿では,データスカース領域における多種多様なタスクに適応可能な,迅速なトランスファー学習フレームワークを提案する。 具体的には、まず異なるタスクを単一のテンプレートに統合し、このテンプレートと整合するタスクに依存しないネットワークアーキテクチャを導入します。 学習可能なプロンプトを使用して、2段階のパイプラインでドメインとタスクの転送を実現し、各段階におけるドメインの知識とタスク固有のプロパティを効果的にキャプチャする。
• 参考スコア（独自算出の注目度）: 22.855189872649376
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spatio-temporal graph neural networks have demonstrated efficacy in capturing complex dependencies for urban computing tasks such as forecasting and kriging. However, their performance is constrained by the reliance on extensive data for training on specific tasks, which limits their adaptability to new urban domains with varied demands. Although transfer learning has been proposed to address this problem by leveraging knowledge across domains, cross-task generalization remains underexplored in spatio-temporal graph transfer learning methods due to the absence of a unified framework. To bridge this gap, we propose Spatio-Temporal Graph Prompting (STGP), a prompt-enhanced transfer learning framework capable of adapting to diverse tasks in data-scarce domains. Specifically, we first unify different tasks into a single template and introduce a task-agnostic network architecture that aligns with this template. This approach enables the capture of spatio-temporal dependencies shared across tasks. Furthermore, we employ learnable prompts to achieve domain and task transfer in a two-stage prompting pipeline, enabling the prompts to effectively capture domain knowledge and task-specific properties at each stage. Extensive experiments demonstrate that STGP outperforms state-of-the-art baselines in three downstream tasks forecasting, kriging, and extrapolation by a notable margin.
• Abstract（参考訳）: 時空間グラフニューラルネットワークは、予測やクリグといった都市コンピューティングタスクの複雑な依存関係を捕捉する効果を実証している。 しかし、その性能は特定のタスクを訓練するための広範なデータに依存しており、必要に応じて新しい都市ドメインへの適応性が制限されている。 ドメイン間の知識を活用してこの問題を解決するために移動学習が提案されているが、統合されたフレームワークが存在しないため、時空間グラフ転送学習法ではクロスタスクの一般化が過小評価されている。 このギャップを埋めるため,データスカース領域における多種多様なタスクに適応可能な,高速なトランスファー学習フレームワークであるスポース・テンポラルグラフ・プロンプト(STGP)を提案する。 具体的には、まず異なるタスクを単一のテンプレートに統合し、このテンプレートと整合するタスクに依存しないネットワークアーキテクチャを導入します。 このアプローチにより、タスク間で共有される時空間依存関係のキャプチャが可能になる。 さらに、学習可能なプロンプトを用いて、2段階のプロンプトパイプラインでドメインとタスクの転送を実現し、各段階におけるドメインの知識とタスク固有のプロパティを効果的にキャプチャする。 大規模な実験により、STGPは3つの下流タスクにおいて、顕著なマージンによる予測、リグ、外挿において最先端のベースラインを上回っていることが示された。

関連論文リスト

• Distribution Matching for Multi-Task Learning of Classification Tasks: a Large-Scale Study on Faces & Beyond [62.406687088097605]
  マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。 MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。 本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-02T14:18:11Z)
• ULTRA-DP: Unifying Graph Pre-training with Multi-task Graph Dual Prompt [67.8934749027315]
  本稿では,タスク識別と位置識別をGNNに注入する,グラフハイブリッド事前学習のための統合フレームワークを提案する。 また,約$k$-nearest隣人のグループに基づいた,新しい事前学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-10-23T12:11:13Z)
• Learning Good Features to Transfer Across Tasks and Domains [16.05821129333396]
  まず、与えられたドメイン内のタスク固有の深い機能間のマッピングを学習することで、タスク間でそのような知識を共有できることを示します。 そして、ニューラルネットワークによって実装されたこのマッピング関数が、新しい未知の領域に一般化可能であることを示す。
  論文  参考訳（メタデータ） (2023-01-26T18:49:39Z)
• Fast Inference and Transfer of Compositional Task Structures for Few-shot Task Generalization [101.72755769194677]
  本稿では,タスクがサブタスクグラフによって特徴づけられる,数発の強化学習問題として定式化する。 我々のマルチタスクサブタスクグラフ推論器(MTSGI)は、トレーニングタスクから、まず、サブタスクグラフの観点から、一般的なハイレベルなタスク構造を推測する。 提案手法は,2次元グリッドワールドおよび複雑なWebナビゲーション領域において,タスクの共通基盤構造を学習し,活用し,未知のタスクへの適応を高速化する。
  論文  参考訳（メタデータ） (2022-05-25T10:44:25Z)
• Deep transfer learning for partial differential equations under conditional shift with DeepONet [0.0]
  深層演算子ネットワーク(DeepONet)を用いた条件シフト下でのタスク固有学習のための新しいTLフレームワークを提案する。 条件埋め込み演算子理論に触発されて、ソース領域とターゲット特徴領域の間の統計的距離を測定する。 提案するTLフレームワークは,ソースドメインとターゲットドメインの間に大きな違いがあるにも関わらず,高速かつ効率的なマルチタスク演算子学習を可能にする。
  論文  参考訳（メタデータ） (2022-04-20T23:23:38Z)
• Self-Supervised Graph Neural Network for Multi-Source Domain Adaptation [51.21190751266442]
  ドメイン適応(DA)は、テストデータがトレーニングデータの同じ分布に完全に従わない場合に、シナリオに取り組む。 大規模未ラベルサンプルから学習することで、自己教師型学習がディープラーニングの新しいトレンドとなっている。 我々は,より効果的なタスク間情報交換と知識共有を実現するために,新しい textbfSelf-textbf Supervised textbfGraph Neural Network (SSG) を提案する。
  論文  参考訳（メタデータ） (2022-04-08T03:37:56Z)
• MS-LaTTE: A Dataset of Where and When To-do Tasks are Completed [14.009925631455092]
  我々はMS-LaTTEと呼ばれる新しい大規模データセットをリリースする。 タスク完了を取り巻くコンテキストの中核となる2つの側面(場所と時間)をキャプチャする。 本研究では,空間的タスクと時間的タスクの共起を予測する2つの問題に対して,データセットを検証した。
  論文  参考訳（メタデータ） (2021-11-12T19:01:06Z)
• Learning to Relate Depth and Semantics for Unsupervised Domain Adaptation [87.1188556802942]
  教師なしドメイン適応(UDA)設定において,視覚的タスク関係を符号化してモデル性能を向上させる手法を提案する。 本稿では,意味的および深さ的予測のタスク依存性を符号化する新しいクロスタスク関係層(ctrl)を提案する。 さらに、セマンティック擬似ラベルを利用してターゲットドメインを監督する反復自己学習(ISL)トレーニングスキームを提案する。
  論文  参考訳（メタデータ） (2021-05-17T13:42:09Z)
• Learning Task-oriented Disentangled Representations for Unsupervised Domain Adaptation [165.61511788237485]
  Unsupervised domain adapt (UDA) は、ラベル付きソースドメインとラベルなしターゲットドメインの間のドメインシフト問題に対処することを目的としている。 UDAのための動的タスク指向の非絡合ネットワーク(DTDN)を提案し,非絡合表現をエンドツーエンドで学習する。
  論文  参考訳（メタデータ） (2020-07-27T01:21:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。