論文の概要: Prompt Learning on Temporal Interaction Graphs
- arxiv url: http://arxiv.org/abs/2402.06326v2
- Date: Wed, 6 Mar 2024 05:34:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-07 17:24:15.108145
- Title: Prompt Learning on Temporal Interaction Graphs
- Title(参考訳): 時間的相互作用グラフのプロンプト学習
- Authors: Xi Chen, Siwei Zhang, Yun Xiong, Xixi Wu, Jiawei Zhang, Xiangguo Sun,
Yao Zhang, Feng Zhao, Yulin Kang
- Abstract要約: 時間的相互作用グラフ(TIG)は現実世界のシステムを表現するために広く利用されている。
TIGモデルは、トレーニング前予測のトレーニングパラダイムにおいて、トレーニング前予測と下流予測の間に厳しいギャップに直面しています。
本稿では,TIGモデルとシームレスに統合する汎用フレームワークであるTIGPromptについて紹介する。
- 参考スコア(独自算出の注目度): 25.28535762085367
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Temporal Interaction Graphs (TIGs) are widely utilized to represent
real-world systems. To facilitate representation learning on TIGs, researchers
have proposed a series of TIG models. However, these models are still facing
two tough gaps between the pre-training and downstream predictions in their
``pre-train, predict'' training paradigm. First, the temporal discrepancy
between the pre-training and inference data severely undermines the models'
applicability in distant future predictions on the dynamically evolving data.
Second, the semantic divergence between pretext and downstream tasks hinders
their practical applications, as they struggle to align with their learning and
prediction capabilities across application scenarios.
Recently, the ``pre-train, prompt'' paradigm has emerged as a lightweight
mechanism for model generalization. Applying this paradigm is a potential
solution to solve the aforementioned challenges. However, the adaptation of
this paradigm to TIGs is not straightforward. The application of prompting in
static graph contexts falls short in temporal settings due to a lack of
consideration for time-sensitive dynamics and a deficiency in expressive power.
To address this issue, we introduce Temporal Interaction Graph Prompting
(TIGPrompt), a versatile framework that seamlessly integrates with TIG models,
bridging both the temporal and semantic gaps. In detail, we propose a temporal
prompt generator to offer temporally-aware prompts for different tasks. These
prompts stand out for their minimalistic design, relying solely on the tuning
of the prompt generator with very little supervision data. To cater to varying
computational resource demands, we propose an extended ``pre-train,
prompt-based fine-tune'' paradigm, offering greater flexibility. Through
extensive experiments, the TIGPrompt demonstrates the SOTA performance and
remarkable efficiency advantages.
- Abstract(参考訳): 時間相互作用グラフ(TIG)は現実世界のシステムを表現するために広く利用されている。
TIGの表現学習を容易にするために、研究者は一連のTIGモデルを提案した。
しかしながら,これらのモデルでは,‘pre-train, predict’のトレーニングパラダイムにおいて,事前トレーニングと下流予測の2つの厳しいギャップに直面している。
第一に、事前学習データと推論データの時間差は、動的に進化するデータに対する将来の予測におけるモデルの適用性を著しく損なう。
第二に、プリテキストと下流タスク間のセマンティックなばらつきは、アプリケーションシナリオ全体にわたる学習と予測能力の整合に苦慮しているため、実践的なアプリケーションを妨げる。
近年,モデル一般化のための軽量なメカニズムとして ‘pre-train, prompt' パラダイムが登場している。
このパラダイムを適用することは、前述の課題を解決する潜在的な解決策になります。
しかし、このパラダイムをTIGに適用することは簡単ではない。
静的グラフコンテキストにおけるプロンプトの適用は、時間に敏感なダイナミクスと表現力の欠如により、時間的設定において不足する。
この問題に対処するために、TIGモデルとシームレスに統合し、時間的および意味的なギャップを埋める多目的なフレームワークであるTIGPrompt(TIGPrompt)を導入する。
具体的には,異なるタスクに対して時間認識プロンプトを提供する時間的プロンプト生成器を提案する。
これらのプロンプトは、ごく少ない監督データでプロンプトジェネレータのチューニングのみに依存する、最小限の設計で際立っている。
様々な計算資源要求に対応するために,より柔軟性のある 'pre-train, prompt-based fine-tune'' パラダイムを提案する。
広範な実験を通じて、TIGPromptはSOTAの性能と優れた効率性を示す。
関連論文リスト
- TimeGraphs: Graph-based Temporal Reasoning [64.18083371645956]
TimeGraphsは階層的時間グラフとして動的相互作用を特徴付ける新しいアプローチである。
提案手法は,コンパクトなグラフベース表現を用いて相互作用をモデル化し,多種多様な時間スケールでの適応推論を可能にする。
我々は,サッカーシミュレータ,抵抗ゲーム,MOMA人間活動データセットなど,複雑でダイナミックなエージェントインタラクションを持つ複数のデータセット上でTimeGraphsを評価する。
論文 参考訳(メタデータ) (2024-01-06T06:26:49Z) - Variational Temporal IRT: Fast, Accurate, and Explainable Inference of
Dynamic Learner Proficiency [5.715502630272047]
学習者の習熟度を高速かつ正確に推定するための変分時IRT(VTIRT)を提案する。
VTIRTは、正確な推論を提供しながら、推論ランタイムにおいて桁違いのスピードアップを提供する。
9つの実際の学生データセットに適用すると、VTIRTは将来的な学習者のパフォーマンスを予測するための改善を一貫して得る。
論文 参考訳(メタデータ) (2023-11-14T23:36:39Z) - TempME: Towards the Explainability of Temporal Graph Neural Networks via
Motif Discovery [15.573944320072284]
本稿では、時間グラフニューラルネットワーク(TGNN)の予測を導く最も重要な時間的モチーフを明らかにするTempMEを提案する。
TempMEは、最も相互作用に関連するモチーフを抽出し、含んでいる情報の量を最小化し、説明の空間性と簡潔性を維持する。
実験では、TempMEの優位性が検証され、6つの実世界のデータセットで説明精度が最大8.21%向上し、現在のTGNNの平均精度が最大22.96%向上した。
論文 参考訳(メタデータ) (2023-10-30T07:51:41Z) - EasyDGL: Encode, Train and Interpret for Continuous-time Dynamic Graph
Learning [114.72818205974285]
本稿では,3つのモジュールから構成される使い勝手の良いパイプライン(EasyDGL)を設計することを目的とする。
EasyDGLは、進化するグラフデータからモデルが学習する周波数コンテンツの予測力を効果的に定量化することができる。
論文 参考訳(メタデータ) (2023-03-22T06:35:08Z) - Generic Temporal Reasoning with Differential Analysis and Explanation [61.96034987217583]
時間差分解析でギャップを埋めるTODAYという新しいタスクを導入する。
TODAYは、システムがインクリメンタルな変化の効果を正しく理解できるかどうかを評価する。
共同学習においてTODAYの指導スタイルと説明アノテーションが有効であることを示す。
論文 参考訳(メタデータ) (2022-12-20T17:40:03Z) - DyTed: Disentangled Representation Learning for Discrete-time Dynamic
Graph [59.583555454424]
離散時間動的グラフ、すなわちDyTedのための新しいディペンタングル表現学習フレームワークを提案する。
本研究では,時間不変の表現と時間変動の表現を効果的に識別する構造的コントラスト学習とともに,時間的クリップのコントラスト学習タスクを特別に設計する。
論文 参考訳(メタデータ) (2022-10-19T14:34:12Z) - Temporal Knowledge Graph Reasoning with Low-rank and Model-agnostic
Representations [1.8262547855491458]
低ランクテンソル分解モデル LowFER のパラメータ効率および時間認識拡張系である Time-LowFER を導入する。
時間を表現するための現在のアプローチのいくつかの制限に留意し、時間特徴に対するサイクル対応の時間符号化方式を提案する。
我々は,時間に敏感なデータ処理に着目した統合時間知識グラフ埋め込みフレームワークに本手法を実装した。
論文 参考訳(メタデータ) (2022-04-10T22:24:11Z) - Multivariate Time Series Forecasting with Dynamic Graph Neural ODEs [65.18780403244178]
動的グラフニューラル正規微分方程式(MTGODE)を用いた多変量時系列予測連続モデルを提案する。
具体的には、まず、時間進化するノードの特徴と未知のグラフ構造を持つ動的グラフに多変量時系列を抽象化する。
そして、欠落したグラフトポロジを補完し、空間的および時間的メッセージパッシングを統一するために、ニューラルODEを設計、解決する。
論文 参考訳(メタデータ) (2022-02-17T02:17:31Z) - Training for the Future: A Simple Gradient Interpolation Loss to
Generalize Along Time [26.261277497201565]
いくつかの実世界のアプリケーションでは、機械学習モデルがデプロイされ、時間とともに分布が徐々に変化するデータの予測を行う。
本稿では,時間に敏感なパラメータを持つモデルから始める単純な手法を提案する。
論文 参考訳(メタデータ) (2021-08-15T11:20:10Z) - Interpretable Time-series Representation Learning With Multi-Level
Disentanglement [56.38489708031278]
Disentangle Time Series (DTS)は、シーケンシャルデータのための新しいDisentanglement Enhanceingフレームワークである。
DTSは時系列の解釈可能な表現として階層的意味概念を生成する。
DTSは、セマンティック概念の解釈性が高く、下流アプリケーションで優れたパフォーマンスを実現します。
論文 参考訳(メタデータ) (2021-05-17T22:02:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。