論文の概要: K-Link: Knowledge-Link Graph from LLMs for Enhanced Representation Learning in Multivariate Time-Series Data

• arxiv url: http://arxiv.org/abs/2403.03645v1
• Date: Wed, 6 Mar 2024 12:08:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-07 15:16:37.495704
• Title: K-Link: Knowledge-Link Graph from LLMs for Enhanced Representation Learning in Multivariate Time-Series Data
• Title（参考訳）: K-Link:多変量時系列データにおけるLLMからの知識リンクグラフによる表現学習
• Authors: Yucheng Wang, Ruibing Jin, Min Wu, Xiaoli Li, Lihua Xie, Zhenghua Chen
• Abstract要約: 我々は,大規模言語モデル(LLM)を利用して,広範な一般知識を符号化するKリンクという新しいフレームワークを提案する。 本稿では,知識リンクグラフ内の意味知識のMSSグラフへの移動を容易にするグラフアライメントモジュールを提案する。
• 参考スコア（独自算出の注目度）: 39.83677994033754
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Sourced from various sensors and organized chronologically, Multivariate Time-Series (MTS) data involves crucial spatial-temporal dependencies, e.g., correlations among sensors. To capture these dependencies, Graph Neural Networks (GNNs) have emerged as powerful tools, yet their effectiveness is restricted by the quality of graph construction from MTS data. Typically, existing approaches construct graphs solely from MTS signals, which may introduce bias due to a small training dataset and may not accurately represent underlying dependencies. To address this challenge, we propose a novel framework named K-Link, leveraging Large Language Models (LLMs) to encode extensive general knowledge and thereby providing effective solutions to reduce the bias. Leveraging the knowledge embedded in LLMs, such as physical principles, we extract a \textit{Knowledge-Link graph}, capturing vast semantic knowledge of sensors and the linkage of the sensor-level knowledge. To harness the potential of the knowledge-link graph in enhancing the graph derived from MTS data, we propose a graph alignment module, facilitating the transfer of semantic knowledge within the knowledge-link graph into the MTS-derived graph. By doing so, we can improve the graph quality, ensuring effective representation learning with GNNs for MTS data. Extensive experiments demonstrate the efficacy of our approach for superior performance across various MTS-related downstream tasks.
• Abstract（参考訳）: 様々なセンサや時系列データから得られる多変量時系列(MTS)データは、センサ間の相関など、重要な空間的時間的依存関係を含む。 これらの依存関係を捉えるために、グラフニューラルネットワーク(gnn)は強力なツールとして登場したが、mtsデータからのグラフ構築の品質によって、その有効性は制限されている。 通常、既存のアプローチはMCS信号のみからグラフを構築し、小さなトレーニングデータセットによるバイアスを発生させ、基礎となる依存関係を正確に表現しない可能性がある。 この課題に対処するため,我々は大規模言語モデル(LLM)を活用して広範な一般知識を符号化し,バイアスを減らす効果的なソリューションを提供する,Kリンクという新しいフレームワークを提案する。 物理原理などのllmに埋め込まれた知識を活用することで,センサの膨大な意味知識とセンサレベルの知識のリンクを捉えた, \textit{knowledge-link graph} を抽出する。 MTSデータから得られるグラフの強化における知識リンクグラフの可能性を活用するために,知識リンクグラフ内の意味知識のMSSグラフへの移動を容易にするグラフアライメントモジュールを提案する。 これにより、グラフの品質を向上し、MSSデータに対するGNNによる効果的な表現学習を確保することができる。 広範囲な実験により, MTS関連下流タスクにおける性能向上のためのアプローチの有効性が示された。

関連論文リスト

• Task-Oriented Communication for Graph Data: A Graph Information Bottleneck Approach [12.451324619122405]
  本稿では,コミュニケーションのオーバーヘッドを低減しつつ,鍵情報を保持するタスク中心のより小さなサブグラフを抽出する手法を提案する。 提案手法では,グラフニューラルネットワーク(GNN)とグラフ情報ボトルネック(GIB)の原理を用いて,伝達に適したコンパクトで情報的,堅牢なグラフ表現を生成する。
  論文  参考訳（メタデータ） (2024-09-04T14:01:56Z)
• Multitask Active Learning for Graph Anomaly Detection [48.690169078479116]
  MultItask acTIve Graph Anomaly Detection framework,すなわちMITIGATEを提案する。 ノード分類タスクを結合することにより、MITIGATEは既知の異常を伴わずに配布外ノードを検出する能力を得る。 4つのデータセットに関する実証的研究は、MITIGATEが異常検出のための最先端の手法を著しく上回っていることを示している。
  論文  参考訳（メタデータ） (2024-01-24T03:43:45Z)
• Efficient End-to-end Language Model Fine-tuning on Graphs [21.23522552579571]
  Text-Attributed Graphs (TAGs) からの学習は、その幅広い現実世界のアプリケーションのために大きな注目を集めている。 我々は,TAG上での言語モデルのエンドツーエンドな微調整のための,新規かつ効率的なアプローチであるLEAdingを紹介する。 提案手法は,Ogbn-arxiv のリーダーボード上で,最先端のSOTA(State-of-the-art)を達成し,優れた性能を示す。
  論文  参考訳（メタデータ） (2023-12-07T22:35:16Z)
• Learning Strong Graph Neural Networks with Weak Information [64.64996100343602]
  我々は、弱い情報(GLWI)を用いたグラフ学習問題に対する原則的アプローチを開発する。 非完全構造を持つ入力グラフ上で長距離情報伝搬を行うデュアルチャネルGNNフレームワークであるD$2$PTを提案するが、グローバルな意味的類似性を符号化するグローバルグラフも提案する。
  論文  参考訳（メタデータ） (2023-05-29T04:51:09Z)
• Affinity-Aware Graph Networks [9.888383815189176]
  グラフニューラルネットワーク(GNN)は、リレーショナルデータを学ぶための強力なテクニックとして登場した。 グラフニューラルネットワークの特徴としてアフィニティ尺度の利用について検討する。 本稿では,これらの特徴に基づくメッセージパッシングネットワークを提案し,その性能を様々なノードおよびグラフ特性予測タスクで評価する。
  論文  参考訳（メタデータ） (2022-06-23T18:51:35Z)
• Contrastive and Generative Graph Convolutional Networks for Graph-based Semi-Supervised Learning [64.98816284854067]
  グラフベースのSemi-Supervised Learning (SSL)は、少数のラベル付きデータのラベルをグラフ経由で残りの巨大なラベル付きデータに転送することを目的としている。 本稿では,データ類似性とグラフ構造を両立させ,監視信号の強化を図るため,新しいGCNベースのSSLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-09-15T13:59:28Z)
• Tensor Graph Convolutional Networks for Multi-relational and Robust Learning [74.05478502080658]
  本稿では,テンソルで表されるグラフの集合に関連するデータから,スケーラブルな半教師付き学習(SSL)を実現するためのテンソルグラフ畳み込みネットワーク(TGCN)を提案する。 提案アーキテクチャは、標準的なGCNと比較して大幅に性能が向上し、最先端の敵攻撃に対処し、タンパク質間相互作用ネットワーク上でのSSL性能が著しく向上する。
  論文  参考訳（メタデータ） (2020-03-15T02:33:21Z)
• Graph Representation Learning via Graphical Mutual Information Maximization [86.32278001019854]
  本稿では,入力グラフとハイレベルな隠蔽表現との相関を測る新しい概念であるGMIを提案する。 我々は,グラフニューラルエンコーダの入力と出力の間でGMIを最大化することで訓練された教師なし学習モデルを開発する。
  論文  参考訳（メタデータ） (2020-02-04T08:33:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。