論文の概要: Towards Robust Graph Incremental Learning on Evolving Graphs

• arxiv url: http://arxiv.org/abs/2402.12987v1
• Date: Tue, 20 Feb 2024 13:17:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-21 15:20:56.436782
• Title: Towards Robust Graph Incremental Learning on Evolving Graphs
• Title（参考訳）: 進化するグラフ上でのロバストグラフインクリメンタル学習に向けて
• Authors: Junwei Su, Difan Zou, Zijun Zhang, Chuan Wu
• Abstract要約: 本稿では,新たなタスクによって引き起こされるグラフ構造(構造変化)の進化を考慮に入れた誘導的NGIL問題に着目する。 本稿では, 構造シフト・リスク緩和(SSRM)と呼ばれる新しい正則化手法を提案し, 構造シフトが破滅的忘れに及ぼす影響を緩和する。
• 参考スコア（独自算出の注目度）: 23.595295175930335
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Incremental learning is a machine learning approach that involves training a model on a sequence of tasks, rather than all tasks at once. This ability to learn incrementally from a stream of tasks is crucial for many real-world applications. However, incremental learning is a challenging problem on graph-structured data, as many graph-related problems involve prediction tasks for each individual node, known as Node-wise Graph Incremental Learning (NGIL). This introduces non-independent and non-identically distributed characteristics in the sample data generation process, making it difficult to maintain the performance of the model as new tasks are added. In this paper, we focus on the inductive NGIL problem, which accounts for the evolution of graph structure (structural shift) induced by emerging tasks. We provide a formal formulation and analysis of the problem, and propose a novel regularization-based technique called Structural-Shift-Risk-Mitigation (SSRM) to mitigate the impact of the structural shift on catastrophic forgetting of the inductive NGIL problem. We show that the structural shift can lead to a shift in the input distribution for the existing tasks, and further lead to an increased risk of catastrophic forgetting. Through comprehensive empirical studies with several benchmark datasets, we demonstrate that our proposed method, Structural-Shift-Risk-Mitigation (SSRM), is flexible and easy to adapt to improve the performance of state-of-the-art GNN incremental learning frameworks in the inductive setting.
• Abstract（参考訳）: インクリメンタル学習は、すべてのタスクを同時に行うのではなく、一連のタスクでモデルをトレーニングする機械学習アプローチである。 タスクストリームから漸進的に学習する能力は多くの現実世界アプリケーションにとって不可欠である。 しかし、グラフに関する多くの問題は、ノード毎のグラフインクリメンタル学習(ngil)として知られる各ノードの予測タスクを含むため、グラフ構造化データでは、インクリメンタル学習は難しい問題である。 これにより、サンプルデータ生成プロセスに非独立的かつ非特定的に分散した特性が導入され、新しいタスクが追加されるにつれてモデルのパフォーマンスを維持することが困難になる。 本稿では,新たなタスクによって引き起こされるグラフ構造(構造変化)の進化を考慮に入れた,誘導的NGIL問題に焦点をあてる。 本稿では,この問題の形式的定式化と解析を行い,構造シフト緩和(Structure-Shift-Risk-Mitigation, SSRM)と呼ばれる新しい正規化に基づく手法を提案する。 この構造変化は,既存のタスクの入力分布の変化を招き,さらに破滅的な忘れ込みのリスクを増大させることを示した。 複数のベンチマークデータセットを用いた包括的実証研究を通じて,提案手法であるstructure-shift-risk-mitigation (ssrm) が柔軟かつ容易に適用でき,インダクティブな環境におけるgnnインクリメンタル学習フレームワークの性能を向上させることを実証した。

関連論文リスト

• Learning to Model Graph Structural Information on MLPs via Graph Structure Self-Contrasting [50.181824673039436]
  本稿では,グラフ構造情報をメッセージパッシングなしで学習するグラフ構造自己コントラスト(GSSC)フレームワークを提案する。 提案するフレームワークは,構造情報を事前知識として暗黙的にのみ組み込む,MLP(Multi-Layer Perceptrons)に基づいている。 これはまず、近傍の潜在的非形式的あるいはノイズの多いエッジを取り除くために構造的スペーシングを適用し、その後、スペーシングされた近傍で構造的自己コントラストを行い、ロバストなノード表現を学ぶ。
  論文  参考訳（メタデータ） (2024-09-09T12:56:02Z)
• Core Knowledge Learning Framework for Graph Adaptation and Scalability Learning [7.239264041183283]
  グラフ分類は、多様な予測タスクへの適応、複数のターゲットドメインでのトレーニング、小さなサンプル予測シナリオの処理など、いくつかのハードルに直面している。 本手法は,様々なタスクからの洞察を取り入れることで,グラフ分類における適応性,拡張性,一般化性を向上させることを目的とする。 実験の結果, 最先端手法と比較して, 提案手法による性能向上が顕著であった。
  論文  参考訳（メタデータ） (2024-07-02T02:16:43Z)
• Introducing Diminutive Causal Structure into Graph Representation Learning [19.132025125620274]
  本稿では,グラフニューラルネット(GNN)が専門的な最小の因果構造から洞察を得ることを可能にする新しい手法を提案する。 本手法は,これらの小型因果構造のモデル表現から因果知識を抽出する。
  論文  参考訳（メタデータ） (2024-06-13T00:18:20Z)
• Can Graph Learning Improve Planning in LLM-based Agents? [61.47027387839096]
  言語エージェントにおけるタスクプランニングは、大規模言語モデル(LLM)の開発とともに重要な研究トピックとして浮上している。 本稿では,課題計画のためのグラフ学習に基づく手法について検討する。 我々のグラフ学習への関心は、注意のバイアスと自己回帰的損失が、グラフ上の意思決定を効果的にナビゲートするLLMの能力を妨げているという理論的な発見に起因している。
  論文  参考訳（メタデータ） (2024-05-29T14:26:24Z)
• Graph Learning under Distribution Shifts: A Comprehensive Survey on Domain Adaptation, Out-of-distribution, and Continual Learning [53.81365215811222]
  グラフ学習の文脈における分布変化に対処する最新のアプローチ、戦略、洞察のレビューと要約を提供する。 既存のグラフ学習手法を,グラフ領域適応学習,グラフ配布学習,グラフ連続学習など,いくつかの重要なシナリオに分類する。 本稿では,この領域における現状を体系的に分析し,分散シフト下でのグラフ学習の可能性と今後の方向性について論じる。
  論文  参考訳（メタデータ） (2024-02-26T07:52:40Z)
• HetGPT: Harnessing the Power of Prompt Tuning in Pre-Trained Heterogeneous Graph Neural Networks [24.435068514392487]
  HetGPTは、グラフニューラルネットワークのトレーニング後プロンプトフレームワークである。 半教師付きノード分類における最先端HGNNの性能を向上させる。
  論文  参考訳（メタデータ） (2023-10-23T19:35:57Z)
• GIF: A General Graph Unlearning Strategy via Influence Function [63.52038638220563]
  Graph Influence Function (GIF)は、削除されたデータにおける$epsilon$-massの摂動に応答してパラメータの変化を効率的に正確に推定できる、モデルに依存しない未学習の手法である。 我々は,4つの代表的GNNモデルと3つのベンチマークデータセットについて広範な実験を行い,未学習の有効性,モデルの有用性,未学習効率の観点からGIFの優位性を正当化する。
  論文  参考訳（メタデータ） (2023-04-06T03:02:54Z)
• Handling Distribution Shifts on Graphs: An Invariance Perspective [78.31180235269035]
  我々は、グラフ上のOOD問題を定式化し、新しい不変学習手法である探索・拡張リスク最小化(EERM)を開発する。 EERMは、複数の仮想環境からのリスクの分散を最大化するために、敵対的に訓練された複数のコンテキストエクスプローラーを利用する。 理論的に有効なOOD解の保証を示すことによって,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2022-02-05T02:31:01Z)
• Towards Unsupervised Deep Graph Structure Learning [67.58720734177325]
  本稿では,学習したグラフトポロジを外部ガイダンスなしでデータ自身で最適化する,教師なしグラフ構造学習パラダイムを提案する。 具体的には、元のデータから"アンカーグラフ"として学習目標を生成し、対照的な損失を用いてアンカーグラフと学習グラフとの一致を最大化する。
  論文  参考訳（メタデータ） (2022-01-17T11:57:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。