論文の概要: Continual Learning on Dynamic Graphs via Parameter Isolation

• arxiv url: http://arxiv.org/abs/2305.13825v1
• Date: Tue, 23 May 2023 08:49:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 17:48:08.300837
• Title: Continual Learning on Dynamic Graphs via Parameter Isolation
• Title（参考訳）: パラメータ分離による動的グラフの連続学習
• Authors: Peiyan Zhang, Yuchen Yan, Chaozhuo Li, Senzhang Wang, Xing Xie, Guojie Song, Sunghun Kim
• Abstract要約: 動的グラフの連続学習のための分離GNN(PI-GNN)を提案する。 最適化によって影響のないパターンに対応するパラメータを見つけ、それらが書き換えられるのを防ぐために凍結する。 8つの実世界のデータセットの実験は、PI-GNNの有効性を裏付ける。
• 参考スコア（独自算出の注目度）: 40.96053483180836
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many real-world graph learning tasks require handling dynamic graphs where new nodes and edges emerge. Dynamic graph learning methods commonly suffer from the catastrophic forgetting problem, where knowledge learned for previous graphs is overwritten by updates for new graphs. To alleviate the problem, continual graph learning methods are proposed. However, existing continual graph learning methods aim to learn new patterns and maintain old ones with the same set of parameters of fixed size, and thus face a fundamental tradeoff between both goals. In this paper, we propose Parameter Isolation GNN (PI-GNN) for continual learning on dynamic graphs that circumvents the tradeoff via parameter isolation and expansion. Our motivation lies in that different parameters contribute to learning different graph patterns. Based on the idea, we expand model parameters to continually learn emerging graph patterns. Meanwhile, to effectively preserve knowledge for unaffected patterns, we find parameters that correspond to them via optimization and freeze them to prevent them from being rewritten. Experiments on eight real-world datasets corroborate the effectiveness of PI-GNN compared to state-of-the-art baselines.
• Abstract（参考訳）: 実世界のグラフ学習タスクの多くは、新しいノードとエッジが出現する動的グラフの処理を必要とする。 動的グラフ学習法は一般に、過去のグラフで学んだ知識が新しいグラフの更新によって上書きされる破滅的な忘れ問題に悩まされる。 問題を緩和するため,連続グラフ学習法を提案する。 しかし、既存の連続グラフ学習手法は、新しいパターンを学習し、同じパラメータセットの固定サイズで古いパターンを維持することを目的としており、したがって両目標の根本的なトレードオフに直面している。 本稿では,パラメータ分離と拡張によるトレードオフを回避する動的グラフの連続学習のためのパラメータ分離GNN(PI-GNN)を提案する。 私たちのモチベーションは、異なるパラメータが異なるグラフパターンの学習に寄与することにあります。 このアイデアに基づいて,モデルパラメータを拡張して,新たなグラフパターンを継続的に学習する。 一方、影響のないパターンの知識を効果的に保存するために、最適化によってそれらに対応するパラメータを見つけ、それらを凍結して書き換えるのを防ぐ。 8つの実世界のデータセットの実験は、最先端のベースラインと比較してPI-GNNの有効性を裏付ける。

関連論文リスト

• Gradient Transformation: Towards Efficient and Model-Agnostic Unlearning for Dynamic Graph Neural Networks [66.70786325911124]
  グラフアンラーニングは、ユーザのプライバシ保護と、望ましくないデータによるネガティブな影響軽減に不可欠なツールとして登場した。 DGNNの普及に伴い、動的グラフアンラーニングの実装を検討することが不可欠となる。 DGNNアンラーニングを実装するために,効率的,効率的,モデルに依存しない,事後処理手法を提案する。
  論文  参考訳（メタデータ） (2024-05-23T10:26:18Z)
• A Topology-aware Graph Coarsening Framework for Continual Graph Learning [8.136809136959302]
  グラフに関する継続的な学習は、グラフデータがストリーミング形式で到着するグラフニューラルネットワーク(GNN)のトレーニングに対処する。 Experience Replayのような従来の継続的学習戦略は、ストリーミンググラフに適応することができる。 本稿では, TA$mathbbCO$, a (t)opology-(a)ware graph (co)arsening and (co)ntinual learning frameworkを提案する。
  論文  参考訳（メタデータ） (2024-01-05T22:22:13Z)
• Less Can Be More: Unsupervised Graph Pruning for Large-scale Dynamic Graphs [42.864057751606616]
  動的グラフ上での教師なしグラフプルーニングの問題を提案し,検討する。 提案するSTEPフレームワークは,入力動的グラフから潜在的に冗長なエッジを取り除くことを学習する。 実世界の3つのデータセットに対する我々の結果は、GNNの有効性、堅牢性、効率性を改善する利点を実証している。
  論文  参考訳（メタデータ） (2023-05-18T03:23:53Z)
• GIF: A General Graph Unlearning Strategy via Influence Function [63.52038638220563]
  Graph Influence Function (GIF)は、削除されたデータにおける$epsilon$-massの摂動に応答してパラメータの変化を効率的に正確に推定できる、モデルに依存しない未学習の手法である。 我々は,4つの代表的GNNモデルと3つのベンチマークデータセットについて広範な実験を行い,未学習の有効性,モデルの有用性,未学習効率の観点からGIFの優位性を正当化する。
  論文  参考訳（メタデータ） (2023-04-06T03:02:54Z)
• State of the Art and Potentialities of Graph-level Learning [54.68482109186052]
  グラフレベルの学習は、比較、回帰、分類など、多くのタスクに適用されている。 グラフの集合を学習する伝統的なアプローチは、サブストラクチャのような手作りの特徴に依存している。 ディープラーニングは、機能を自動的に抽出し、グラフを低次元表現に符号化することで、グラフレベルの学習をグラフの規模に適応させるのに役立っている。
  論文  参考訳（メタデータ） (2023-01-14T09:15:49Z)
• ARIEL: Adversarial Graph Contrastive Learning [51.14695794459399]
  ARIELは、ノードレベルとグラフレベルの両方の分類タスクにおいて、現在のグラフコントラスト学習法よりも一貫して優れている。 ARIELは敵の攻撃に対してより堅牢である。
  論文  参考訳（メタデータ） (2022-08-15T01:24:42Z)
• Adversarial Graph Contrastive Learning with Information Regularization [51.14695794459399]
  コントラスト学習はグラフ表現学習において有効な方法である。 グラフ上のデータ拡張は、はるかに直感的ではなく、高品質のコントラスト的なサンプルを提供するのがずっと難しい。 逆グラフ比較学習(Adversarial Graph Contrastive Learning, ARIEL)を提案する。 さまざまな実世界のデータセット上でのノード分類タスクにおいて、現在のグラフのコントラスト学習方法よりも一貫して優れています。
  論文  参考訳（メタデータ） (2022-02-14T05:54:48Z)
• Dynamic Graph Learning-Neural Network for Multivariate Time Series Modeling [2.3022070933226217]
  静的および動的グラフ学習ニューラルネットワーク(GL)という新しいフレームワークを提案する。 モデルはそれぞれ、データから静的グラフ行列と動的グラフ行列を取得し、長期パターンと短期パターンをモデル化する。 ほぼすべてのデータセットで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-12-06T08:19:15Z)
• Learning to Evolve on Dynamic Graphs [5.1521870302904125]
  Learning to Evolve on Dynamic Graphs (LEDG)は、グラフ情報と時間情報を共同で学習する新しいアルゴリズムである。 LEDGはモデルに依存しないため、動的グラフ上でメッセージパッシングベースのグラフニューラルネットワーク(GNN)をトレーニングすることができる。
  論文  参考訳（メタデータ） (2021-11-13T04:09:30Z)
• Online Graph Learning in Dynamic Environments [5.222057229549077]
  本稿では,動的環境におけるシーケンシャルデータの場合の学習グラフに焦点を当てる。 逐次データに対して,従来のバッチグラフ学習手法のオンライン版を開発する。
  論文  参考訳（メタデータ） (2021-10-11T06:24:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。