論文の概要: Reinforced Continual Learning for Graphs

• arxiv url: http://arxiv.org/abs/2209.01556v1
• Date: Sun, 4 Sep 2022 07:49:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-07 12:44:23.163760
• Title: Reinforced Continual Learning for Graphs
• Title（参考訳）: グラフの強化連続学習
• Authors: Appan Rakaraddi, Siew Kei Lam, Mahardhika Pratama, Marcus De Carvalho
• Abstract要約: 本稿では,アーキテクチャベースとメモリベースのアプローチを組み合わせたグラフ連続学習戦略を提案する。 タスク・インクリメンタル・ラーニングとクラス・インクリメンタル・ラーニング・セッティングの両方において,いくつかのグラフ連続学習ベンチマーク問題を用いて数値検証を行った。
• 参考スコア（独自算出の注目度）: 18.64268861430314
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Graph Neural Networks (GNNs) have become the backbone for a myriad of tasks pertaining to graphs and similar topological data structures. While many works have been established in domains related to node and graph classification/regression tasks, they mostly deal with a single task. Continual learning on graphs is largely unexplored and existing graph continual learning approaches are limited to the task-incremental learning scenarios. This paper proposes a graph continual learning strategy that combines the architecture-based and memory-based approaches. The structural learning strategy is driven by reinforcement learning, where a controller network is trained in such a way to determine an optimal number of nodes to be added/pruned from the base network when new tasks are observed, thus assuring sufficient network capacities. The parameter learning strategy is underpinned by the concept of Dark Experience replay method to cope with the catastrophic forgetting problem. Our approach is numerically validated with several graph continual learning benchmark problems in both task-incremental learning and class-incremental learning settings. Compared to recently published works, our approach demonstrates improved performance in both the settings. The implementation code can be found at \url{https://github.com/codexhammer/gcl}.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、グラフや同様のトポロジ的データ構造に関連する多くのタスクのバックボーンとなっている。 ノードやグラフの分類/回帰タスクに関連する領域では、多くの作業が確立されているが、ほとんどが単一のタスクを扱う。 グラフの連続学習はほとんど探索されておらず、既存のグラフ連続学習アプローチはタスク・インクリメンタル学習のシナリオに限られている。 本稿では,アーキテクチャベースとメモリベースを組み合わせたグラフ連続学習戦略を提案する。 構造学習戦略は強化学習によって推進され、制御ネットワークは、新しいタスクが観測されたときにベースネットワークから追加/実行されるノードの最適な数を決定するように訓練され、十分なネットワーク容量が確保される。 パラメータ学習戦略はダーク・エクスペリエンス・リプレイ(Dark Experience replay)の概念に基づいており、破滅的な忘れ問題に対処する。 本手法は,タスク・インクリメンタル学習とクラスインクリメンタル学習のいずれにおいても,いくつかのグラフ連続学習ベンチマーク問題により数値的に検証される。 近年の論文と比較すると,どちらの設定でも性能が向上している。 実装コードは \url{https://github.com/codexhammer/gcl} で見ることができる。

関連論文リスト

• A Topology-aware Graph Coarsening Framework for Continual Graph Learning [8.136809136959302]
  グラフに関する継続的な学習は、グラフデータがストリーミング形式で到着するグラフニューラルネットワーク(GNN)のトレーニングに対処する。 Experience Replayのような従来の継続的学習戦略は、ストリーミンググラフに適応することができる。 本稿では, TA$mathbbCO$, a (t)opology-(a)ware graph (co)arsening and (co)ntinual learning frameworkを提案する。
  論文  参考訳（メタデータ） (2024-01-05T22:22:13Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• DOTIN: Dropping Task-Irrelevant Nodes for GNNs [119.17997089267124]
  最近のグラフ学習アプローチでは、学習のためのグラフのサイズを減らすためのプール戦略が導入されている。 我々はDOTIN(underlineDrunderlineopping underlineTask-underlineIrrelevant underlineNodes)と呼ばれる新しいアプローチを設計し、グラフのサイズを減らす。 本手法は,グラフ分類やグラフ編集距離を含むグラフレベルのタスクにおいて,GATを約50%高速化する。
  論文  参考訳（メタデータ） (2022-04-28T12:00:39Z)
• Towards Unsupervised Deep Graph Structure Learning [67.58720734177325]
  本稿では,学習したグラフトポロジを外部ガイダンスなしでデータ自身で最適化する,教師なしグラフ構造学習パラダイムを提案する。 具体的には、元のデータから"アンカーグラフ"として学習目標を生成し、対照的な損失を用いてアンカーグラフと学習グラフとの一致を最大化する。
  論文  参考訳（メタデータ） (2022-01-17T11:57:29Z)
• Graph Representation Learning for Multi-Task Settings: a Meta-Learning Approach [5.629161809575013]
  メタ学習に基づくグラフ表現学習のための新しい学習戦略を提案する。 本手法は,複数タスクの同時実行学習において発生する問題を回避する。 我々は,本手法で訓練したモデルが生成した埋め込みを,単一タスクとマルチタスクの両エンドツーエンドモデルに匹敵する,あるいは驚くほど高いパフォーマンスで複数のタスクを実行できることを示す。
  論文  参考訳（メタデータ） (2022-01-10T12:58:46Z)
• Temporal Graph Network Embedding with Causal Anonymous Walks Representations [54.05212871508062]
  本稿では,時間グラフネットワークに基づく動的ネットワーク表現学習のための新しいアプローチを提案する。 評価のために、時間的ネットワーク埋め込みの評価のためのベンチマークパイプラインを提供する。 欧州の大手銀行が提供した実世界のダウンストリームグラフ機械学習タスクにおいて、我々のモデルの適用性と優れた性能を示す。
  論文  参考訳（メタデータ） (2021-08-19T15:39:52Z)
• Co-embedding of Nodes and Edges with Graph Neural Networks [13.020745622327894]
  グラフ埋め込みは、高次元および非ユークリッド特徴空間でデータ構造を変換しエンコードする方法である。 CensNetは一般的なグラフ埋め込みフレームワークで、ノードとエッジの両方を潜在機能空間に埋め込む。 提案手法は,4つのグラフ学習課題における最先端のパフォーマンスを達成または一致させる。
  論文  参考訳（メタデータ） (2020-10-25T22:39:31Z)
• GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
  グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。 自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。 3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-06-17T16:18:35Z)
• Geometrically Principled Connections in Graph Neural Networks [66.51286736506658]
  我々は、幾何学的深層学習の新興分野におけるイノベーションの原動力は、幾何が依然として主要な推進力であるべきだと論じている。 グラフニューラルネットワークとコンピュータグラフィックスとデータ近似モデルとの関係:放射基底関数(RBF) 完全連結層とグラフ畳み込み演算子を組み合わせた新しいビルディングブロックであるアフィンスキップ接続を導入する。
  論文  参考訳（メタデータ） (2020-04-06T13:25:46Z)
• Adversarial Attacks on Graph Neural Networks via Meta Learning [4.139895092509202]
  離散グラフ構造を摂動するノード分類のためのグラフニューラルネットワークのトレーニング時間攻撃について検討する。 私たちのコア原則は、メタグラディエントを使用して、トレーニング時攻撃の根底にある二段階の問題を解決することです。
  論文  参考訳（メタデータ） (2019-02-22T09:20:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。