論文の概要: Multi-task Self-supervised Graph Neural Networks Enable Stronger Task Generalization

• arxiv url: http://arxiv.org/abs/2210.02016v1
• Date: Wed, 5 Oct 2022 04:09:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-06 14:26:51.277482
• Title: Multi-task Self-supervised Graph Neural Networks Enable Stronger Task Generalization
• Title（参考訳）: より強力なタスク一般化を実現するマルチタスク自己教師付きグラフニューラルネットワーク
• Authors: Mingxuan Ju, Tong Zhao, Qianlong Wen, Wenhao Yu, Neil Shah, Yanfang Ye, Chuxu Zhang
• Abstract要約: 近年,グラフニューラルネットワーク(GNN)のための自己教師付き学習(SSL)が機械学習コミュニティから注目を集めている。 GNNの従来のSSLフレームワークの弱点の1つは、単一の哲学から学ぶことである。
• 参考スコア（独自算出の注目度）: 40.265515914447924
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised learning (SSL) for graph neural networks (GNNs) has attracted increasing attention from the graph machine learning community in recent years, owing to its capability to learn performant node embeddings without costly label information. One weakness of conventional SSL frameworks for GNNs is that they learn through a single philosophy, such as mutual information maximization or generative reconstruction. When applied to various downstream tasks, these frameworks rarely perform equally well for every task, because one philosophy may not span the extensive knowledge required for all tasks. In light of this, we introduce ParetoGNN, a multi-task SSL framework for node representation learning over graphs. Specifically, ParetoGNN is self-supervised by manifold pretext tasks observing multiple philosophies. To reconcile different philosophies, we explore a multiple-gradient descent algorithm, such that ParetoGNN actively learns from every pretext task while minimizing potential conflicts. We conduct comprehensive experiments over four downstream tasks (i.e., node classification, node clustering, link prediction, and partition prediction), and our proposal achieves the best overall performance across tasks on 11 widely adopted benchmark datasets. Besides, we observe that learning from multiple philosophies enhances not only the task generalization but also the single task performance, demonstrating that ParetoGNN achieves better task generalization via the disjoint yet complementary knowledge learned from different philosophies.
• Abstract（参考訳）: 近年、グラフニューラルネットワーク(GNN)のための自己教師付き学習(SSL)がグラフ機械学習コミュニティから注目を集めている。 GNNの従来のSSLフレームワークの弱点の1つは、相互情報の最大化や生成的再構築のような単一の哲学を通して学習することである。 下流の様々なタスクに適用する場合、これらのフレームワークは全てのタスクに対して等しく機能することは滅多にない。 そこで我々は,グラフ上のノード表現学習のためのマルチタスクSSLフレームワークParetoGNNを紹介した。 特に、ParetoGNNは、複数の哲学を観察する多様体プレテキストタスクによって自己監督されている。 異なる哲学を整理するために,ParetoGNNは潜在的な対立を最小限に抑えつつ,あらゆる前提課題から積極的に学習する多段階降下アルゴリズムを探索する。 我々は4つの下流タスク(ノード分類、ノードクラスタリング、リンク予測、パーティション予測)に対して総合的な実験を行い、提案手法は広く採用されている11のベンチマークデータセット上でタスク全体で最高のパフォーマンスを達成する。 さらに、複数の哲学からの学習はタスク一般化だけでなく、単一タスクのパフォーマンスも向上し、ParetoGNNは、異なる哲学から学んだ相補的知識を通じて、より良いタスク一般化を実現することを示す。

関連論文リスト

• Can Graph Learning Improve Planning in LLM-based Agents? [61.47027387839096]
  言語エージェントにおけるタスクプランニングは、大規模言語モデル(LLM)の開発とともに重要な研究トピックとして浮上している。 本稿では,課題計画のためのグラフ学習に基づく手法について検討する。 我々のグラフ学習への関心は、注意のバイアスと自己回帰的損失が、グラフ上の意思決定を効果的にナビゲートするLLMの能力を妨げているという理論的な発見に起因している。
  論文  参考訳（メタデータ） (2024-05-29T14:26:24Z)
• ULTRA-DP: Unifying Graph Pre-training with Multi-task Graph Dual Prompt [67.8934749027315]
  本稿では,タスク識別と位置識別をGNNに注入する,グラフハイブリッド事前学習のための統合フレームワークを提案する。 また,約$k$-nearest隣人のグループに基づいた,新しい事前学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-10-23T12:11:13Z)
• Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
  本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。 私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
  論文  参考訳（メタデータ） (2023-07-13T16:39:08Z)
• Self-Supervised Graph Neural Network for Multi-Source Domain Adaptation [51.21190751266442]
  ドメイン適応(DA)は、テストデータがトレーニングデータの同じ分布に完全に従わない場合に、シナリオに取り組む。 大規模未ラベルサンプルから学習することで、自己教師型学習がディープラーニングの新しいトレンドとなっている。 我々は,より効果的なタスク間情報交換と知識共有を実現するために,新しい textbfSelf-textbf Supervised textbfGraph Neural Network (SSG) を提案する。
  論文  参考訳（メタデータ） (2022-04-08T03:37:56Z)
• Graph Representation Learning for Multi-Task Settings: a Meta-Learning Approach [5.629161809575013]
  メタ学習に基づくグラフ表現学習のための新しい学習戦略を提案する。 本手法は,複数タスクの同時実行学習において発生する問題を回避する。 我々は,本手法で訓練したモデルが生成した埋め込みを,単一タスクとマルチタスクの両エンドツーエンドモデルに匹敵する,あるいは驚くほど高いパフォーマンスで複数のタスクを実行できることを示す。
  論文  参考訳（メタデータ） (2022-01-10T12:58:46Z)
• Automated Self-Supervised Learning for Graphs [37.14382990139527]
  本研究の目的は、複数のプリテキストタスクを効果的に活用する方法を検討することである。 我々は、多くの実世界のグラフ、すなわちホモフィリーの鍵となる原理を、様々な自己教師付きプレテキストタスクを効果的に探索するためのガイダンスとして利用している。 本稿では,自己教師型タスクの組み合わせを自動的に検索するAutoSSLフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-10T03:09:20Z)
• A Meta-Learning Approach for Graph Representation Learning in Multi-Task Settings [7.025709586759655]
  本稿では,マルチタスクノード組込みが可能な新しいメタ学習戦略を提案する。 また,本手法で生成した組込みは,従来のモデルと同等あるいは高い性能で複数のタスクを実行することができることを示した。
  論文  参考訳（メタデータ） (2020-12-12T08:36:47Z)
• Self-supervised Learning on Graphs: Deep Insights and New Direction [66.78374374440467]
  自己教師付き学習(SSL)は、ラベルのないデータにドメイン固有のプレテキストタスクを作成することを目的としている。 グラフニューラルネットワーク(GNN)の形でのグラフ領域へのディープラーニングの一般化への関心が高まっている。
  論文  参考訳（メタデータ） (2020-06-17T20:30:04Z)
• Deep Multi-Task Augmented Feature Learning via Hierarchical Graph Neural Network [4.121467410954028]
  深層マルチタスク学習のための拡張機能を学習するための階層型グラフニューラルネットワークを提案する。 実世界のデータステスの実験では、この戦略を使用する際の大幅なパフォーマンス向上が示されている。
  論文  参考訳（メタデータ） (2020-02-12T06:02:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。