論文の概要: Graph Representation Learning for Multi-Task Settings: a Meta-Learning Approach

• arxiv url: http://arxiv.org/abs/2201.03326v1
• Date: Mon, 10 Jan 2022 12:58:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-11 16:50:22.061105
• Title: Graph Representation Learning for Multi-Task Settings: a Meta-Learning Approach
• Title（参考訳）: マルチタスク設定のためのグラフ表現学習:メタ学習アプローチ
• Authors: Davide Buffelli, Fabio Vandin
• Abstract要約: メタ学習に基づくグラフ表現学習のための新しい学習戦略を提案する。 本手法は,複数タスクの同時実行学習において発生する問題を回避する。 我々は,本手法で訓練したモデルが生成した埋め込みを,単一タスクとマルチタスクの両エンドツーエンドモデルに匹敵する,あるいは驚くほど高いパフォーマンスで複数のタスクを実行できることを示す。
• 参考スコア（独自算出の注目度）: 5.629161809575013
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Neural Networks (GNNs) have become the state-of-the-art method for many applications on graph structured data. GNNs are a framework for graph representation learning, where a model learns to generate low dimensional node embeddings that encapsulate structural and feature-related information. GNNs are usually trained in an end-to-end fashion, leading to highly specialized node embeddings. While this approach achieves great results in the single-task setting, generating node embeddings that can be used to perform multiple tasks (with performance comparable to single-task models) is still an open problem. We propose a novel training strategy for graph representation learning, based on meta-learning, which allows the training of a GNN model capable of producing multi-task node embeddings. Our method avoids the difficulties arising when learning to perform multiple tasks concurrently by, instead, learning to quickly (i.e. with a few steps of gradient descent) adapt to multiple tasks singularly. We show that the embeddings produced by a model trained with our method can be used to perform multiple tasks with comparable or, surprisingly, even higher performance than both single-task and multi-task end-to-end models.
• Abstract（参考訳）: グラフニューラルネットワーク(gnns)は、グラフ構造化データに関する多くのアプリケーションで最先端の手法となっている。 gnnはグラフ表現学習のフレームワークであり、モデルが構造的および特徴的情報をカプセル化する低次元ノード埋め込みを生成することを学ぶ。 GNNは通常、エンドツーエンドでトレーニングされ、高度に専門化されたノードの埋め込みにつながる。 このアプローチはシングルタスク設定において大きな結果をもたらすが、複数のタスク(シングルタスクモデルに匹敵するパフォーマンスを持つ)の実行に使用できるノード埋め込みの生成は依然として未解決の問題である。 本稿では,マルチタスクノード組込みが可能なgnnモデルのトレーニングを可能にするメタラーニングに基づく,グラフ表現学習のための新しいトレーニング戦略を提案する。 本手法は,複数タスクの同時実行を学習する際の難しさを回避し,その代わりに,複数のタスクの同時実行を学習する(勾配降下のいくつかのステップを含む)。 我々は,本手法で訓練したモデルが生成した埋め込みを,単一タスクとマルチタスクの両エンドツーエンドモデルに匹敵する,あるいは驚くほど高いパフォーマンスで複数のタスクを実行できることを示す。

関連論文リスト

• Can Graph Learning Improve Planning in LLM-based Agents? [61.47027387839096]
  言語エージェントにおけるタスクプランニングは、大規模言語モデル(LLM)の開発とともに重要な研究トピックとして浮上している。 本稿では,課題計画のためのグラフ学習に基づく手法について検討する。 我々のグラフ学習への関心は、注意のバイアスと自己回帰的損失が、グラフ上の意思決定を効果的にナビゲートするLLMの能力を妨げているという理論的な発見に起因している。
  論文  参考訳（メタデータ） (2024-05-29T14:26:24Z)
• ULTRA-DP: Unifying Graph Pre-training with Multi-task Graph Dual Prompt [67.8934749027315]
  本稿では,タスク識別と位置識別をGNNに注入する,グラフハイブリッド事前学習のための統合フレームワークを提案する。 また,約$k$-nearest隣人のグループに基づいた,新しい事前学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-10-23T12:11:13Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• All in One: Multi-task Prompting for Graph Neural Networks [30.457491401821652]
  本稿では,グラフモデルのための新しいマルチタスクプロンプト手法を提案する。 まず、グラフプロンプトと言語プロンプトのフォーマットを、プロンプトトークン、トークン構造、挿入パターンで統一する。 次に、様々なグラフアプリケーションのタスク空間を調査し、下流の問題をグラフレベルのタスクに再構成する。
  論文  参考訳（メタデータ） (2023-07-04T06:27:31Z)
• Task-Equivariant Graph Few-shot Learning [7.78018583713337]
  グラフニューラルネットワーク(GNN)は、少数ショットノード分類として知られる、限られた数のラベル付きノードでノードを分類できることが重要である。 本稿では,新しいアプローチであるタスク・平等グラフ数ショット学習(TEG)フレームワークを提案する。 我々のTEGフレームワークは、限られた数のトレーニングメタタスクを使用して、移行可能なタスク適応戦略を学習することを可能にする。
  論文  参考訳（メタデータ） (2023-05-30T05:47:28Z)
• Reinforced Continual Learning for Graphs [18.64268861430314]
  本稿では,アーキテクチャベースとメモリベースのアプローチを組み合わせたグラフ連続学習戦略を提案する。 タスク・インクリメンタル・ラーニングとクラス・インクリメンタル・ラーニング・セッティングの両方において,いくつかのグラフ連続学習ベンチマーク問題を用いて数値検証を行った。
  論文  参考訳（メタデータ） (2022-09-04T07:49:59Z)
• Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
  Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。 他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。 我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-03-30T23:16:07Z)
• A Meta-Learning Approach for Graph Representation Learning in Multi-Task Settings [7.025709586759655]
  本稿では,マルチタスクノード組込みが可能な新しいメタ学習戦略を提案する。 また,本手法で生成した組込みは,従来のモデルと同等あるいは高い性能で複数のタスクを実行することができることを示した。
  論文  参考訳（メタデータ） (2020-12-12T08:36:47Z)
• Graph-Based Neural Network Models with Multiple Self-Supervised Auxiliary Tasks [79.28094304325116]
  グラフ畳み込みネットワークは、構造化されたデータポイント間の関係をキャプチャするための最も有望なアプローチである。 マルチタスク方式でグラフベースニューラルネットワークモデルを学習するための3つの新しい自己教師付き補助タスクを提案する。
  論文  参考訳（メタデータ） (2020-11-14T11:09:51Z)
• GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
  グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。 自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。 3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-06-17T16:18:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。