論文の概要: Graph Representation Learning for Multi-Task Settings: a Meta-Learning Approach

• arxiv url: http://arxiv.org/abs/2201.03326v1
• Date: Mon, 10 Jan 2022 12:58:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-11 16:50:22.061105
• Title: Graph Representation Learning for Multi-Task Settings: a Meta-Learning Approach
• Title（参考訳）: マルチタスク設定のためのグラフ表現学習:メタ学習アプローチ
• Authors: Davide Buffelli, Fabio Vandin
• Abstract要約: メタ学習に基づくグラフ表現学習のための新しい学習戦略を提案する。 本手法は,複数タスクの同時実行学習において発生する問題を回避する。 我々は,本手法で訓練したモデルが生成した埋め込みを,単一タスクとマルチタスクの両エンドツーエンドモデルに匹敵する,あるいは驚くほど高いパフォーマンスで複数のタスクを実行できることを示す。
• 参考スコア（独自算出の注目度）: 5.629161809575013
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Neural Networks (GNNs) have become the state-of-the-art method for many applications on graph structured data. GNNs are a framework for graph representation learning, where a model learns to generate low dimensional node embeddings that encapsulate structural and feature-related information. GNNs are usually trained in an end-to-end fashion, leading to highly specialized node embeddings. While this approach achieves great results in the single-task setting, generating node embeddings that can be used to perform multiple tasks (with performance comparable to single-task models) is still an open problem. We propose a novel training strategy for graph representation learning, based on meta-learning, which allows the training of a GNN model capable of producing multi-task node embeddings. Our method avoids the difficulties arising when learning to perform multiple tasks concurrently by, instead, learning to quickly (i.e. with a few steps of gradient descent) adapt to multiple tasks singularly. We show that the embeddings produced by a model trained with our method can be used to perform multiple tasks with comparable or, surprisingly, even higher performance than both single-task and multi-task end-to-end models.
• Abstract（参考訳）: グラフニューラルネットワーク(gnns)は、グラフ構造化データに関する多くのアプリケーションで最先端の手法となっている。 gnnはグラフ表現学習のフレームワークであり、モデルが構造的および特徴的情報をカプセル化する低次元ノード埋め込みを生成することを学ぶ。 GNNは通常、エンドツーエンドでトレーニングされ、高度に専門化されたノードの埋め込みにつながる。 このアプローチはシングルタスク設定において大きな結果をもたらすが、複数のタスク(シングルタスクモデルに匹敵するパフォーマンスを持つ)の実行に使用できるノード埋め込みの生成は依然として未解決の問題である。 本稿では,マルチタスクノード組込みが可能なgnnモデルのトレーニングを可能にするメタラーニングに基づく,グラフ表現学習のための新しいトレーニング戦略を提案する。 本手法は,複数タスクの同時実行を学習する際の難しさを回避し,その代わりに,複数のタスクの同時実行を学習する(勾配降下のいくつかのステップを含む)。 我々は,本手法で訓練したモデルが生成した埋め込みを,単一タスクとマルチタスクの両エンドツーエンドモデルに匹敵する,あるいは驚くほど高いパフォーマンスで複数のタスクを実行できることを示す。

関連論文リスト

• Dual-level Mixup for Graph Few-shot Learning with Fewer Tasks [23.07584018576066]
  We propose a SiMple yet effectIve approach for graph few-shot Learning with fEwer task, named SMILE。 メタ学習において利用可能なノードとタスクを同時に強化するために、マルチレベルのミックスアップ戦略を導入し、タスク内とタスク間ミックスアップの両方を包含する。 経験的に言えば、SMILEは、ドメイン内設定とクロスドメイン設定で評価されたすべてのデータセットに対して、他の競合モデルよりも大きなマージンで、一貫して優れています。
  論文  参考訳（メタデータ） (2025-02-19T23:59:05Z)
• Towards Graph Foundation Models: Learning Generalities Across Graphs via Task-Trees [50.78679002846741]
  グラフにおけるクロスタスクの一般性を学習するための新しいアプローチを提案する。 グラフ上のタスク空間を整列させるための基本的な学習インスタンスとしてタスクツリーを提案する。 その結果,グラフニューラルネットワークが多種多様なタスクツリーで事前訓練された場合,伝達可能な知識を取得することが示唆された。
  論文  参考訳（メタデータ） (2024-12-21T02:07:43Z)
• Can Graph Neural Networks Learn Language with Extremely Weak Text Supervision? [62.12375949429938]
  CLIPパイプラインによる転送可能なグラフニューラルネットワーク(GNN)の構築は、3つの根本的な問題のために難しい。 我々は、マルチモーダル・プロンプト・ラーニングを利用して、事前学習したGNNを下流のタスクやデータに効果的に適応させる。 我々の新しいパラダイムは、グラフプロンプトとテキストプロンプトの両方を同時に学習することで、Large Language Models(LLM)と直接同じ空間にグラフを埋め込む。
  論文  参考訳（メタデータ） (2024-12-11T08:03:35Z)
• Can Graph Learning Improve Planning in LLM-based Agents? [61.47027387839096]
  言語エージェントにおけるタスクプランニングは、大規模言語モデル(LLM)の開発とともに重要な研究トピックとして浮上している。 本稿では,課題計画のためのグラフ学習に基づく手法について検討する。 我々のグラフ学習への関心は、注意のバイアスと自己回帰的損失が、グラフ上の意思決定を効果的にナビゲートするLLMの能力を妨げているという理論的な発見に起因している。
  論文  参考訳（メタデータ） (2024-05-29T14:26:24Z)
• ULTRA-DP: Unifying Graph Pre-training with Multi-task Graph Dual Prompt [67.8934749027315]
  本稿では,タスク識別と位置識別をGNNに注入する,グラフハイブリッド事前学習のための統合フレームワークを提案する。 また,約$k$-nearest隣人のグループに基づいた,新しい事前学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-10-23T12:11:13Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• Task-Equivariant Graph Few-shot Learning [7.78018583713337]
  グラフニューラルネットワーク(GNN)は、少数ショットノード分類として知られる、限られた数のラベル付きノードでノードを分類できることが重要である。 本稿では,新しいアプローチであるタスク・平等グラフ数ショット学習(TEG)フレームワークを提案する。 我々のTEGフレームワークは、限られた数のトレーニングメタタスクを使用して、移行可能なタスク適応戦略を学習することを可能にする。
  論文  参考訳（メタデータ） (2023-05-30T05:47:28Z)
• Reinforced Continual Learning for Graphs [18.64268861430314]
  本稿では,アーキテクチャベースとメモリベースのアプローチを組み合わせたグラフ連続学習戦略を提案する。 タスク・インクリメンタル・ラーニングとクラス・インクリメンタル・ラーニング・セッティングの両方において,いくつかのグラフ連続学習ベンチマーク問題を用いて数値検証を行った。
  論文  参考訳（メタデータ） (2022-09-04T07:49:59Z)
• A Meta-Learning Approach for Graph Representation Learning in Multi-Task Settings [7.025709586759655]
  本稿では,マルチタスクノード組込みが可能な新しいメタ学習戦略を提案する。 また,本手法で生成した組込みは,従来のモデルと同等あるいは高い性能で複数のタスクを実行することができることを示した。
  論文  参考訳（メタデータ） (2020-12-12T08:36:47Z)
• Graph-Based Neural Network Models with Multiple Self-Supervised Auxiliary Tasks [79.28094304325116]
  グラフ畳み込みネットワークは、構造化されたデータポイント間の関係をキャプチャするための最も有望なアプローチである。 マルチタスク方式でグラフベースニューラルネットワークモデルを学習するための3つの新しい自己教師付き補助タスクを提案する。
  論文  参考訳（メタデータ） (2020-11-14T11:09:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。