論文の概要: Deep Multi-Task Augmented Feature Learning via Hierarchical Graph Neural Network

• arxiv url: http://arxiv.org/abs/2002.04813v1
• Date: Wed, 12 Feb 2020 06:02:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-01 19:09:50.053573
• Title: Deep Multi-Task Augmented Feature Learning via Hierarchical Graph Neural Network
• Title（参考訳）: 階層型グラフニューラルネットワークによる深層マルチタスク拡張機能学習
• Authors: Pengxin Guo, Chang Deng, Linjie Xu, Xiaonan Huang, Yu Zhang
• Abstract要約: 深層マルチタスク学習のための拡張機能を学習するための階層型グラフニューラルネットワークを提案する。 実世界のデータステスの実験では、この戦略を使用する際の大幅なパフォーマンス向上が示されている。
• 参考スコア（独自算出の注目度）: 4.121467410954028
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep multi-task learning attracts much attention in recent years as it achieves good performance in many applications. Feature learning is important to deep multi-task learning for sharing common information among tasks. In this paper, we propose a Hierarchical Graph Neural Network (HGNN) to learn augmented features for deep multi-task learning. The HGNN consists of two-level graph neural networks. In the low level, an intra-task graph neural network is responsible of learning a powerful representation for each data point in a task by aggregating its neighbors. Based on the learned representation, a task embedding can be generated for each task in a similar way to max pooling. In the second level, an inter-task graph neural network updates task embeddings of all the tasks based on the attention mechanism to model task relations. Then the task embedding of one task is used to augment the feature representation of data points in this task. Moreover, for classification tasks, an inter-class graph neural network is introduced to conduct similar operations on a finer granularity, i.e., the class level, to generate class embeddings for each class in all the tasks use class embeddings to augment the feature representation. The proposed feature augmentation strategy can be used in many deep multi-task learning models. we analyze the HGNN in terms of training and generalization losses. Experiments on real-world datastes show the significant performance improvement when using this strategy.
• Abstract（参考訳）: 深層マルチタスク学習は、多くのアプリケーションで優れたパフォーマンスを達成するため、近年多くの注目を集めている。 タスク間で共通情報を共有するために、機能学習は深層マルチタスク学習にとって重要である。 本稿では,階層型グラフニューラルネットワーク(HGNN)を提案する。 HGNNは2レベルグラフニューラルネットワークで構成されている。 低レベルでは、タスク内グラフニューラルネットワークは、隣接するデータを集約することで、タスク内の各データポイントに対する強力な表現を学習する責務を負う。 学習した表現に基づいて、maxプーリングと同様の方法で各タスクに対してタスク埋め込みを生成することができる。 第2のレベルでは、タスク関係をモデル化するアテンションメカニズムに基づいて、タスクのすべてのタスクの埋め込みをタスク間ニューラルネットワークが更新する。 次に、1つのタスクのタスク埋め込みを使用して、このタスク内のデータポイントの特徴表現を強化します。 さらに、分類タスクでは、クラス間グラフニューラルネットワークを導入して、より細かい粒度、すなわちクラスレベルで同様の操作を行い、すべてのタスクで各クラスに対するクラス埋め込みを生成し、その特徴表現を増強するためにクラス埋め込みを使用する。 提案された機能拡張戦略は、多くの深層マルチタスク学習モデルで使用できる。 我々はHGNNを訓練と一般化損失の観点から分析する。 実世界のデータステスの実験は、この戦略を使用する際の大幅なパフォーマンス向上を示している。

関連論文リスト

• ULTRA-DP: Unifying Graph Pre-training with Multi-task Graph Dual Prompt [67.8934749027315]
  本稿では,タスク識別と位置識別をGNNに注入する,グラフハイブリッド事前学習のための統合フレームワークを提案する。 また,約$k$-nearest隣人のグループに基づいた,新しい事前学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-10-23T12:11:13Z)
• Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
  本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。 私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
  論文  参考訳（メタデータ） (2023-07-13T16:39:08Z)
• Relational Multi-Task Learning: Modeling Relations between Data and Tasks [84.41620970886483]
  マルチタスク学習における主要な前提は、推論時にモデルが与えられたデータポイントにのみアクセスできるが、他のタスクからのデータポイントのラベルにはアクセスできないことである。 ここでは、補助的なタスクからデータポイントラベルを活用してより正確な予測を行う、新しいリレーショナルマルチタスク学習環境を提案する。 私たちはMetaLinkを開発し、そこではデータポイントとタスクを接続するナレッジグラフを構築します。
  論文  参考訳（メタデータ） (2023-03-14T07:15:41Z)
• Multi-task Self-supervised Graph Neural Networks Enable Stronger Task Generalization [40.265515914447924]
  近年,グラフニューラルネットワーク(GNN)のための自己教師付き学習(SSL)が機械学習コミュニティから注目を集めている。 GNNの従来のSSLフレームワークの弱点の1つは、単一の哲学から学ぶことである。
  論文  参考訳（メタデータ） (2022-10-05T04:09:38Z)
• Backbones-Review: Feature Extraction Networks for Deep Learning and Deep Reinforcement Learning Approaches [3.255610188565679]
  CNNは、大規模なデータサイズに取り組むだけでなく、特定のタスクのさまざまなシナリオをカバーすることができる。 多くのネットワークが提案され、あらゆるAIタスクでDLモデルに使用される有名なネットワークとなっている。 バックボーンは、他の多くのタスクでトレーニングされた既知のネットワークであり、その効果を実証する。
  論文  参考訳（メタデータ） (2022-06-16T09:18:34Z)
• Graph Representation Learning for Multi-Task Settings: a Meta-Learning Approach [5.629161809575013]
  メタ学習に基づくグラフ表現学習のための新しい学習戦略を提案する。 本手法は,複数タスクの同時実行学習において発生する問題を回避する。 我々は,本手法で訓練したモデルが生成した埋め込みを,単一タスクとマルチタスクの両エンドツーエンドモデルに匹敵する,あるいは驚くほど高いパフォーマンスで複数のタスクを実行できることを示す。
  論文  参考訳（メタデータ） (2022-01-10T12:58:46Z)
• Graph-Based Neural Network Models with Multiple Self-Supervised Auxiliary Tasks [79.28094304325116]
  グラフ畳み込みネットワークは、構造化されたデータポイント間の関係をキャプチャするための最も有望なアプローチである。 マルチタスク方式でグラフベースニューラルネットワークモデルを学習するための3つの新しい自己教師付き補助タスクを提案する。
  論文  参考訳（メタデータ） (2020-11-14T11:09:51Z)
• GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
  グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。 自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。 3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-06-17T16:18:35Z)
• MTI-Net: Multi-Scale Task Interaction Networks for Multi-Task Learning [82.62433731378455]
  特定のスケールで高い親和性を持つタスクは、他のスケールでこの動作を維持することが保証されていないことを示す。 本稿では,この発見に基づく新しいアーキテクチャ MTI-Net を提案する。
  論文  参考訳（メタデータ） (2020-01-19T21:02:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。