論文の概要: Boost then Convolve: Gradient Boosting Meets Graph Neural Networks
- arxiv url: http://arxiv.org/abs/2101.08543v1
- Date: Thu, 21 Jan 2021 10:46:41 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-21 08:00:58.793457
- Title: Boost then Convolve: Gradient Boosting Meets Graph Neural Networks
- Title（参考訳）: boost then convolve:gradient boostingがグラフニューラルネットワークと出会う
- Authors: Sergei Ivanov, Liudmila Prokhorenkova
- Abstract要約: グラデーションブースト決定木(gbdt)は,異種データに対して他の機械学習手法よりも優れていることが示されている。
我々は,gbdt と gnn を共同で訓練し,両世界のベストを勝ち取る新しいアーキテクチャを提案する。
我々のモデルは、GNNの勾配更新に新しい木を適合させることにより、エンドツーエンドの最適化の恩恵を受ける。
- 参考スコア（独自算出の注目度）: 6.888700669980625
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph neural networks (GNNs) are powerful models that have been successful in
various graph representation learning tasks. Whereas gradient boosted decision
trees (GBDT) often outperform other machine learning methods when faced with
heterogeneous tabular data. But what approach should be used for graphs with
tabular node features? Previous GNN models have mostly focused on networks with
homogeneous sparse features and, as we show, are suboptimal in the
heterogeneous setting. In this work, we propose a novel architecture that
trains GBDT and GNN jointly to get the best of both worlds: the GBDT model
deals with heterogeneous features, while GNN accounts for the graph structure.
Our model benefits from end-to-end optimization by allowing new trees to fit
the gradient updates of GNN. With an extensive experimental comparison to the
leading GBDT and GNN models, we demonstrate a significant increase in
performance on a variety of graphs with tabular features. The code is
available: https://github.com/nd7141/bgnn .
- Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、様々なグラフ表現学習タスクで成功した強力なモデルである。
一方、GBDTは不均一な表データに直面する場合、他の機械学習手法よりも優れていることが多い。
しかし、グラフノード機能を持つグラフには、どのようなアプローチを使うべきか?
従来のGNNモデルは、均質なスパース特徴を持つネットワークに主に焦点を合わせており、示すように、不均一な設定では準最適である。
本稿では,GBDTモデルが不均一な特徴を扱うのに対して,GNNはグラフ構造を考慮し,GBDTとGNNを併用して両世界を最大限に活用する新しいアーキテクチャを提案する。
我々のモデルは、GNNの勾配更新に新しい木を適合させることにより、エンドツーエンドの最適化の恩恵を受ける。
主要なGBDTモデルとGNNモデルとの比較により,グラフ特徴を持つ多種多様グラフの性能が顕著に向上したことを示す。
コードはhttps://github.com/nd7141/bgnn .com/。
関連論文リスト
- Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。
GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。
提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
論文 参考訳（メタデータ） (2022-03-03T09:53:53Z) - EIGNN: Efficient Infinite-Depth Graph Neural Networks [51.97361378423152]
グラフニューラルネットワーク(GNN)は多くのアプリケーションでグラフ構造化データのモデリングに広く利用されている。
この制限により、無限深度GNNモデルを提案し、これをEIGNN(Efficient Infinite-Depth Graph Neural Networks)と呼ぶ。
EIGNNは、最近のベースラインよりも長距離依存関係をキャプチャする能力が優れており、常に最先端のパフォーマンスを実現していることを示す。
論文 参考訳（メタデータ） (2022-02-22T08:16:58Z) - Graph4Rec: A Universal Toolkit with Graph Neural Networks for
Recommender Systems [5.030752995016985]
Graph4RecはGNNモデルをトレーニングするためのパラダイムを統一する汎用ツールキットである。
我々は、異なるGNNモデルの性能を比較するために、体系的で包括的な実験を行う。
論文 参考訳（メタデータ） (2021-12-02T07:56:13Z) - Network In Graph Neural Network [9.951298152023691]
本稿では,任意のGNNモデルに対して,モデルをより深くすることでモデル容量を増大させるモデルに依存しない手法を提案する。
GNNレイヤの追加や拡張の代わりに、NGNNは、各GNNレイヤに非線形フィードフォワードニューラルネットワーク層を挿入することで、GNNモデルを深めている。
論文 参考訳（メタデータ） (2021-11-23T03:58:56Z) - Node Feature Extraction by Self-Supervised Multi-scale Neighborhood
Prediction [123.20238648121445]
我々は、新しい自己教師型学習フレームワーク、グラフ情報支援ノード機能exTraction (GIANT)を提案する。
GIANT は eXtreme Multi-label Classification (XMC) 形式を利用しており、これはグラフ情報に基づいた言語モデルの微調整に不可欠である。
我々は,Open Graph Benchmarkデータセット上での標準GNNパイプラインよりもGIANTの方が優れた性能を示す。
論文 参考訳（メタデータ） (2021-10-29T19:55:12Z) - ACE-HGNN: Adaptive Curvature Exploration Hyperbolic Graph Neural Network [72.16255675586089]
本稿では、入力グラフと下流タスクに基づいて最適な曲率を適応的に学習する適応曲率探索ハイパーボリックグラフニューラルネットワークACE-HGNNを提案する。
複数の実世界のグラフデータセットの実験は、競争性能と優れた一般化能力を備えたモデル品質において、顕著で一貫したパフォーマンス改善を示す。
論文 参考訳（メタデータ） (2021-10-15T07:18:57Z) - Position-based Hash Embeddings For Scaling Graph Neural Networks [8.87527266373087]
グラフニューラルネットワーク(GNN)は、ノードのエゴネットワークのトポロジとエゴネットワークのノードの特徴を考慮したノード表現を演算する。
ノードが高品質な機能を持っていない場合、GNNはノードの埋め込みを計算するために埋め込み層を学び、それらを入力機能として使用する。
この埋め込みレイヤに関連するメモリを削減するため、NLPやレコメンダシステムのようなアプリケーションで一般的に使用されるハッシュベースのアプローチが利用可能である。
本稿では,グラフ内のノードの位置を利用して,必要なメモリを大幅に削減する手法を提案する。
論文 参考訳（メタデータ） (2021-08-31T22:42:25Z) - Learnt Sparsification for Interpretable Graph Neural Networks [5.527927312898106]
不要な隣人を除去することにより、基礎となるグラフを明示的にスパース化するための、Kedgeと呼ばれる新しい手法を提案する。
Kedgeは、任意のGNNでトレーニングされたモジュール方式でエッジマスクを学習することで、勾配ベースの最適化を実現する。
我々は,GNN層の増加に伴うタスク性能の維持により,深いGNNにおける過度なスムース現象に対して,Kedgeが効果的に対処可能であることを示す。
論文 参考訳（メタデータ） (2021-06-23T16:04:25Z) - Breaking the Limit of Graph Neural Networks by Improving the
Assortativity of Graphs with Local Mixing Patterns [19.346133577539394]
グラフニューラルネットワーク(GNN)は、複数のグラフベースの学習タスクで大きな成功を収めています。
入力グラフを近接情報と構造情報の両方を含む計算グラフに変換することに集中する。
構造と近接度を適応的に選択することで,様々な混合条件下での性能が向上することを示す。
論文 参考訳（メタデータ） (2021-06-11T19:18:34Z) - Higher-Order Attribute-Enhancing Heterogeneous Graph Neural Networks [67.25782890241496]
異種ネットワーク表現学習のための高次属性強化グラフニューラルネットワーク(HAEGNN)を提案する。
HAEGNNは、リッチで異質なセマンティクスのためのメタパスとメタグラフを同時に組み込む。
ノード分類、ノードクラスタリング、可視化における最先端の手法よりも優れたパフォーマンスを示す。
論文 参考訳（メタデータ） (2021-04-16T04:56:38Z) - A Unified Lottery Ticket Hypothesis for Graph Neural Networks [82.31087406264437]
本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。
グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
論文 参考訳（メタデータ） (2021-02-12T21:52:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。