Fugu-MT 論文翻訳(概要): LiGNN: Graph Neural Networks at LinkedIn

論文の概要: LiGNN: Graph Neural Networks at LinkedIn

arxiv url: http://arxiv.org/abs/2402.11139v1
Date: Sat, 17 Feb 2024 00:10:33 GMT
ステータス: 処理完了
システム内更新日: 2024-02-20 23:15:15.383216
Title: LiGNN: Graph Neural Networks at LinkedIn
Title（参考訳）: LiGNN: LinkedInのグラフニューラルネットワーク
Authors: Fedor Borisyuk, Shihai He, Yunbo Ouyang, Morteza Ramezani, Peng Du, Xiaochen Hou, Chengming Jiang, Nitin Pasumarthy, Priya Bannur, Birjodh Tiwana, Ping Liu, Siddharth Dangi, Daqi Sun, Zhoutao Pei, Xiao Shi, Sirou Zhu, Qianqi Shen, Kuang-Hsuan Lee, David Stein, Baolei Li, Haichao Wei, Amol Ghoting, Souvik Ghosh
Abstract要約: 本稿では,GNN表現学習の品質をアルゴリズム的に改善する手法を提案する。 LinkedInのグラフに関する大規模なトレーニングを7倍に向上させた経緯を説明します。私たちは、A/Bテストから集めたデプロイメントの教訓と学習を要約します。
参考スコア（独自算出の注目度）: 14.113156848246222
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this paper, we present LiGNN, a deployed large-scale Graph Neural Networks (GNNs) Framework. We share our insight on developing and deployment of GNNs at large scale at LinkedIn. We present a set of algorithmic improvements to the quality of GNN representation learning including temporal graph architectures with long term losses, effective cold start solutions via graph densification, ID embeddings and multi-hop neighbor sampling. We explain how we built and sped up by 7x our large-scale training on LinkedIn graphs with adaptive sampling of neighbors, grouping and slicing of training data batches, specialized shared-memory queue and local gradient optimization. We summarize our deployment lessons and learnings gathered from A/B test experiments. The techniques presented in this work have contributed to an approximate relative improvements of 1% of Job application hearing back rate, 2% Ads CTR lift, 0.5% of Feed engaged daily active users, 0.2% session lift and 0.1% weekly active user lift from people recommendation. We believe that this work can provide practical solutions and insights for engineers who are interested in applying Graph neural networks at large scale.
Abstract（参考訳）: 本稿では,大規模グラフニューラルネットワーク(gnns)フレームワークであるlignnについて述べる。私たちはLinkedInで大規模にGNNの開発と展開に関する洞察を共有しています。本稿では,長期的損失を伴う時間グラフアーキテクチャ,グラフ密度化による効率的なコールドスタートソリューション,ID埋め込み,マルチホップ近傍サンプリングなど,GNN表現学習の品質向上のためのアルゴリズム的改善を提案する。私たちは、隣人の適応的なサンプリング、トレーニングデータバッチのグルーピングとスライシング、特別な共有メモリキュー、ローカル勾配最適化によって、linkedinグラフの大規模トレーニングを7倍で構築し、スピードアップした方法を説明します。 A/Bテストから集めたデプロイメントの教訓と学習を要約します。この研究で示された技術は、ジョブアプリケーションの聴覚バックレートの1%、広告CTRリフトの2%、フィードアクティブユーザーの0.5%、セッションリフト0.2%、週刊アクティブユーザリフト0.1%の相対的な改善に寄与している。この研究は、グラフニューラルネットワークを大規模に適用することに関心のあるエンジニアに、実用的なソリューションと洞察を提供するものだと考えています。

関連論文リスト

SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
論文参考訳（メタデータ） (2023-08-03T07:00:04Z)
Graph Neural Networks Provably Benefit from Structural Information: A Feature Learning Perspective [53.999128831324576]
グラフニューラルネットワーク(GNN)は、グラフ表現学習の先駆けとなった。本研究では,特徴学習理論の文脈におけるグラフ畳み込みの役割について検討する。
論文参考訳（メタデータ） (2023-06-24T10:21:11Z)
Unlearning Graph Classifiers with Limited Data Resources [39.29148804411811]
制御されたデータ削除は、データに敏感なWebアプリケーションのための機械学習モデルの重要機能になりつつある。グラフニューラルネットワーク(GNN)の効率的な機械学習を実現する方法はまだほとんど知られていない。我々の主な貢献は GST に基づく非線形近似グラフアンラーニング法である。第2の貢献は、提案した未学習機構の計算複雑性の理論解析である。第3のコントリビューションは広範囲なシミュレーションの結果であり、削除要求毎のGNNの完全再トレーニングと比較して、新しいGSTベースのアプローチは平均10.38倍のスピードアップを提供する。
論文参考訳（メタデータ） (2022-11-06T20:46:50Z)
Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
論文参考訳（メタデータ） (2022-03-03T09:53:53Z)
BGL: GPU-Efficient GNN Training by Optimizing Graph Data I/O and Preprocessing [0.0]
グラフニューラルネットワーク(GNN)は、ディープニューラルネットワーク(DNN)の成功を非ユークリッドグラフデータに拡張した。既存のシステムは、数十億のノードとエッジを持つ巨大なグラフをGPUでトレーニングする非効率である。本稿では,ボトルネックに対処するための分散GNN学習システムであるBGLを提案する。
論文参考訳（メタデータ） (2021-12-16T00:37:37Z)
Graph Neural Network Training with Data Tiering [16.02267628659034]
グラフニューラルネットワーク(GNN)は、不正検出やレコメンデーション、知識グラフ推論など、グラフ構造化データから学ぶことに成功している。しかし,1)GPUメモリ容量が限られ,大規模なデータセットでは不十分であり,2)グラフベースのデータ構造が不規則なデータアクセスパターンを引き起こすため,GNNを効率的にトレーニングすることは困難である。本研究では,GNNトレーニングに先立って,より頻繁にアクセスされるデータを統計的に分析し,識別する手法を提案する。
論文参考訳（メタデータ） (2021-11-10T19:35:10Z)
Jointly Learnable Data Augmentations for Self-Supervised GNNs [0.311537581064266]
本稿では,グラフ表現学習のための自己教師型学習手法であるGraphSurgeonを提案する。学習可能なデータ拡張の柔軟性を活用し、埋め込み空間で強化する新しい戦略を導入する。その結果,GraphSurgeonは6つのSOTA半教師付きベースラインに匹敵し,ノード分類タスクにおける5つのSOTA自己教師付きベースラインに匹敵することがわかった。
論文参考訳（メタデータ） (2021-08-23T21:33:12Z)
Training Graph Neural Networks with 1000 Layers [133.84813995275988]
我々は、GNNのメモリとパラメータ効率を向上させるために、可逆接続、グループ畳み込み、重み付け、平衡モデルについて検討する。我々の知る限りでは、RevGNN-Deepは文学で最も深いGNNである。
論文参考訳（メタデータ） (2021-06-14T15:03:00Z)
A Unified Lottery Ticket Hypothesis for Graph Neural Networks [82.31087406264437]
本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
論文参考訳（メタデータ） (2021-02-12T21:52:43Z)
Scaling Graph Neural Networks with Approximate PageRank [64.92311737049054]
GNNにおける情報拡散の効率的な近似を利用したPPRGoモデルを提案する。高速であることに加えて、PPRGoは本質的にスケーラブルであり、業界設定で見られるような大規模なデータセットに対して、自明に並列化することができる。このグラフのすべてのノードに対するPPRGoのトレーニングとラベルの予測には1台のマシンで2分未満で、同じグラフ上の他のベースラインをはるかに上回ります。
論文参考訳（メタデータ） (2020-07-03T09:30:07Z)
SIGN: Scalable Inception Graph Neural Networks [4.5158585619109495]
本稿では,グラフサンプリングの必要性を助長する,効率的でスケーラブルなグラフ深層学習アーキテクチャを提案する。私たちのアーキテクチャでは、異なるローカルグラフ演算子を使用して、そのタスクに最も適しています。我々は,1億1000万のノードと15億のエッジを持つ,最大の公開グラフデータセットであるogbn-papers100Mについて,最先端の結果を得た。
論文参考訳（メタデータ） (2020-04-23T14:46:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。