論文の概要: Graph-less Neural Networks: Teaching Old MLPs New Tricks via Distillation

• arxiv url: http://arxiv.org/abs/2110.08727v1
• Date: Sun, 17 Oct 2021 05:16:58 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-19 14:15:39.184963
• Title: Graph-less Neural Networks: Teaching Old MLPs New Tricks via Distillation
• Title（参考訳）: グラフなしニューラルネットワーク:蒸留による古いMLPの新しいトリックを教える
• Authors: Shichang Zhang, Yozen Liu, Yizhou Sun, Neil Shah
• Abstract要約: グラフレスニューラルネットワーク(GLNN)は、推論グラフに依存しない。 競争性能を持つGLNNは,146X-273XでGNNよりも高速で,14X-27Xで他の加速度法よりも高速であることを示す。 GLNNの包括的な分析は、GLNNがGsと競合する結果が得られる時期と理由を示し、レイテンシに制約のあるアプリケーションにとって便利な選択肢として、GLNNを提案する。
• 参考スコア（独自算出の注目度）: 34.676755383361005
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Neural Networks (GNNs) have recently become popular for graph machine learning and have shown great results on wide node classification tasks. Yet, GNNs are less popular for practical deployments in the industry owing to their scalability challenges incurred by data dependency. Namely, GNN inference depends on neighbor nodes multiple hops away from the target, and fetching these nodes burdens latency-constrained applications. Existing inference acceleration methods like pruning and quantization can speed up GNNs to some extent by reducing Multiplication-and-ACcumulation (MAC) operations. However, their improvements are limited given the data dependency is not resolved. Conversely, multi-layer perceptrons (MLPs) have no dependency on graph data and infer much faster than GNNs, even though they are less accurate than GNNs for node classification in general. Motivated by these complementary strengths and weaknesses, we bring GNNs and MLPs together via knowledge distillation (KD). Our work shows that the performance of MLPs can be improved by large margins with GNN KD. We call the distilled MLPs Graph-less Neural Networks (GLNNs) as they have no inference graph dependency. We show that GLNN with competitive performance infer faster than GNNs by 146X-273X and faster than other acceleration methods by 14X-27X. Meanwhile, under a production setting involving both transductive and inductive predictions across 7 datasets, GLNN accuracies improve over stand alone MLPs by 12.36% on average and match GNNs on 6/7 datasets. A comprehensive analysis of GLNN shows when and why GLNN can achieve competitive results to GNNs and suggests GLNN as a handy choice for latency-constrained applications.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)はグラフ機械学習で最近人気となり、幅広いノード分類タスクにおいて大きな成果を上げている。 しかし、GNNはデータ依存によって引き起こされるスケーラビリティ上の課題のため、業界における実践的なデプロイメントではあまり人気がない。 すなわち、GNN推論は、隣ノードの複数のホップをターゲットから遠ざけ、これらのノードをフェッチすることで、レイテンシに制約のあるアプリケーションに負担をかける。 プルーニングや量子化のような既存の推論高速化手法は、乗算と蓄積(MAC)操作を減らすことで、GNNをある程度高速化することができる。 しかし、データ依存が解決されないため、改善は限られている。 逆に、マルチ層パーセプトロン(MLP)はグラフデータに依存せず、一般にノード分類においてGNNよりも正確ではないにもかかわらず、GNNよりもはるかに高速である。 これらの相補的な強みと弱みによって、我々は知識蒸留(KD)を通じてGNNとMLPをまとめる。 本研究は, GNN KD による MLP の性能向上が期待できることを示す。 推論グラフに依存しないため、蒸留したMLPをGLNN(Graph-less Neural Networks)と呼ぶ。 競争性能を持つGLNNは,146X-273XでGNNよりも高速で,14X-27Xで他の加速度法よりも高速であることを示す。 一方、トランスダクティブとインダクティブの予測を7つのデータセットで含むプロダクション環境では、GLNNの精度はスタンドアローンのMLPよりも平均12.36%向上し、6/7データセットでGNNと一致している。 GLNNの包括的な分析は、GLNNがGNNと競合する結果が得られる時期と理由を示し、レイテンシに制約のあるアプリケーションにとって便利な選択肢として、GLNNを提案する。

関連論文リスト

• AdaGMLP: AdaBoosting GNN-to-MLP Knowledge Distillation [15.505402580010104]
  GNN-to-MLPナレッジ蒸留と呼ばれる新しい手法の波が出現した。 彼らは、より効率的な学生にGNN学習の知識を移すことを目標としている。 これらの手法は、不十分なトレーニングデータと不完全なテストデータを持つ状況において課題に直面している。 本稿では,AdaBoosting GNN-to-MLPナレッジ蒸留フレームワークであるAdaGMLPを提案する。
  論文  参考訳（メタデータ） (2024-05-23T08:28:44Z)
• A Teacher-Free Graph Knowledge Distillation Framework with Dual Self-Distillation [58.813991312803246]
  本稿では,教師モデルやGNNを必要としない教師自由グラフ自己蒸留(TGS)フレームワークを提案する。 TGSは、トレーニングにおけるグラフトポロジの認識の利点を享受しているが、推論におけるデータ依存から解放されている。
  論文  参考訳（メタデータ） (2024-03-06T05:52:13Z)
• Information Flow in Graph Neural Networks: A Clinical Triage Use Case [49.86931948849343]
  グラフニューラルネットワーク(GNN)は、マルチモーダルグラフとマルチリレーショナルグラフを処理する能力によって、医療やその他の領域で人気を集めている。 GNNにおける埋め込み情報のフローが知識グラフ(KG)におけるリンクの予測に与える影響について検討する。 以上の結果から,ドメイン知識をGNN接続に組み込むことで,KGと同じ接続を使用する場合や,制約のない埋め込み伝搬を行う場合よりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2023-09-12T09:18:12Z)
• Graph Neural Networks are Inherently Good Generalizers: Insights by Bridging GNNs and MLPs [71.93227401463199]
  本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。 PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
  論文  参考訳（メタデータ） (2022-12-18T08:17:32Z)
• Distributed Graph Neural Network Training: A Survey [51.77035975191926]
  グラフニューラルネットワーク(GNN)は、グラフに基づいてトレーニングされたディープラーニングモデルの一種で、さまざまな領域にうまく適用されている。 GNNの有効性にもかかわらず、GNNが大規模グラフに効率的にスケールすることは依然として困難である。 治療法として、分散コンピューティングは大規模GNNをトレーニングするための有望なソリューションとなる。
  論文  参考訳（メタデータ） (2022-11-01T01:57:00Z)
• Teaching Yourself: Graph Self-Distillation on Neighborhood for Node Classification [42.840122801915996]
  本稿では,GNNとニューラルズ間のギャップを低減するため,近隣環境におけるグラフ自己蒸留(GSDN)フレームワークを提案する。 GSDNは既存のGNNよりも75XX高速で、16X-25Xは他の推論アクセラレーション手法よりも高速である。
  論文  参考訳（メタデータ） (2022-10-05T08:35:34Z)
• Optimization of Graph Neural Networks: Implicit Acceleration by Skip Connections and More Depth [57.10183643449905]
  グラフニューラルネットワーク(GNN)は表現力と一般化のレンズから研究されている。 GNNのダイナミクスを深部スキップ最適化により研究する。 本研究は,GNNの成功に対する最初の理論的支援を提供する。
  論文  参考訳（メタデータ） (2021-05-10T17:59:01Z)
• A Unified Lottery Ticket Hypothesis for Graph Neural Networks [82.31087406264437]
  本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。 グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
  論文  参考訳（メタデータ） (2021-02-12T21:52:43Z)
• On the Bottleneck of Graph Neural Networks and its Practical Implications [22.704284264177108]
  グラフニューラルネットワーク(GNN)は,長い経路でメッセージを集約する場合,ボトルネックの影響を受けやすいことを示す。 このボトルネックは指数関数的に増加する情報を固定サイズのベクトルに過度に振る舞う。 GNNは、遠く離れたノードからのメッセージの伝搬に失敗し、予測タスクが長距離通信に依存する場合、性能が低下する。
  論文  参考訳（メタデータ） (2020-06-09T12:04:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。