論文の概要: Towards Neural Scaling Laws on Graphs

• arxiv url: http://arxiv.org/abs/2402.02054v3
• Date: Sat, 30 Nov 2024 01:55:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-03 16:56:11.207558
• Title: Towards Neural Scaling Laws on Graphs
• Title（参考訳）: グラフのニューラルスケーリング法則に向けて
• Authors: Jingzhe Liu, Haitao Mao, Zhikai Chen, Tong Zhao, Neil Shah, Jiliang Tang,
• Abstract要約: 深層グラフモデルの性能はモデルやデータセットのサイズによってどのように変化するかを検討する。 モデルスケーリングでは,パラメータ数に関わらず,モデルのスケーリング行動に影響を与える上でも,モデルの深さが重要な役割を果たす。 我々は,不規則なグラフサイズに対応するために,ノード数やエッジ数を基準としてデータスケーリングの法則を改革する。
• 参考スコア（独自算出の注目度）: 54.435688297561015
• License:
• Abstract: Deep graph models (e.g., graph neural networks and graph transformers) have become important techniques for leveraging knowledge across various types of graphs. Yet, the neural scaling laws on graphs, i.e., how the performance of deep graph models changes with model and dataset sizes, have not been systematically investigated, casting doubts on the feasibility of achieving large graph models. To fill this gap, we benchmark many graph datasets from different tasks and make an attempt to establish the neural scaling laws on graphs from both model and data perspectives. The model size we investigated is up to 100 million parameters, and the dataset size investigated is up to 50 million samples. We first verify the validity of such laws on graphs, establishing proper formulations to describe the scaling behaviors. For model scaling, we identify that despite the parameter numbers, the model depth also plays an important role in affecting the model scaling behaviors, which differs from observations in other domains such as CV and NLP. For data scaling, we suggest that the number of graphs can not effectively measure the graph data volume in scaling law since the sizes of different graphs are highly irregular. Instead, we reform the data scaling law with the number of nodes or edges as the metric to address the irregular graph sizes. We further demonstrate that the reformed law offers a unified view of the data scaling behaviors for various fundamental graph tasks including node classification, link prediction, and graph classification. This work provides valuable insights into neural scaling laws on graphs, which can serve as an important tool for collecting new graph data and developing large graph models.
• Abstract（参考訳）: ディープグラフモデル(例えば、グラフニューラルネットワークやグラフトランスフォーマー)は、様々な種類のグラフにまたがる知識を活用するための重要な技術となっている。 しかし、グラフ上のニューラルスケーリング法則、すなわち、ディープグラフモデルの性能がモデルやデータセットサイズとどのように変化するかは体系的に研究されておらず、大きなグラフモデルを実現する可能性に疑問を投げかけている。 このギャップを埋めるために、さまざまなタスクから多くのグラフデータセットをベンチマークし、モデルとデータの観点からグラフのニューラルスケーリング法則を確立する試みを行います。 調査対象のモデルサイズは最大1億のパラメータであり、調査対象のデータセットサイズは最大5000万のサンプルである。 まず、グラフ上のそのような法則の有効性を検証し、スケーリングの振る舞いを記述するための適切な定式化を確立する。 モデルスケーリングでは,パラメータ数に関わらず,CVやNLPといった他の領域の観測と異なるモデルスケーリング行動に影響を与える上で,モデル深度が重要な役割を果たす。 データスケーリングについては,グラフのサイズが極めて不規則であるため,スケーリング法則においてグラフデータのボリュームを効果的に測定することはできないことを示唆する。 代わりに、不規則なグラフサイズに対処する指標として、ノード数やエッジ数でデータスケーリングの法則を改革する。 さらに,修正法は,ノード分類,リンク予測,グラフ分類などの基本的なグラフタスクに対して,データのスケーリング行動の統一的なビューを提供することを示した。 この研究は、グラフ上のニューラルスケーリング法則に関する貴重な洞察を提供する。これは、新しいグラフデータを収集し、大きなグラフモデルを開発するための重要なツールとなる。

関連論文リスト

• Revisiting Graph Neural Networks on Graph-level Tasks: Comprehensive Experiments, Analysis, and Improvements [54.006506479865344]
  グラフレベルグラフニューラルネットワーク(GNN)のための統一評価フレームワークを提案する。 このフレームワークは、さまざまなデータセットにわたるGNNを評価するための標準化された設定を提供する。 また,表現性の向上と一般化機能を備えた新しいGNNモデルを提案する。
  論文  参考訳（メタデータ） (2025-01-01T08:48:53Z)
• Shedding Light on Problems with Hyperbolic Graph Learning [2.3743504594834635]
  グラフ機械学習文学における近年の論文は、双曲表現学習に多くのアプローチを導入している。 現在、双曲グラフ表現学習の分野を注意深く見ていく。 多くの論文では,アルゴリズム構築時にベースラインの厳密な提示に失敗し,ミスリード指標を用いてグラフデータセットの幾何を定量化している。
  論文  参考訳（メタデータ） (2024-11-11T03:12:41Z)
• Scalable Implicit Graphon Learning [25.015678499211404]
  本稿では、暗黙的ニューラルネットワーク(INR)とグラフニューラルネットワーク(GNN)を組み合わせて、観測されたグラフからグラフを推定するスケーラブルな手法を提案する。 合成グラフと実世界のグラフでSIGLを評価し,既存の手法より優れ,大規模グラフに効果的にスケール可能であることを示した。
  論文  参考訳（メタデータ） (2024-10-22T22:44:24Z)
• Graph-Aware Language Model Pre-Training on a Large Graph Corpus Can Help Multiple Graph Applications [38.83545631999851]
  大規模グラフコーパス上で事前学習を行うグラフ対応言語モデルのフレームワークを提案する。 Amazonの実際の内部データセットと大規模な公開データセットに関する実験を行います。
  論文  参考訳（メタデータ） (2023-06-05T04:46:44Z)
• Model Inversion Attacks against Graph Neural Networks [65.35955643325038]
  グラフニューラルネットワーク(GNN)に対するモデル反転攻撃について検討する。 本稿では,プライベートトレーニンググラフデータを推測するためにGraphMIを提案する。 実験の結果,このような防御効果は十分ではないことが示され,プライバシー攻撃に対するより高度な防御が求められている。
  論文  参考訳（メタデータ） (2022-09-16T09:13:43Z)
• Scaling R-GCN Training with Graph Summarization [71.06855946732296]
  リレーショナルグラフ畳み込みネットワーク(R-GCN)のトレーニングは、グラフのサイズに合わない。 本研究では,グラフの要約手法を用いてグラフを圧縮する実験を行った。 AIFB, MUTAG, AMデータセットについて妥当な結果を得た。
  論文  参考訳（メタデータ） (2022-03-05T00:28:43Z)
• Data Augmentation for Deep Graph Learning: A Survey [66.04015540536027]
  まず,グラフデータ拡張のための分類法を提案し,その拡張情報モダリティに基づいて関連研究を分類し,構造化されたレビューを提供する。 DGLにおける2つの課題(すなわち、最適グラフ学習と低リソースグラフ学習)に焦点を当て、グラフデータ拡張に基づく既存の学習パラダイムについて議論し、レビューする。
  論文  参考訳（メタデータ） (2022-02-16T18:30:33Z)
• Graph Coarsening with Neural Networks [8.407217618651536]
  本稿では、粗いアルゴリズムの品質を測定するためのフレームワークを提案し、目標に応じて、粗いグラフ上のLaplace演算子を慎重に選択する必要があることを示す。 粗いグラフに対する現在のエッジウェイト選択が準最適である可能性が示唆され、グラフニューラルネットワークを用いて重み付けマップをパラメータ化し、教師なし方法で粗い品質を改善するよう訓練する。
  論文  参考訳（メタデータ） (2021-02-02T06:50:07Z)
• Line Graph Neural Networks for Link Prediction [71.00689542259052]
  実世界の多くのアプリケーションにおいて古典的なグラフ解析問題であるグラフリンク予測タスクについて検討する。 このフォーマリズムでは、リンク予測問題をグラフ分類タスクに変換する。 本稿では,線グラフをグラフ理論に用いて,根本的に異なる新しい経路を求めることを提案する。 特に、線グラフの各ノードは、元のグラフのユニークなエッジに対応するため、元のグラフのリンク予測問題は、グラフ分類タスクではなく、対応する線グラフのノード分類問題として等価に解決できる。
  論文  参考訳（メタデータ） (2020-10-20T05:54:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。