論文の概要: Towards Neural Scaling Laws on Graphs

• arxiv url: http://arxiv.org/abs/2402.02054v3
• Date: Sat, 30 Nov 2024 01:55:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-03 16:56:11.207558
• Title: Towards Neural Scaling Laws on Graphs
• Title（参考訳）: グラフのニューラルスケーリング法則に向けて
• Authors: Jingzhe Liu, Haitao Mao, Zhikai Chen, Tong Zhao, Neil Shah, Jiliang Tang,
• Abstract要約: 深層グラフモデルの性能はモデルやデータセットのサイズによってどのように変化するかを検討する。 モデルスケーリングでは,パラメータ数に関わらず,モデルのスケーリング行動に影響を与える上でも,モデルの深さが重要な役割を果たす。 我々は,不規則なグラフサイズに対応するために,ノード数やエッジ数を基準としてデータスケーリングの法則を改革する。
• 参考スコア（独自算出の注目度）: 54.435688297561015
• License:
• Abstract: Deep graph models (e.g., graph neural networks and graph transformers) have become important techniques for leveraging knowledge across various types of graphs. Yet, the neural scaling laws on graphs, i.e., how the performance of deep graph models changes with model and dataset sizes, have not been systematically investigated, casting doubts on the feasibility of achieving large graph models. To fill this gap, we benchmark many graph datasets from different tasks and make an attempt to establish the neural scaling laws on graphs from both model and data perspectives. The model size we investigated is up to 100 million parameters, and the dataset size investigated is up to 50 million samples. We first verify the validity of such laws on graphs, establishing proper formulations to describe the scaling behaviors. For model scaling, we identify that despite the parameter numbers, the model depth also plays an important role in affecting the model scaling behaviors, which differs from observations in other domains such as CV and NLP. For data scaling, we suggest that the number of graphs can not effectively measure the graph data volume in scaling law since the sizes of different graphs are highly irregular. Instead, we reform the data scaling law with the number of nodes or edges as the metric to address the irregular graph sizes. We further demonstrate that the reformed law offers a unified view of the data scaling behaviors for various fundamental graph tasks including node classification, link prediction, and graph classification. This work provides valuable insights into neural scaling laws on graphs, which can serve as an important tool for collecting new graph data and developing large graph models.
• Abstract（参考訳）: ディープグラフモデル(例えば、グラフニューラルネットワークやグラフトランスフォーマー)は、様々な種類のグラフにまたがる知識を活用するための重要な技術となっている。 しかし、グラフ上のニューラルスケーリング法則、すなわち、ディープグラフモデルの性能がモデルやデータセットサイズとどのように変化するかは体系的に研究されておらず、大きなグラフモデルを実現する可能性に疑問を投げかけている。 このギャップを埋めるために、さまざまなタスクから多くのグラフデータセットをベンチマークし、モデルとデータの観点からグラフのニューラルスケーリング法則を確立する試みを行います。 調査対象のモデルサイズは最大1億のパラメータであり、調査対象のデータセットサイズは最大5000万のサンプルである。 まず、グラフ上のそのような法則の有効性を検証し、スケーリングの振る舞いを記述するための適切な定式化を確立する。 モデルスケーリングでは,パラメータ数に関わらず,CVやNLPといった他の領域の観測と異なるモデルスケーリング行動に影響を与える上で,モデル深度が重要な役割を果たす。 データスケーリングについては,グラフのサイズが極めて不規則であるため,スケーリング法則においてグラフデータのボリュームを効果的に測定することはできないことを示唆する。 代わりに、不規則なグラフサイズに対処する指標として、ノード数やエッジ数でデータスケーリングの法則を改革する。 さらに,修正法は,ノード分類,リンク予測,グラフ分類などの基本的なグラフタスクに対して,データのスケーリング行動の統一的なビューを提供することを示した。 この研究は、グラフ上のニューラルスケーリング法則に関する貴重な洞察を提供する。これは、新しいグラフデータを収集し、大きなグラフモデルを開発するための重要なツールとなる。

関連論文リスト

• Scalable Implicit Graphon Learning [25.015678499211404]
  本稿では、暗黙的ニューラルネットワーク(INR)とグラフニューラルネットワーク(GNN)を組み合わせて、観測されたグラフからグラフを推定するスケーラブルな手法を提案する。 合成グラフと実世界のグラフでSIGLを評価し,既存の手法より優れ,大規模グラフに効果的にスケール可能であることを示した。
  論文  参考訳（メタデータ） (2024-10-22T22:44:24Z)
• Parametric Graph Representations in the Era of Foundation Models: A Survey and Position [69.48708136448694]
  グラフは、包括的なリレーショナルデータをモデル化するために、過去数十年間、ビッグデータとAIで広く使われてきた。 有意義なグラフ法則の同定は、様々な応用の有効性を著しく向上させることができる。
  論文  参考訳（メタデータ） (2024-10-16T00:01:31Z)
• Motif-Consistent Counterfactuals with Adversarial Refinement for Graph-Level Anomaly Detection [30.618065157205507]
  本稿では,グラフレベルの異常検出のための新しい手法Motif-consistent Counterfactuals with Adversarial Refinement (MotifCAR)を提案する。 このモデルは、あるグラフのモチーフと、識別(カテゴリ)情報を含むコアサブグラフと、別のグラフのコンテキストサブグラフを組み合わせて、生の反事実グラフを生成する。 MotifCARは高品質な反ファクトグラフを生成することができる。
  論文  参考訳（メタデータ） (2024-07-18T08:04:57Z)
• Graph-Aware Language Model Pre-Training on a Large Graph Corpus Can Help Multiple Graph Applications [38.83545631999851]
  大規模グラフコーパス上で事前学習を行うグラフ対応言語モデルのフレームワークを提案する。 Amazonの実際の内部データセットと大規模な公開データセットに関する実験を行います。
  論文  参考訳（メタデータ） (2023-06-05T04:46:44Z)
• Probing Graph Representations [77.7361299039905]
  グラフ表現でキャプチャされた意味のある情報の量を定量化するために、探索フレームワークを使用します。 本研究は, グラフモデルにおける帰納的バイアスを理解するための探索の可能性を示すものである。 グラフベースモデルを評価する上で有用な診断ツールとして,探索を提唱する。
  論文  参考訳（メタデータ） (2023-03-07T14:58:18Z)
• Data Augmentation for Deep Graph Learning: A Survey [66.04015540536027]
  まず,グラフデータ拡張のための分類法を提案し,その拡張情報モダリティに基づいて関連研究を分類し,構造化されたレビューを提供する。 DGLにおける2つの課題(すなわち、最適グラフ学習と低リソースグラフ学習)に焦点を当て、グラフデータ拡張に基づく既存の学習パラダイムについて議論し、レビューする。
  論文  参考訳（メタデータ） (2022-02-16T18:30:33Z)
• Graph Self-supervised Learning with Accurate Discrepancy Learning [64.69095775258164]
  離散性に基づく自己監督型LeArning(D-SLA)と呼ばれる原図と摂動グラフの正確な相違を学習することを目的としたフレームワークを提案する。 本稿では,分子特性予測,タンパク質機能予測,リンク予測タスクなど,グラフ関連下流タスクにおける本手法の有効性を検証する。
  論文  参考訳（メタデータ） (2022-02-07T08:04:59Z)
• Graph Coarsening with Neural Networks [8.407217618651536]
  本稿では、粗いアルゴリズムの品質を測定するためのフレームワークを提案し、目標に応じて、粗いグラフ上のLaplace演算子を慎重に選択する必要があることを示す。 粗いグラフに対する現在のエッジウェイト選択が準最適である可能性が示唆され、グラフニューラルネットワークを用いて重み付けマップをパラメータ化し、教師なし方法で粗い品質を改善するよう訓練する。
  論文  参考訳（メタデータ） (2021-02-02T06:50:07Z)
• Line Graph Neural Networks for Link Prediction [71.00689542259052]
  実世界の多くのアプリケーションにおいて古典的なグラフ解析問題であるグラフリンク予測タスクについて検討する。 このフォーマリズムでは、リンク予測問題をグラフ分類タスクに変換する。 本稿では,線グラフをグラフ理論に用いて,根本的に異なる新しい経路を求めることを提案する。 特に、線グラフの各ノードは、元のグラフのユニークなエッジに対応するため、元のグラフのリンク予測問題は、グラフ分類タスクではなく、対応する線グラフのノード分類問題として等価に解決できる。
  論文  参考訳（メタデータ） (2020-10-20T05:54:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。