論文の概要: Neural Scaling Laws on Graphs

• arxiv url: http://arxiv.org/abs/2402.02054v2
• Date: Sun, 9 Jun 2024 20:49:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-12 03:49:29.588491
• Title: Neural Scaling Laws on Graphs
• Title（参考訳）: グラフ上のニューラルスケーリング法則
• Authors: Jingzhe Liu, Haitao Mao, Zhikai Chen, Tong Zhao, Neil Shah, Jiliang Tang,
• Abstract要約: モデルおよびデータの観点から,グラフ上のニューラルスケーリング法則について検討する。 モデルスケーリングでは,スケール法が崩壊する現象を調査し,オーバーフィッティングを潜在的な理由として同定する。 データスケーリングについては、グラフのサイズが極めて不規則であるため、スケーリング法則においてグラフデータのボリュームを効果的に測定することはできないことを示唆する。
• 参考スコア（独自算出の注目度）: 54.435688297561015
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep graph models (e.g., graph neural networks and graph transformers) have become important techniques for leveraging knowledge across various types of graphs. Yet, the scaling properties of deep graph models have not been systematically investigated, casting doubt on the feasibility of achieving large graph models through enlarging the model and dataset sizes. In this work, we delve into neural scaling laws on graphs from both model and data perspectives. We first verify the validity of such laws on graphs, establishing formulations to describe the scaling behaviors. For model scaling, we investigate the phenomenon of scaling law collapse and identify overfitting as the potential reason. Moreover, we reveal that the model depth of deep graph models can impact the model scaling behaviors, which differ from observations in other domains such as CV and NLP. For data scaling, we suggest that the number of graphs can not effectively metric the graph data volume in scaling law since the sizes of different graphs are highly irregular. Instead, we reform the data scaling law with the number of edges as the metric to address the irregular graph sizes. We further demonstrate the reformed law offers a unified view of the data scaling behaviors for various fundamental graph tasks including node classification, link prediction, and graph classification. This work provides valuable insights into neural scaling laws on graphs, which can serve as an essential step toward large graph models.
• Abstract（参考訳）: ディープグラフモデル(例えば、グラフニューラルネットワークやグラフ変換器)は、様々な種類のグラフにまたがる知識を活用するための重要な技術となっている。 しかし、ディープグラフモデルのスケーリング特性は体系的に研究されておらず、モデルとデータセットのサイズを拡大することで大きなグラフモデルを実現する可能性に疑問を投げかけている。 この研究では、モデルとデータの両方の観点から、グラフ上のニューラルスケーリングの法則を掘り下げる。 まず、グラフ上のそのような法則の有効性を検証し、スケーリングの振る舞いを記述するための定式化を確立する。 モデルスケーリングでは,スケール法が崩壊する現象を調査し,オーバーフィッティングを潜在的な理由として同定する。 さらに,深部グラフモデルのモデル深度が,CVやNLPといった他の領域の観測と異なるモデルスケーリングの挙動に影響を及ぼすことを明らかにした。 データスケーリングについては、グラフのサイズが極めて不規則であるため、スケーリング法則においてグラフデータのボリュームを効果的に測定することはできないことを示唆する。 代わりに、不規則なグラフサイズに対処するための計量として、エッジの数でデータスケーリングの法則を改革する。 さらに, ノード分類, リンク予測, グラフ分類を含む基本グラフタスクに対して, データスケーリング行動の統一的なビューを提供する。 この研究は、グラフ上のニューラルスケーリング法則に関する貴重な洞察を提供する。

関連論文リスト

• Scalable Implicit Graphon Learning [25.015678499211404]
  本稿では、暗黙的ニューラルネットワーク(INR)とグラフニューラルネットワーク(GNN)を組み合わせて、観測されたグラフからグラフを推定するスケーラブルな手法を提案する。 合成グラフと実世界のグラフでSIGLを評価し,既存の手法より優れ,大規模グラフに効果的にスケール可能であることを示した。
  論文  参考訳（メタデータ） (2024-10-22T22:44:24Z)
• Parametric Graph Representations in the Era of Foundation Models: A Survey and Position [69.48708136448694]
  グラフは、包括的なリレーショナルデータをモデル化するために、過去数十年間、ビッグデータとAIで広く使われてきた。 有意義なグラフ法則の同定は、様々な応用の有効性を著しく向上させることができる。
  論文  参考訳（メタデータ） (2024-10-16T00:01:31Z)
• Motif-Consistent Counterfactuals with Adversarial Refinement for Graph-Level Anomaly Detection [30.618065157205507]
  本稿では,グラフレベルの異常検出のための新しい手法Motif-consistent Counterfactuals with Adversarial Refinement (MotifCAR)を提案する。 このモデルは、あるグラフのモチーフと、識別(カテゴリ)情報を含むコアサブグラフと、別のグラフのコンテキストサブグラフを組み合わせて、生の反事実グラフを生成する。 MotifCARは高品質な反ファクトグラフを生成することができる。
  論文  参考訳（メタデータ） (2024-07-18T08:04:57Z)
• Graph-Aware Language Model Pre-Training on a Large Graph Corpus Can Help Multiple Graph Applications [38.83545631999851]
  大規模グラフコーパス上で事前学習を行うグラフ対応言語モデルのフレームワークを提案する。 Amazonの実際の内部データセットと大規模な公開データセットに関する実験を行います。
  論文  参考訳（メタデータ） (2023-06-05T04:46:44Z)
• Probing Graph Representations [77.7361299039905]
  グラフ表現でキャプチャされた意味のある情報の量を定量化するために、探索フレームワークを使用します。 本研究は, グラフモデルにおける帰納的バイアスを理解するための探索の可能性を示すものである。 グラフベースモデルを評価する上で有用な診断ツールとして,探索を提唱する。
  論文  参考訳（メタデータ） (2023-03-07T14:58:18Z)
• Data Augmentation for Deep Graph Learning: A Survey [66.04015540536027]
  まず,グラフデータ拡張のための分類法を提案し,その拡張情報モダリティに基づいて関連研究を分類し,構造化されたレビューを提供する。 DGLにおける2つの課題(すなわち、最適グラフ学習と低リソースグラフ学習)に焦点を当て、グラフデータ拡張に基づく既存の学習パラダイムについて議論し、レビューする。
  論文  参考訳（メタデータ） (2022-02-16T18:30:33Z)
• Graph Self-supervised Learning with Accurate Discrepancy Learning [64.69095775258164]
  離散性に基づく自己監督型LeArning(D-SLA)と呼ばれる原図と摂動グラフの正確な相違を学習することを目的としたフレームワークを提案する。 本稿では,分子特性予測,タンパク質機能予測,リンク予測タスクなど,グラフ関連下流タスクにおける本手法の有効性を検証する。
  論文  参考訳（メタデータ） (2022-02-07T08:04:59Z)
• Graph Coarsening with Neural Networks [8.407217618651536]
  本稿では、粗いアルゴリズムの品質を測定するためのフレームワークを提案し、目標に応じて、粗いグラフ上のLaplace演算子を慎重に選択する必要があることを示す。 粗いグラフに対する現在のエッジウェイト選択が準最適である可能性が示唆され、グラフニューラルネットワークを用いて重み付けマップをパラメータ化し、教師なし方法で粗い品質を改善するよう訓練する。
  論文  参考訳（メタデータ） (2021-02-02T06:50:07Z)
• Line Graph Neural Networks for Link Prediction [71.00689542259052]
  実世界の多くのアプリケーションにおいて古典的なグラフ解析問題であるグラフリンク予測タスクについて検討する。 このフォーマリズムでは、リンク予測問題をグラフ分類タスクに変換する。 本稿では,線グラフをグラフ理論に用いて,根本的に異なる新しい経路を求めることを提案する。 特に、線グラフの各ノードは、元のグラフのユニークなエッジに対応するため、元のグラフのリンク予測問題は、グラフ分類タスクではなく、対応する線グラフのノード分類問題として等価に解決できる。
  論文  参考訳（メタデータ） (2020-10-20T05:54:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。