論文の概要: Future Directions in the Theory of Graph Machine Learning

• arxiv url: http://arxiv.org/abs/2402.02287v4
• Date: Fri, 14 Jun 2024 15:54:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-17 19:14:16.732758
• Title: Future Directions in the Theory of Graph Machine Learning
• Title（参考訳）: グラフ機械学習理論における今後の方向性
• Authors: Christopher Morris, Fabrizio Frasca, Nadav Dym, Haggai Maron, İsmail İlkan Ceylan, Ron Levie, Derek Lim, Michael Bronstein, Martin Grohe, Stefanie Jegelka,
• Abstract要約: グラフ上の機械学習、特にグラフニューラルネットワーク(GNN)を使用すると、グラフデータが広く利用できるため、関心が高まっている。 実際の成功にもかかわらず、GNNの特性に関する理論的理解は非常に不完全である。
• 参考スコア（独自算出の注目度）: 49.049992612331685
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning on graphs, especially using graph neural networks (GNNs), has seen a surge in interest due to the wide availability of graph data across a broad spectrum of disciplines, from life to social and engineering sciences. Despite their practical success, our theoretical understanding of the properties of GNNs remains highly incomplete. Recent theoretical advancements primarily focus on elucidating the coarse-grained expressive power of GNNs, predominantly employing combinatorial techniques. However, these studies do not perfectly align with practice, particularly in understanding the generalization behavior of GNNs when trained with stochastic first-order optimization techniques. In this position paper, we argue that the graph machine learning community needs to shift its attention to developing a balanced theory of graph machine learning, focusing on a more thorough understanding of the interplay of expressive power, generalization, and optimization.
• Abstract（参考訳）: グラフ上の機械学習、特にグラフニューラルネットワーク(GNN)の使用は、生命から社会、エンジニアリング科学に至るまで、幅広い分野にわたるグラフデータの提供により、関心が高まっている。 その実用的成功にもかかわらず、GNNの特性に関する理論的理解は非常に不完全である。 近年の理論的進歩は主にGNNの粗粒度表現力の解明に焦点が当てられ、主に組合せ技術を用いている。 しかし、これらの研究は、特に確率的一階最適化手法で訓練された場合のGNNの一般化挙動の理解において、実践と完全に一致しない。 本稿では、グラフ機械学習コミュニティが、表現力、一般化、最適化の相互作用をより深く理解することに焦点を当て、グラフ機械学習のバランスのとれた理論の開発に注意を向ける必要があることを論じる。

関連論文リスト

• Foundations and Frontiers of Graph Learning Theory [81.39078977407719]
  グラフ学習の最近の進歩は、複雑な構造を持つデータを理解し分析する方法に革命をもたらした。 グラフニューラルネットワーク(GNN)、すなわちグラフ表現を学習するために設計されたニューラルネットワークアーキテクチャは、一般的なパラダイムとなっている。 本稿では,グラフ学習モデルに固有の近似と学習行動に関する理論的基礎とブレークスルーについて概説する。
  論文  参考訳（メタデータ） (2024-07-03T14:07:41Z)
• A Manifold Perspective on the Statistical Generalization of Graph Neural Networks [84.01980526069075]
  我々は、スペクトル領域の多様体からサンプリングされたグラフ上のGNNの統計的一般化理論を確立するために多様体の視点を取る。 我々はGNNの一般化境界が対数スケールのグラフのサイズとともに線形に減少し、フィルタ関数のスペクトル連続定数とともに線形的に増加することを証明した。
  論文  参考訳（メタデータ） (2024-06-07T19:25:02Z)
• The Expressive Power of Graph Neural Networks: A Survey [9.08607528905173]
  定義の異なる表現力向上モデルに関する第1回調査を行う。 モデルは、グラフ機能拡張、グラフトポロジ拡張、GNNアーキテクチャ拡張という3つのカテゴリに基づいてレビューされる。
  論文  参考訳（メタデータ） (2023-08-16T09:12:21Z)
• Towards Understanding the Generalization of Graph Neural Networks [9.217947432437546]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データ指向学習と表現において最も広く採用されているモデルである。 まず,帰納学習における一般化ギャップと勾配の確率境界を確立する。 理論的な結果は、一般化ギャップに影響を与えるアーキテクチャ固有の要因を明らかにする。
  論文  参考訳（メタデータ） (2023-05-14T03:05:14Z)
• Beyond spectral gap (extended): The role of the topology in decentralized learning [58.48291921602417]
  機械学習モデルのデータ並列最適化では、労働者はモデルの推定値を改善するために協力する。 現在の理論では、コラボレーションはトレーニング単独よりも学習率が大きいことを説明していない。 本稿では,疎結合分散最適化の正確な図面を描くことを目的とする。
  論文  参考訳（メタデータ） (2023-01-05T16:53:38Z)
• MentorGNN: Deriving Curriculum for Pre-Training GNNs [61.97574489259085]
  本稿では,グラフ間のGNNの事前学習プロセスの監視を目的とした,MentorGNNというエンドツーエンドモデルを提案する。 我々は、事前学習したGNNの一般化誤差に自然かつ解釈可能な上限を導出することにより、関係データ(グラフ)に対するドメイン適応の問題に新たな光を当てた。
  論文  参考訳（メタデータ） (2022-08-21T15:12:08Z)
• Learning Graph Structure from Convolutional Mixtures [119.45320143101381]
  本稿では、観測されたグラフと潜伏グラフのグラフ畳み込み関係を提案し、グラフ学習タスクをネットワーク逆(デコンボリューション)問題として定式化する。 固有分解に基づくスペクトル法の代わりに、近似勾配反復をアンロール・トランケートして、グラフデコンボリューションネットワーク(GDN)と呼ばれるパラメータ化ニューラルネットワークアーキテクチャに到達させる。 GDNは、教師付き方式でグラフの分布を学習し、損失関数を適応させることでリンク予測やエッジウェイト回帰タスクを実行し、本質的に帰納的である。
  論文  参考訳（メタデータ） (2022-05-19T14:08:15Z)
• Analyzing the Performance of Graph Neural Networks with Pipe Parallelism [2.269587850533721]
  ノードやエッジの分類やリンクの予測といったタスクで大きな成功を収めたグラフニューラルネットワーク(GNN)に注目した。 グラフ技術の進歩には,大規模ネットワーク処理のための新たなアプローチが必要である。 私たちは、ディープラーニングコミュニティで成功したと知られている既存のツールとフレームワークを使用して、GNNを並列化する方法を研究します。
  論文  参考訳（メタデータ） (2020-12-20T04:20:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。