論文の概要: Future Directions in Foundations of Graph Machine Learning
- arxiv url: http://arxiv.org/abs/2402.02287v1
- Date: Sat, 3 Feb 2024 22:55:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-06 20:50:23.150169
- Title: Future Directions in Foundations of Graph Machine Learning
- Title(参考訳): グラフ機械学習の基礎における今後の方向
- Authors: Christopher Morris, Nadav Dym, Haggai Maron, \.Ismail \.Ilkan Ceylan,
Fabrizio Frasca, Ron Levie, Derek Lim, Michael Bronstein, Martin Grohe, and
Stefanie Jegelka
- Abstract要約: グラフ上の機械学習、特にグラフニューラルネットワーク(GNN)を用いた場合、関心が急増している。
その実用的成功にもかかわらず、GNNの特性に関する理論的理解は非常に不完全である。
- 参考スコア(独自算出の注目度): 49.049992612331685
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine learning on graphs, especially using graph neural networks (GNNs),
has seen a surge in interest due to the wide availability of graph data across
a broad spectrum of disciplines, from life to social and engineering sciences.
Despite their practical success, our theoretical understanding of the
properties of GNNs remains highly incomplete. Recent theoretical advancements
primarily focus on elucidating the coarse-grained expressive power of GNNs,
predominantly employing combinatorial techniques. However, these studies do not
perfectly align with practice, particularly in understanding the generalization
behavior of GNNs when trained with stochastic first-order optimization
techniques. In this position paper, we argue that the graph machine learning
community needs to shift its attention to developing a more balanced theory of
graph machine learning, focusing on a more thorough understanding of the
interplay of expressive power, generalization, and optimization.
- Abstract(参考訳): グラフ上の機械学習、特にグラフニューラルネットワーク(GNN)の使用は、生命から社会、エンジニアリング科学に至るまで、幅広い分野にわたるグラフデータの提供により、関心が高まっている。
その実用的成功にもかかわらず、GNNの特性に関する理論的理解は非常に不完全である。
近年の理論的進歩は主にGNNの粗粒度表現力の解明に焦点が当てられ、主に組合せ技術を用いている。
しかし、これらの研究は、特に確率的一階最適化手法で訓練された場合のGNNの一般化挙動の理解において、実践と完全に一致しない。
本稿では、グラフ機械学習コミュニティが、表現力、一般化、最適化の相互作用をより深く理解することに焦点を当て、よりバランスのとれたグラフ機械学習理論の開発に注意を向ける必要があることを論じる。
関連論文リスト
- Masked Attention is All You Need for Graphs [9.342468531778874]
Masked attention for graphs (MAG) is a state-of-the-art performance on long-range task。
グラフニューラルネットワーク(GNN)と比較すると,転送学習能力が大幅に向上し,時間とメモリのスケーリングが向上した。
論文 参考訳(メタデータ) (2024-02-16T16:20:11Z) - How Graph Neural Networks Learn: Lessons from Training Dynamics [86.27589054492427]
グラフニューラルネットワーク(GNN)の関数空間におけるトレーニングダイナミクスについて検討する。
勾配降下によるGNNの最適化は暗黙的にグラフ構造を利用して学習した関数を更新する。
グラフ構造を用いて学習した関数を明示的に更新することで得られる単純で効率的な非パラメトリックアルゴリズムは、非線形GNNと一貫して競合することを示す。
論文 参考訳(メタデータ) (2023-10-08T10:19:56Z) - Rethinking the Power of Graph Canonization in Graph Representation
Learning with Stability [29.026197379375557]
本稿では,グラフカノン化によるGNNの表現率の最大化を提案する。
安定なGNNは、類似グラフをベクトル空間の閉グラフ表現にマッピングし、GNNの安定性は、その性能を目に見えないグラフに一般化することが重要である。
実験の総合的なセットは,提案手法の有効性を示すものである。
論文 参考訳(メタデータ) (2023-09-01T21:23:04Z) - The Expressive Power of Graph Neural Networks: A Survey [9.08607528905173]
定義の異なる表現力向上モデルに関する第1回調査を行う。
モデルは、グラフ機能拡張、グラフトポロジ拡張、GNNアーキテクチャ拡張という3つのカテゴリに基づいてレビューされる。
論文 参考訳(メタデータ) (2023-08-16T09:12:21Z) - On the Expressiveness and Generalization of Hypergraph Neural Networks [77.65788763444877]
この拡張抽象化はハイパーグラフニューラルネットワーク(HyperGNN)の表現性、学習、および(構造的)一般化を分析するためのフレームワークを記述する。
具体的には、HyperGNNが有限データセットからどのように学習し、任意の入力サイズのグラフ推論問題に構造的に一般化するかに焦点を当てる。
論文 参考訳(メタデータ) (2023-03-09T18:42:18Z) - MentorGNN: Deriving Curriculum for Pre-Training GNNs [61.97574489259085]
本稿では,グラフ間のGNNの事前学習プロセスの監視を目的とした,MentorGNNというエンドツーエンドモデルを提案する。
我々は、事前学習したGNNの一般化誤差に自然かつ解釈可能な上限を導出することにより、関係データ(グラフ)に対するドメイン適応の問題に新たな光を当てた。
論文 参考訳(メタデータ) (2022-08-21T15:12:08Z) - Learning Graph Structure from Convolutional Mixtures [119.45320143101381]
本稿では、観測されたグラフと潜伏グラフのグラフ畳み込み関係を提案し、グラフ学習タスクをネットワーク逆(デコンボリューション)問題として定式化する。
固有分解に基づくスペクトル法の代わりに、近似勾配反復をアンロール・トランケートして、グラフデコンボリューションネットワーク(GDN)と呼ばれるパラメータ化ニューラルネットワークアーキテクチャに到達させる。
GDNは、教師付き方式でグラフの分布を学習し、損失関数を適応させることでリンク予測やエッジウェイト回帰タスクを実行し、本質的に帰納的である。
論文 参考訳(メタデータ) (2022-05-19T14:08:15Z) - Analyzing the Performance of Graph Neural Networks with Pipe Parallelism [2.269587850533721]
ノードやエッジの分類やリンクの予測といったタスクで大きな成功を収めたグラフニューラルネットワーク(GNN)に注目した。
グラフ技術の進歩には,大規模ネットワーク処理のための新たなアプローチが必要である。
私たちは、ディープラーニングコミュニティで成功したと知られている既存のツールとフレームワークを使用して、GNNを並列化する方法を研究します。
論文 参考訳(メタデータ) (2020-12-20T04:20:38Z) - GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。
自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。
3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
論文 参考訳(メタデータ) (2020-06-17T16:18:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。