論文の概要: Revisiting Random Walks for Learning on Graphs
- arxiv url: http://arxiv.org/abs/2407.01214v1
- Date: Mon, 1 Jul 2024 11:59:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-03 21:49:58.218738
- Title: Revisiting Random Walks for Learning on Graphs
- Title(参考訳): グラフ学習のためのランダムウォークの再検討
- Authors: Jinwoo Kim, Olga Zaghen, Ayhan Suleymanzade, Youngmin Ryou, Seunghoon Hong,
- Abstract要約: 我々は、グラフ上のランダムウォークが機械可読レコードを生成する、グラフ上の機械学習の簡単なアイデアを再考する。
これらの機械をランダムウォークニューラルネットワークと呼ぶ。
確率におけるグラフ関数の普遍近似を可能としながら、同型不変として設計できることが示される。
- 参考スコア(独自算出の注目度): 15.64437981617624
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We revisit a simple idea for machine learning on graphs, where a random walk on a graph produces a machine-readable record, and this record is processed by a deep neural network to directly make vertex-level or graph-level predictions. We refer to these stochastic machines as random walk neural networks, and show that we can design them to be isomorphism invariant while capable of universal approximation of graph functions in probability. A useful finding is that almost any kind of record of random walk guarantees probabilistic invariance as long as the vertices are anonymized. This enables us to record random walks in plain text and adopt a language model to read these text records to solve graph tasks. We further establish a parallelism to message passing neural networks using tools from Markov chain theory, and show that over-smoothing in message passing is alleviated by construction in random walk neural networks, while over-squashing manifests as probabilistic under-reaching. We show that random walk neural networks based on pre-trained language models can solve several hard problems on graphs, such as separating strongly regular graphs where the 3-WL test fails, counting substructures, and transductive classification on arXiv citation network without training. Code is available at https://github.com/jw9730/random-walk.
- Abstract(参考訳): グラフ上のランダムウォークが機械可読レコードを生成するグラフ上での機械学習の簡単なアイデアを再考し、このレコードはディープニューラルネットワークによって処理され、頂点レベルまたはグラフレベルの予測を直接行う。
これらの確率的機械をランダムウォークニューラルネットワークと呼び、確率でグラフ関数を普遍的に近似しながら同型不変として設計できることを示す。
有用な発見は、あらゆる種類のランダムウォーク記録が、頂点が匿名化されている限り、確率的不変性を保証することである。
これにより、ランダムウォークをプレーンテキストで記録し、言語モデルを用いてこれらのテキストレコードを読み取ってグラフタスクを解くことができる。
さらに、マルコフ連鎖理論のツールを用いたメッセージパッシングニューラルネットワークの並列性を確立し、ランダムウォークニューラルネットワークの構築によってメッセージパッシングの過度な平滑化が軽減され、オーバーシャッシングが確率的アンダーリーチングとして表されることを示す。
事前学習された言語モデルに基づくランダムウォークニューラルネットワークは、3WLテストが失敗する強い正則グラフを分離したり、サブ構造をカウントしたり、トレーニングなしでarXiv励振ネットワーク上でのトランスダクティブ分類といった、グラフ上のいくつかの難しい問題を解くことができることを示す。
コードはhttps://github.com/jw9730/random-walkで入手できる。
関連論文リスト
- Sum-Product-Set Networks: Deep Tractable Models for Tree-Structured Graphs [0.0]
木構造グラフデータから木構造グラフデータへの確率回路の拡張である和積集合ネットワークを提案する。
我々は,ニューラルネットワークに基づく様々な抽出可能なモデルに対して,抽出可能なモデルが比較可能であることを実証した。
論文 参考訳(メタデータ) (2024-08-14T09:13:27Z) - GNN-LoFI: a Novel Graph Neural Network through Localized Feature-based
Histogram Intersection [51.608147732998994]
グラフニューラルネットワークは、グラフベースの機械学習の選択フレームワークになりつつある。
本稿では,古典的メッセージパッシングに代えて,ノード特徴の局所分布を解析するグラフニューラルネットワークアーキテクチャを提案する。
論文 参考訳(メタデータ) (2024-01-17T13:04:23Z) - Finding Hamiltonian cycles with graph neural networks [0.0]
我々は、ErdHos-Rnyiのランダムグラフ上でハミルトン周期を予測するために、小さなメッセージパスグラフニューラルネットワークを訓練する。
このモデルは、より大きなグラフサイズによく一般化され、元の8倍の大きさのグラフでも妥当な性能を維持する。
論文 参考訳(メタデータ) (2023-06-10T21:18:31Z) - Machine learning of percolation models using graph convolutional neural
networks [1.0499611180329804]
機械学習手法によるパーコレーション閾値の予測は依然として困難である。
我々は、教師なしと教師なしの両方の方法でパーコレーションを研究するために、強力なグラフ畳み込みニューラルネットワークを構築します。
論文 参考訳(メタデータ) (2022-07-07T15:17:40Z) - A generative neural network model for random dot product graphs [1.1421942894219896]
GraphMoEは、ランダムグラフの生成モデルを学ぶための新しいアプローチである。
ニューラルネットワークは、モーメント推定器を用いて、ランダムグラフのクラスの分布と一致するように訓練される。
論文 参考訳(メタデータ) (2022-04-15T19:59:22Z) - Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。
GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。
提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
論文 参考訳(メタデータ) (2022-03-03T09:53:53Z) - Graph Kernel Neural Networks [53.91024360329517]
本稿では、グラフ上の内部積を計算するカーネル関数であるグラフカーネルを用いて、標準畳み込み演算子をグラフ領域に拡張することを提案する。
これにより、入力グラフの埋め込みを計算する必要のない完全に構造的なモデルを定義することができる。
私たちのアーキテクチャでは,任意の種類のグラフカーネルをプラグインすることが可能です。
論文 参考訳(メタデータ) (2021-12-14T14:48:08Z) - Very Deep Graph Neural Networks Via Noise Regularisation [57.450532911995516]
グラフニューラルネットワーク(GNN)は、入力グラフを介して学習されたメッセージパッシングを実行する。
最大100のメッセージパッシングステップを持つディープGNNをトレーニングし、いくつかの最先端の結果を得る。
論文 参考訳(メタデータ) (2021-06-15T08:50:10Z) - Bosonic Random Walk Networks for Graph Learning [32.24009574184356]
グラフにまたがる拡散情報に対する多粒子量子ウォークの適用を検討する。
我々のモデルは、グラフ上の量子ランダムウォーカーのダイナミクスを制御する演算子の学習に基づいている。
分類および回帰作業における本手法の有効性を実証する。
論文 参考訳(メタデータ) (2020-12-31T21:40:40Z) - Analyzing Neural Networks Based on Random Graphs [77.34726150561087]
様々なタイプのランダムグラフに対応するアーキテクチャを用いて,ニューラルネットワークの大規模評価を行う。
古典的な数値グラフ不変量は、それ自体が最良のネットワークを選び出すことができない。
また、主に短距離接続を持つネットワークは、多くの長距離接続が可能なネットワークよりも性能が良いことも見出した。
論文 参考訳(メタデータ) (2020-02-19T11:04:49Z) - Block-Approximated Exponential Random Graphs [77.4792558024487]
指数乱グラフ(ERG)の分野における重要な課題は、大きなグラフ上の非自明なERGの適合である。
本稿では,非自明なERGに対する近似フレームワークを提案する。
我々の手法は、数百万のノードからなるスパースグラフにスケーラブルである。
論文 参考訳(メタデータ) (2020-02-14T11:42:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。