論文の概要: A Unifying Relational Perspective on Expressive Lottery Tickets
- arxiv url: http://arxiv.org/abs/2608.18819v1
- Date: Wed, 19 Aug 2026 11:16:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-20 20:13:55.382764
- Title: A Unifying Relational Perspective on Expressive Lottery Tickets
- Title(参考訳): 表現的ロテリティティケットの統一的リレーショナル・パースペクティブ
- Abstract要約: パラメータ空間が関係性(RGNN)と時間性(TGNN)の表現性に与える影響について検討する。
我々は、一般的なTGNNとクロスグラフメッセージパッシング方式が、これらの保証を継承するようにRGNNの改定を認めていることを示す。
実験は、境界をインスタンス化し、合成データの経験的確率と比較し、事前学習された表現性が最適化と予測品質メトリクスにどのように関係するかを研究する。
- 参考スコア(独自算出の注目度): 3.151556208794165
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph neural networks (GNNs) are widely used, but how parameter sparsity affects the expressivity of relational (RGNNs) and temporal (TGNNs) variants is poorly understood. The Strong Expressive Lottery Ticket Hypothesis (SELTH) posits the existence of sparse GNNs that preserve Weisfeiler-Leman (WL) expressivity on static graphs. We generalize this existence result to a probabilistic statement for multi-relational and temporal domains via the relational WL (RWL). We prove that sufficiently parameterized RGNNs contain sparse subnetworks that maintain 1-RWL expressivity and derive a lower bound on the probability that a random pruning yields such a subnetwork. We show that common TGNNs and cross-graph message passing schemes admit RGNN reformulations such that they inherit these guarantees and, moreover, that the expressivity of a sparse RGNN is connected to its optimization behavior under common update regimes. Experiments instantiate the bound, compare it to empirical probabilities on synthetic data, and study how pre-training expressivity relates to optimization and prediction quality metrics on temporal and molecular benchmarks.
- Abstract(参考訳): グラフニューラルネットワーク(GNN)は広く用いられているが,パラメータ空間が関係性(RGNN)と時間性(TGNN)の表現性にどのように影響するかは理解されていない。
SELTH(Strong Expressive Lottery Ticket hypothesis)は、静的グラフ上のWeisfeiler-Leman(WL)表現性を保持するスパースGNNの存在を示唆している。
我々は、この存在を、リレーショナルWL(RWL)を介して、多関係領域と時間領域の確率論的ステートメントに一般化する。
十分にパラメータ化されたRGNNは1-RWLの表現性を保ち、ランダムプルーニングがそのようなサブネットを生成する確率に基づいて低い境界を導出するスパースサブネットを含んでいることを証明した。
一般的なTGNNとクロスグラフメッセージパッシング方式は,これらの保証を継承するRGNNの改定を認め,また,スパースRGNNの表現性は,共通更新体制下での最適化行動と結びついていることを示す。
実験は、境界をインスタンス化し、合成データの経験的確率と比較し、事前学習された表現性が時間的および分子的ベンチマークにおける最適化と予測品質指標にどのように関係するかを研究する。
関連論文リスト
- Rethinking Message Passing as Retrieval for Text-Attributed Graph Learning [63.602658976990874]
グラフニューラルネットワーク(GNN)は通常、メッセージパッシングニューラルネットワークとして概念化されている。
本稿では,GNNの検索拡張ビューについて述べる。各レイヤは,検索したグラフコンテキストの置換インサマリとともに,ノード表現に変分を適用して予測を行う。
この観点から、構造的メッセージパッシングをラベル認識検索と伝搬に置き換えるシンプルな集約ベースのフレームワークであるRTAを提案する。
論文 参考訳(メタデータ) (2026-08-27T07:25:44Z) - Gaussian Sheaf Neural Networks [10.93842826346962]
本稿では,帰納的バイアスをグラフベース学習に組み込む原理的枠組みを提案する。
細胞層の理論に基づいて、この設定に層ラプラシアンを一般化し、その重要な性質を保存する新しいラプラシアン作用素を導出する。
論文 参考訳(メタデータ) (2026-05-20T17:26:32Z) - Weisfeiler and Leman Go Gambling: Why Expressive Lottery Tickets Win [5.523076080195755]
Lottery ticket hypothesis (LTH)は畳み込みニューラルネットワークによく研究されているが、グラフニューラルネットワーク(GNN)にのみ実証的に検証されている。
スパースワークの表現性、すなわち、非同型グラフを識別する能力は、予測性能を維持するための勝利チケットを見つけるのに不可欠である。
本研究は,低分子量GNNにおける表現性維持の重要性を浮き彫りにして,LTHおよびGNN研究の新たな理論的基盤を確立した。
論文 参考訳(メタデータ) (2025-06-04T13:10:59Z) - Rethinking GNN Expressive Power from a Distributed Computational Model Perspective [29.47675861430167]
事前処理と後処理を明確に指定した修正 CONGEST モデルなど,明確に定義された計算モデルを使用することによって,GNN 表現性を分析するためのより健全なフレームワークが提供される,と我々は主張する。
制約のない事前処理を許可したり、外部に計算された機能を組み込んだりすることは、これらの事前計算によって表現性が向上し、時には問題を引き起こす可能性があることを示す。
これらの否定的な結果にもかかわらず、計算モデルの観点から仮想ノードとエッジの効果を特徴付ける肯定的な結果も提示する。
論文 参考訳(メタデータ) (2024-10-02T08:01:50Z) - Non-convolutional Graph Neural Networks [46.79328529882998]
畳み込み演算子を完全に含まない単純なグラフ学習モジュールを設計し、RUMニューラルネットワークを用いたランダムウォークを作成した。
RUMは競合する性能を実現するが、より堅牢で、メモリ効率が高く、スケーラブルで、最も単純な畳み込みGNNよりも高速である。
論文 参考訳(メタデータ) (2024-07-31T21:29:26Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳(メタデータ) (2022-04-01T03:31:27Z) - Generalizing Graph Neural Networks on Out-Of-Distribution Graphs [51.33152272781324]
トレーニンググラフとテストグラフの分散シフトを考慮せずにグラフニューラルネットワーク(GNN)を提案する。
このような環境では、GNNは、たとえ素早い相関であるとしても、予測のためのトレーニングセットに存在する微妙な統計的相関を利用する傾向がある。
本稿では,スプリアス相関の影響を排除するため,StableGNNと呼ばれる一般的な因果表現フレームワークを提案する。
論文 参考訳(メタデータ) (2021-11-20T18:57:18Z) - Implicit vs Unfolded Graph Neural Networks [29.803948965931212]
暗黙的かつ展開的なGNNは、異なる規則間で強いノード分類精度が得られることを示す。
IGNNはメモリ効率がかなり高いが、UGNNモデルはユニークで統合されたグラフアテンション機構と伝搬規則をサポートしている。
論文 参考訳(メタデータ) (2021-11-12T07:49:16Z) - Counting Substructures with Higher-Order Graph Neural Networks:
Possibility and Impossibility Results [58.277290855841976]
グラフニューラルネットワーク(GNN)の計算コストと表現力のトレードオフについて検討する。
新しいモデルでは、$k$のサブグラフをカウントでき、低次GNNの既知の制限を克服できることを示す。
いくつかの場合において、提案アルゴリズムは既存の高階$k$-GNNに比べて計算量を大幅に削減することができる。
論文 参考訳(メタデータ) (2020-12-06T03:42:54Z) - The Surprising Power of Graph Neural Networks with Random Node
Initialization [54.4101931234922]
グラフニューラルネットワーク(GNN)は、関係データ上での表現学習に有効なモデルである。
標準 GNN はその表現力に制限があり、Weisfeiler-Leman グラフ同型(英語版)の能力以外の区別はできない。
本研究では,ランダムノード(RNI)を用いたGNNの表現力の解析を行う。
我々はこれらのモデルが普遍的であることを証明し、GNNが高次特性の計算に頼らない最初の結果である。
論文 参考訳(メタデータ) (2020-10-02T19:53:05Z) - Permutation-equivariant and Proximity-aware Graph Neural Networks with
Stochastic Message Passing [88.30867628592112]
グラフニューラルネットワーク(GNN)は、グラフ上の新たな機械学習モデルである。
置換等価性と近接認識性は、GNNにとって非常に望ましい2つの重要な特性である。
既存のGNNは、主にメッセージパッシング機構に基づいており、同時に2つの特性を保存できないことを示す。
ノードの近さを保つため,既存のGNNをノード表現で拡張する。
論文 参考訳(メタデータ) (2020-09-05T16:46:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。