論文の概要: Weisfeiler and Leman Go Gambling: Why Expressive Lottery Tickets Win

• arxiv url: http://arxiv.org/abs/2506.03919v1
• Date: Wed, 04 Jun 2025 13:10:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 21:20:14.341295
• Title: Weisfeiler and Leman Go Gambling: Why Expressive Lottery Tickets Win
• Title（参考訳）: WeisfeilerとLeman Goのギャンブル: 表現力のあるロッテが勝つ理由
• Authors: Lorenz Kummer, Samir Moustafa, Anatol Ehrlich, Franka Bause, Nikolaus Suess, Wilfried N. Gansterer, Nils M. Kriege,
• Abstract要約: Lottery ticket hypothesis (LTH)は畳み込みニューラルネットワークによく研究されているが、グラフニューラルネットワーク(GNN)にのみ実証的に検証されている。 スパースワークの表現性、すなわち、非同型グラフを識別する能力は、予測性能を維持するための勝利チケットを見つけるのに不可欠である。 本研究は,低分子量GNNにおける表現性維持の重要性を浮き彫りにして,LTHおよびGNN研究の新たな理論的基盤を確立した。
• 参考スコア（独自算出の注目度）: 5.523076080195755
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The lottery ticket hypothesis (LTH) is well-studied for convolutional neural networks but has been validated only empirically for graph neural networks (GNNs), for which theoretical findings are largely lacking. In this paper, we identify the expressivity of sparse subnetworks, i.e. their ability to distinguish non-isomorphic graphs, as crucial for finding winning tickets that preserve the predictive performance. We establish conditions under which the expressivity of a sparsely initialized GNN matches that of the full network, particularly when compared to the Weisfeiler-Leman test, and in that context put forward and prove a Strong Expressive Lottery Ticket Hypothesis. We subsequently show that an increased expressivity in the initialization potentially accelerates model convergence and improves generalization. Our findings establish novel theoretical foundations for both LTH and GNN research, highlighting the importance of maintaining expressivity in sparsely initialized GNNs. We illustrate our results using examples from drug discovery.
• Abstract（参考訳）: 抽選券仮説(LTH)は畳み込みニューラルネットワークによく研究されているが、理論的な発見がほとんど欠けているグラフニューラルネットワーク(GNN)にのみ実証的に検証されている。 本稿では,スパースサブネットの表現性,すなわち非同型グラフを識別する能力について,予測性能を保った当選チケットの発見に不可欠であることを示す。 疎初期化GNNの表現性はWeisfeiler-Lemanテストと比較すると,全ネットワークの表現性と一致し,その文脈ではStrong Expressive Lottery Ticket仮説が証明される。 その後、初期化における表現性の向上がモデル収束を加速し、一般化を改善する可能性が示された。 本研究はLTHとGNNの両研究の新たな理論基盤を確立し,疎初期化GNNにおける表現性維持の重要性を強調した。 薬物発見の例を用いて,本研究の結果について解説する。

関連論文リスト

• Rethinking GNN Expressive Power from a Distributed Computational Model Perspective [21.723600297533835]
  事前処理と後処理を明確に指定した修正 CONGEST モデルなど,明確に定義された計算モデルを使用することによって,GNN 表現性を分析するためのより健全なフレームワークが提供される,と我々は主張する。 制約のない事前処理を許可したり、外部に計算された機能を組み込んだりすることは、これらの事前計算によって表現性が向上し、時には問題を引き起こす可能性があることを示す。 これらの否定的な結果にもかかわらず、計算モデルの観点から仮想ノードとエッジの効果を特徴付ける肯定的な結果も提示する。
  論文  参考訳（メタデータ） (2024-10-02T08:01:50Z)
• Generalization Limits of Graph Neural Networks in Identity Effects Learning [12.302336258860116]
  グラフニューラルネットワーク(GNN)は、さまざまなグラフドメインでデータ駆動学習を行う強力なツールとして登場した。 我々は、いわゆるアイデンティティ効果の学習において、GNNの新たな一般化特性と基本的限界を確立する。 我々の研究は、単純な認知タスクを行う際に、GNNの能力を理解する必要性によって動機付けられている。
  論文  参考訳（メタデータ） (2023-06-30T20:56:38Z)
• Deep Graph Neural Networks via Posteriori-Sampling-based Node-Adaptive Residual Module [65.81781176362848]
  グラフニューラルネットワーク(GNN)は、近隣情報収集を通じてグラフ構造化データから学習することができる。 レイヤーの数が増えるにつれて、ノード表現は区別不能になり、オーバー・スムーシング(over-smoothing)と呼ばれる。 我々は,textbfPosterior-Sampling-based, Node-distinguish Residual Module (PSNR)を提案する。
  論文  参考訳（メタデータ） (2023-05-09T12:03:42Z)
• Explainability in subgraphs-enhanced Graph Neural Networks [12.526174412246107]
  グラフ強化グラフニューラルネットワーク(SGNN)は,GNNの表現力を高めるために導入された。 本稿では, GNN の最近の解説者の一つである PGExplainer を SGNN に適用する。 本稿では,グラフ分類タスクにおけるSGNNの決定過程を説明することに成功していることを示す。
  論文  参考訳（メタデータ） (2022-09-16T13:39:10Z)
• Generalizing Graph Neural Networks on Out-Of-Distribution Graphs [51.33152272781324]
  トレーニンググラフとテストグラフの分散シフトを考慮せずにグラフニューラルネットワーク(GNN)を提案する。 このような環境では、GNNは、たとえ素早い相関であるとしても、予測のためのトレーニングセットに存在する微妙な統計的相関を利用する傾向がある。 本稿では,スプリアス相関の影響を排除するため,StableGNNと呼ばれる一般的な因果表現フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-11-20T18:57:18Z)
• Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
  目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。 本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
  論文  参考訳（メタデータ） (2021-10-12T01:11:07Z)
• The Surprising Power of Graph Neural Networks with Random Node Initialization [54.4101931234922]
  グラフニューラルネットワーク(GNN)は、関係データ上での表現学習に有効なモデルである。 標準 GNN はその表現力に制限があり、Weisfeiler-Leman グラフ同型(英語版)の能力以外の区別はできない。 本研究では,ランダムノード(RNI)を用いたGNNの表現力の解析を行う。 我々はこれらのモデルが普遍的であることを証明し、GNNが高次特性の計算に頼らない最初の結果である。
  論文  参考訳（メタデータ） (2020-10-02T19:53:05Z)
• How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks [80.55378250013496]
  勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。 グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
  論文  参考訳（メタデータ） (2020-09-24T17:48:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。