論文の概要: Pruning at Initialisation through the lens of Graphon Limit: Convergence, Expressivity, and Generalisation

• arxiv url: http://arxiv.org/abs/2602.06675v1
• Date: Fri, 06 Feb 2026 13:02:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-09 22:18:26.403386
• Title: Pruning at Initialisation through the lens of Graphon Limit: Convergence, Expressivity, and Generalisation
• Title（参考訳）: グラフオン限界のレンズによる初期化時のプルーニング:収束性、表現性、一般化
• Authors: Hoang Pham, The-Anh Ta, Long Tran-Thanh,
• Abstract要約: 初期化法におけるプルーニングは、訓練前にスパースで訓練可能なワークを発見するが、その理論的メカニズムは解明されていない。 本研究では、離散固有プルーニングをグラフトンによるグラフ極限理論に結合し、PaIマスクのグラフ極限を確立する。 i) アクティブ座標部分空間の次元にのみ依存するスパースネットワークに対する普遍近似定理と(ii) グラノン-NTK一般化の2つの基本的な理論結果が導かれる。
• 参考スコア（独自算出の注目度）: 16.628325681877556
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pruning at Initialisation methods discover sparse, trainable subnetworks before training, but their theoretical mechanisms remain elusive. Existing analyses are often limited to finite-width statistics, lacking a rigorous characterisation of the global sparsity patterns that emerge as networks grow large. In this work, we connect discrete pruning heuristics to graph limit theory via graphons, establishing the graphon limit of PaI masks. We introduce a Factorised Saliency Model that encompasses popular pruning criteria and prove that, under regularity conditions, the discrete masks generated by these algorithms converge to deterministic bipartite graphons. This limit framework establishes a novel topological taxonomy for sparse networks: while unstructured methods (e.g., Random, Magnitude) converge to homogeneous graphons representing uniform connectivity, data-driven methods (e.g., SNIP, GraSP) converge to heterogeneous graphons that encode implicit feature selection. Leveraging this continuous characterisation, we derive two fundamental theoretical results: (i) a Universal Approximation Theorem for sparse networks that depends only on the intrinsic dimension of active coordinate subspaces; and (ii) a Graphon-NTK generalisation bound demonstrating how the limit graphon modulates the kernel geometry to align with informative features. Our results transform the study of sparse neural networks from combinatorial graph problems into a rigorous framework of continuous operators, offering a new mechanism for analysing expressivity and generalisation in sparse neural networks.
• Abstract（参考訳）: 初期化法におけるプルーニングは訓練前にスパースで訓練可能なサブネットを発見するが、その理論的メカニズムは解明されていない。 既存の分析はしばしば有限幅統計に限られており、ネットワークが大きくなるにつれて現れるグローバルな空間パターンの厳密な特徴化を欠いている。 本研究では、離散プルーニングヒューリスティックスをグラフトンによるグラフ極限理論に結合し、PaIマスクのグラフ極限を確立する。 定性条件下では,これらのアルゴリズムが生成する離散マスクが決定論的二部グラフトンに収束することを証明する。 この制限フレームワークはスパースネットワークの新たなトポロジカル分類を確立し、非構造的手法(例:ランダム、マグニチュード)は一様接続を表す同質グラフトンに収束するが、データ駆動手法(例:SNIP、GraSP)は暗黙的な特徴選択を符号化する異質グラフトンに収束する。 この連続的な特徴化を活用すれば、2つの基本的な理論的結果が得られる。 (i)活性座標部分空間の内在次元にのみ依存するスパースネットワークに対する普遍近似理論 (ii) 限界グラフンは、情報的特徴と整合するために、どのようにカーネル幾何学を変調するかを示すグラモン-NTK一般化。 この結果は,スパースニューラルネットワークの研究を,組合せグラフ問題から連続演算子の厳密な枠組みへと変換し,スパースニューラルネットワークの表現性と一般化を解析するための新しいメカニズムを提供する。

関連論文リスト

• The Graphon Limit Hypothesis: Understanding Neural Network Pruning via Infinite Width Analysis [36.176112635780406]
  無限幅限界におけるスパースネットワークのトレーニング力学について検討する。 我々のフレームワークは、様々なスパースネットワークアーキテクチャのトレーニング性に対する接続パターンの影響に関する理論的知見を提供する。
  論文  参考訳（メタデータ） (2025-10-20T13:13:35Z)
• Genus expansion for non-linear random matrix ensembles with applications to neural networks [3.801509221714223]
  本研究では,ある非線形ランダム行列アンサンブルと関連するランダムニューラルネットワークを統一的に研究する手法を提案する。 我々は、ファア・ディ・ブルーノの公式を任意の数の合成に一般化するニューラルネットワークに対して、新しい級数展開を用いる。 応用として、ランダムな重みを持つニューラルネットワークについて、いくつかの結果を証明した。
  論文  参考訳（メタデータ） (2024-07-11T12:58:07Z)
• What Improves the Generalization of Graph Transformers? A Theoretical Dive into the Self-attention and Positional Encoding [67.59552859593985]
  自己アテンションと位置エンコーディングを組み込んだグラフトランスフォーマーは、さまざまなグラフ学習タスクのための強力なアーキテクチャとして登場した。 本稿では,半教師付き分類のための浅いグラフ変換器の理論的検討について紹介する。
  論文  参考訳（メタデータ） (2024-06-04T05:30:16Z)
• Revealing Decurve Flows for Generalized Graph Propagation [108.80758541147418]
  本研究は,有向グラフと重み付きグラフを用いて,m文を一般化した伝播を定義することによって,従来のメッセージパッシング(中心からグラフ学習)の限界に対処する。 この分野ではじめて、データセットにおける学習された伝播パターンの予備的な探索を含む。
  論文  参考訳（メタデータ） (2024-02-13T14:13:17Z)
• Supercharging Graph Transformers with Advective Diffusion [28.40109111316014]
  本稿では,この課題に対処するために,物理に着想を得たグラフトランスモデルであるAdvDIFFormerを提案する。 本稿では,AdvDIFFormerが位相シフトによる一般化誤差を制御できることを示す。 経験的に、このモデルは情報ネットワーク、分子スクリーニング、タンパク質相互作用の様々な予測タスクにおいて優位性を示す。
  論文  参考訳（メタデータ） (2023-10-10T08:40:47Z)
• Joint Network Topology Inference via Structured Fusion Regularization [70.30364652829164]
  結合ネットワークトポロジ推論は、異種グラフ信号から複数のグラフラプラシア行列を学習する標準的な問題を表す。 新規な構造化融合正規化に基づく一般グラフ推定器を提案する。 提案するグラフ推定器は高い計算効率と厳密な理論保証の両方を享受できることを示す。
  論文  参考訳（メタデータ） (2021-03-05T04:42:32Z)
• Block-Approximated Exponential Random Graphs [77.4792558024487]
  指数乱グラフ(ERG)の分野における重要な課題は、大きなグラフ上の非自明なERGの適合である。 本稿では,非自明なERGに対する近似フレームワークを提案する。 我々の手法は、数百万のノードからなるスパースグラフにスケーラブルである。
  論文  参考訳（メタデータ） (2020-02-14T11:42:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。