Fugu-MT 論文翻訳(概要): The Graphon Limit Hypothesis: Understanding Neural Network Pruning via Infinite Width Analysis

論文の概要: The Graphon Limit Hypothesis: Understanding Neural Network Pruning via Infinite Width Analysis

arxiv url: http://arxiv.org/abs/2510.17515v1
Date: Mon, 20 Oct 2025 13:13:35 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-25 00:56:39.459424
Title: The Graphon Limit Hypothesis: Understanding Neural Network Pruning via Infinite Width Analysis
Title（参考訳）: グラフオン限界仮説:無限幅解析によるニューラルネットワークのプルーニングの理解
Authors: Hoang Pham, The-Anh Ta, Tom Jacobs, Rebekka Burkholz, Long Tran-Thanh,
Abstract要約: 無限幅限界におけるスパースネットワークのトレーニング力学について検討する。我々のフレームワークは、様々なスパースネットワークアーキテクチャのトレーニング性に対する接続パターンの影響に関する理論的知見を提供する。
参考スコア（独自算出の注目度）: 36.176112635780406
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Sparse neural networks promise efficiency, yet training them effectively remains a fundamental challenge. Despite advances in pruning methods that create sparse architectures, understanding why some sparse structures are better trainable than others with the same level of sparsity remains poorly understood. Aiming to develop a systematic approach to this fundamental problem, we propose a novel theoretical framework based on the theory of graph limits, particularly graphons, that characterizes sparse neural networks in the infinite-width regime. Our key insight is that connectivity patterns of sparse neural networks induced by pruning methods converge to specific graphons as networks' width tends to infinity, which encodes implicit structural biases of different pruning methods. We postulate the Graphon Limit Hypothesis and provide empirical evidence to support it. Leveraging this graphon representation, we derive a Graphon Neural Tangent Kernel (Graphon NTK) to study the training dynamics of sparse networks in the infinite width limit. Graphon NTK provides a general framework for the theoretical analysis of sparse networks. We empirically show that the spectral analysis of Graphon NTK correlates with observed training dynamics of sparse networks, explaining the varying convergence behaviours of different pruning methods. Our framework provides theoretical insights into the impact of connectivity patterns on the trainability of various sparse network architectures.
Abstract（参考訳）: 疎いニューラルネットワークは効率を約束するが、効果的にトレーニングすることは根本的な課題である。スパースアーキテクチャを創出するプルーニング手法の進歩にもかかわらず、疎度が同じ水準の他のものよりも、スパース構造がより訓練しやすい理由を理解できないままである。この基本問題に対する体系的なアプローチの開発を目的として,無限幅のニューラルネットワークを特徴付けるグラフ制限理論,特にグラノンに基づく新しい理論的枠組みを提案する。我々の重要な洞察は、プルーニング手法によって誘導されるスパースニューラルネットワークの接続パターンは、ネットワークの幅が無限大になる傾向があるため、特定のグラノンに収束し、異なるプルーニング手法の暗黙的な構造バイアスを符号化するということである。グラフオン限界仮説を仮定し,それを支持する実証的な証拠を提供する。このグラフオン表現を応用して、無限幅限界におけるスパースネットワークのトレーニング力学を研究するためのグラフオンニューラルタンジェントカーネル(Graphon Neural Tangent Kernel, Graphon NTK)を導出する。 Graphon NTKはスパースネットワークの理論解析のための一般的なフレームワークを提供する。実験により,グラノンNTKのスペクトル解析はスパースネットワークのトレーニング力学と相関し,異なるプルーニング手法の収束挙動を説明できることを示した。我々のフレームワークは、様々なスパースネットワークアーキテクチャのトレーニング性に対する接続パターンの影響に関する理論的知見を提供する。

関連論文リスト

Spectral Theory for Edge Pruning in Asynchronous Recurrent Graph Neural Networks [0.0]
非同期リカレントグラフニューラルネットワーク(ARGNN)は、生物の複雑で適応的な性質に似た、動的グラフの複雑な依存関係をキャプチャする。本稿では,ネットワークグラフのラプラシアンの固有値の虚像成分を利用して,グラフスペクトル理論に基づく動的プルーニング手法を提案する。
論文参考訳（メタデータ） (2025-02-23T13:05:08Z)
A Signed Graph Approach to Understanding and Mitigating Oversmoothing in GNNs [54.62268052283014]
署名されたグラフの枠組みに基づく統一的な理論的視点を示す。既存の戦略の多くは、メッセージパッシングを変えて過度な操作に抵抗する負のエッジを暗黙的に導入している。本稿では,ラベルや特徴の類似性に基づいて署名されたエッジを割り当てるプラグイン・アンド・プレイ方式であるStructure Balanced Propagation (SBP)を提案する。
論文参考訳（メタデータ） (2025-02-17T03:25:36Z)
Superhypergraph Neural Networks and Plithogenic Graph Neural Networks: Theoretical Foundations [0.0]
ハイパーグラフは、エッジが複数のノードを接続できるようにすることによって伝統的なグラフを拡張し、一方スーパーハイパーグラフは、この概念をさらに複雑な関係を表すように一般化する。確立されたフレームワークであるグラフニューラルネットワーク(GNN)が先日,ハイパーグラフニューラルネットワーク(HGNN)に拡張された。本稿では,超HyperGraph Neural Networks(SHGNNs)とPlithogenic Graph Neural Networks(Plithogenic Graph Neural Networks)の理論的基盤を確立する。
論文参考訳（メタデータ） (2024-12-02T06:33:02Z)
Revealing Decurve Flows for Generalized Graph Propagation [108.80758541147418]
本研究は,有向グラフと重み付きグラフを用いて,m文を一般化した伝播を定義することによって,従来のメッセージパッシング(中心からグラフ学習)の限界に対処する。この分野ではじめて、データセットにおける学習された伝播パターンの予備的な探索を含む。
論文参考訳（メタデータ） (2024-02-13T14:13:17Z)
Fine-tuning Graph Neural Networks by Preserving Graph Generative Patterns [13.378277755978258]
プレトレーニンググラフと下流グラフの間の構造的ばらつきは,バニラ微調整戦略を用いた場合の転送可能性を大幅に制限することを示す。下流グラフの生成パターンを保存するためにG-Tuningを提案する。 G-Tuningはドメイン内およびドメイン外移行学習実験において平均0.5%と2.6%の改善を示している。
論文参考訳（メタデータ） (2023-12-21T05:17:10Z)
Learning Graph Structure from Convolutional Mixtures [119.45320143101381]
本稿では、観測されたグラフと潜伏グラフのグラフ畳み込み関係を提案し、グラフ学習タスクをネットワーク逆(デコンボリューション)問題として定式化する。固有分解に基づくスペクトル法の代わりに、近似勾配反復をアンロール・トランケートして、グラフデコンボリューションネットワーク(GDN)と呼ばれるパラメータ化ニューラルネットワークアーキテクチャに到達させる。 GDNは、教師付き方式でグラフの分布を学習し、損失関数を適応させることでリンク予測やエッジウェイト回帰タスクを実行し、本質的に帰納的である。
論文参考訳（メタデータ） (2022-05-19T14:08:15Z)
Graph-Coupled Oscillator Networks [23.597444325599835]
Graph-Coupled Networks (GraphCON)は、グラフのディープラーニングのための新しいフレームワークである。我々のフレームワークは,様々なグラフベースの学習タスクにおける最先端技術に関して,競争力のあるパフォーマンスを提供する。
論文参考訳（メタデータ） (2022-02-04T18:29:49Z)
Implicit Graph Neural Networks [46.0589136729616]
Indicit Graph Neural Networks (IGNN) と呼ばれるグラフ学習フレームワークを提案する。 IGNNは一貫して長距離依存を捉え、最先端のGNNモデルより優れている。
論文参考訳（メタデータ） (2020-09-14T06:04:55Z)
Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文参考訳（メタデータ） (2020-08-19T04:53:31Z)
Towards Deeper Graph Neural Networks [63.46470695525957]
グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。いくつかの最近の研究で、この性能劣化は過度に滑らかな問題に起因している。本研究では,大きな受容領域からの情報を適応的に組み込むディープ適応グラフニューラルネットワーク(DAGNN)を提案する。
論文参考訳（メタデータ） (2020-07-18T01:11:14Z)
Generalization bound of globally optimal non-convex neural network training: Transportation map estimation by infinite dimensional Langevin dynamics [50.83356836818667]
本稿では,ディープラーニングの最適化を一般化誤差と関連づけて解析する理論フレームワークを提案する。ニューラルネットワーク最適化分析のための平均場理論やニューラル・タンジェント・カーネル理論のような既存のフレームワークは、そのグローバル収束を示すために、ネットワークの無限幅の限界を取る必要がある。
論文参考訳（メタデータ） (2020-07-11T18:19:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。