論文の概要: Neighborhood Sampling Does Not Learn the Same Graph Neural Network

• arxiv url: http://arxiv.org/abs/2509.22868v1
• Date: Fri, 26 Sep 2025 19:28:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:18.917624
• Title: Neighborhood Sampling Does Not Learn the Same Graph Neural Network
• Title（参考訳）: 隣のサンプリングは、同じグラフニューラルネットワークを学ばない
• Authors: Zehao Niu, Mihai Anitescu, Jie Chen,
• Abstract要約: 大規模グラフニューラルネットワークのトレーニングにおいて,近傍サンプリングは重要な要素である。 提案手法は,複数の近傍サンプリング手法と,それに対応する後方GPについて検討する。
• 参考スコア（独自算出の注目度）: 7.312174450290588
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neighborhood sampling is an important ingredient in the training of large-scale graph neural networks. It suppresses the exponential growth of the neighborhood size across network layers and maintains feasible memory consumption and time costs. While it becomes a standard implementation in practice, its systemic behaviors are less understood. We conduct a theoretical analysis by using the tool of neural tangent kernels, which characterize the (analogous) training dynamics of neural networks based on their infinitely wide counterparts -- Gaussian processes (GPs). We study several established neighborhood sampling approaches and the corresponding posterior GP. With limited samples, the posteriors are all different, although they converge to the same one as the sample size increases. Moreover, the posterior covariance, which lower-bounds the mean squared prediction error, is uncomparable, aligning with observations that no sampling approach dominates.
• Abstract（参考訳）: 大規模グラフニューラルネットワークのトレーニングにおいて,近傍サンプリングは重要な要素である。 ネットワーク層をまたいだ近所の大きさの指数的な成長を抑え、実現可能なメモリ消費と時間コストを維持する。 実際には標準実装となっているが、その体系的な振る舞いは理解されていない。 我々は,ニューラルネットワークの(アナログな)トレーニングダイナミクスを,無限に広いプロセスであるガウス過程(GP)に基づいて特徴付けるニューラル・タンジェント・カーネルのツールを用いて理論的解析を行う。 提案手法は,複数の近傍サンプリング手法と,それに対応する後方GPについて検討する。 サンプルが限られている場合、後部は全て異なるが、サンプルのサイズが大きくなると同じに収束する。 さらに、平均二乗予測誤差を下げる後方共分散は、サンプリングアプローチが支配的でない観察と一致して、比較不可能である。

関連論文リスト

• Deep learning with missing data [3.829599191332801]
  本稿では,既存の計算手法と組み合わせて適用可能なパターン埋め込みニューラルネットワーク(PENN)を提案する。 インプットされたデータに基づいてトレーニングされたニューラルネットワークに加えて、PENNは観察指標のベクトルを第2のニューラルネットワークに渡して、コンパクトな表現を提供する。 出力は第3のニューラルネットワークに結合され、最終的な予測が生成される。
  論文  参考訳（メタデータ） (2025-04-21T18:57:36Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Joint Edge-Model Sparse Learning is Provably Efficient for Graph Neural Networks [89.28881869440433]
  本稿では,グラフニューラルネットワーク(GNN)における結合エッジモデルスパース学習の理論的特徴について述べる。 解析学的には、重要なノードをサンプリングし、最小のマグニチュードでプルーニングニューロンをサンプリングすることで、サンプルの複雑さを減らし、テスト精度を損なうことなく収束を改善することができる。
  論文  参考訳（メタデータ） (2023-02-06T16:54:20Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
  ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。 特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
  論文  参考訳（メタデータ） (2022-03-27T15:22:19Z)
• Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
  目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。 本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
  論文  参考訳（メタデータ） (2021-10-12T01:11:07Z)
• Multi-Sample Online Learning for Spiking Neural Networks based on Generalized Expectation Maximization [42.125394498649015]
  スパイキングニューラルネットワーク(SNN)は、バイナリニューラルダイナミックアクティベーションを通じて処理することで、生物学的脳の効率の一部をキャプチャする。 本稿では, シナプス重みを共有しながら, 独立したスパイキング信号をサンプリングする複数のコンパートメントを活用することを提案する。 鍵となる考え方は、これらの信号を使ってログライクなトレーニング基準のより正確な統計的推定と勾配を求めることである。
  論文  参考訳（メタデータ） (2021-02-05T16:39:42Z)
• Topological Insights into Sparse Neural Networks [16.515620374178535]
  本稿では,グラフ理論の観点から,スパースニューラルネットワークトポロジの理解と比較を行うアプローチを提案する。 まず、異なるスパースニューラルネットワーク間の距離を測定するために、NNSTD(Neural Network Sparse Topology Distance)を提案する。 適応的なスパース接続は、高密度モデルよりも優れた非常に異なるトポロジを持つスパースサブネットワークを常に顕在化することができることを示す。
  論文  参考訳（メタデータ） (2020-06-24T22:27:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。