論文の概要: Implicit Regularization of Mini-Batch Training in Graph Neural Networks
- arxiv url: http://arxiv.org/abs/2605.22480v1
- Date: Thu, 21 May 2026 13:39:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-22 16:35:42.277673
- Title: Implicit Regularization of Mini-Batch Training in Graph Neural Networks
- Title（参考訳）: グラフニューラルネットワークにおけるミニバッチ学習の暗黙の正規化
- Authors: Clement Wang, Antoine Vialle, Robin Vaysse, Thomas Bonald,
- Abstract要約: グラフニューラルネットワーク(GNN)のミニバッチトレーニングは、i.d.データのトレーニングと根本的に異なる。
最も単純な可能なスキームであるRNS(Random Node Smpling)は、ウォールクロックメモリの少ない10のデータセットのうち8つのデータセットのフルグラフトレーニングにマッチするか、あるいは性能が向上することを示す。
- 参考スコア（独自算出の注目度）: 1.6336970769878818
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Mini-batch training of Graph Neural Networks (GNNs) is fundamentally different from training on i.i.d. data: sampling a subgraph alters the topology and introduces boundary effects, leading prior work to develop structure-aware samplers that preserve local connectivity and reduce embedding variance. Surprisingly, we demonstrate that the simplest possible scheme, Random Node Sampling (RNS), training on the induced subgraph of uniformly sampled nodes, matches or outperforms full-graph training on 8 of 10 datasets at a fraction of the wall-clock time and memory. To explain this, we apply backward error analysis to graph mini-batch Stochastic Gradient Descent (SGD) and show that it implicitly minimizes the sampled loss plus a regularizer proportional to the mini-batch gradient variance, a quantity directly shaped by the sampler. Although RNS discards local structure, it produces mini-batches whose expected loss is closer to the full-graph loss, and whose per-batch gradients have lower variance, yielding a better implicit objective. Our analysis reframes the choice of graph sampler as a form of implicit regularization, and identifies RNS as a strong, theoretically grounded method for scalable GNN training.
- Abstract（参考訳）: グラフニューラルネットワーク(GNN)のミニバッチトレーニングは、すなわちデータのトレーニングとは根本的に異なる: サブグラフをサンプリングするとトポロジが変化し、境界効果が導入される。
意外なことに、最も単純な可能なスキームであるランダムノードサンプリング(RNS)は、一様にサンプリングされたノードのインジェクションされたサブグラフをトレーニングし、ウォールクロック時間とメモリのごく一部で10のデータセットのうち8のフルグラフトレーニングを行う。
これを説明するために,グラフミニバッチSGD (Stochastic Gradient Descent) に後方誤差解析を適用し,サンプルの損失を暗黙的に最小化し,サンプルが直接形成する量であるミニバッチ勾配分散に比例する正則化器を加えたことを示す。
RNSは局所構造を捨てるが、期待される損失が全グラフ損失に近いミニバッチを生成し、バッチごとの勾配は分散が小さく、より暗黙的な目的をもたらす。
分析では,グラフサンプリングの選択を暗黙の正規化の一形態として再編成し,RSNを拡張性のあるGNNトレーニングのための強力な理論的基礎的手法として認識する。
関連論文リスト
- SGM-PINN: Sampling Graphical Models for Faster Training of Physics-Informed Neural Networks [4.262342157729123]
SGM-PINNは物理情報ニューラルネットワーク(PINN)のトレーニング効率を向上させるグラフベースの重要度サンプリングフレームワークである
提案手法の利点を実証し,従来の最先端サンプリング手法と比較して3倍の収束性を実現した。
論文 参考訳（メタデータ） (2024-07-10T04:31:50Z) - A Local Graph Limits Perspective on Sampling-Based GNNs [7.601210044390688]
本稿では,グラフニューラルネットワーク(GNN)を大規模入力グラフ上で学習するための理論的枠組みを提案する。
大規模な入力グラフの小さなサンプルを用いてサンプリングベースGNNのトレーニングから得られたパラメータが、グラフ全体において同じアーキテクチャをトレーニングした結果の$epsilon$近傍にあることを証明した。
論文 参考訳（メタデータ） (2023-10-17T02:58:49Z) - Graph Out-of-Distribution Generalization with Controllable Data
Augmentation [51.17476258673232]
グラフニューラルネットワーク(GNN)は,グラフ特性の分類において異常な性能を示した。
トレーニングとテストデータの選択バイアスが原因で、分散偏差が広まっています。
仮想サンプルの分布偏差を測定するためのOODキャリブレーションを提案する。
論文 参考訳（メタデータ） (2023-08-16T13:10:27Z) - Joint Edge-Model Sparse Learning is Provably Efficient for Graph Neural
Networks [89.28881869440433]
本稿では,グラフニューラルネットワーク(GNN)における結合エッジモデルスパース学習の理論的特徴について述べる。
解析学的には、重要なノードをサンプリングし、最小のマグニチュードでプルーニングニューロンをサンプリングすることで、サンプルの複雑さを減らし、テスト精度を損なうことなく収束を改善することができる。
論文 参考訳（メタデータ） (2023-02-06T16:54:20Z) - Training trajectories, mini-batch losses and the curious role of the
learning rate [13.848916053916618]
検証された勾配勾配勾配は、ディープラーニングのほぼすべての応用において、基本的な役割を担っていることを示す。
本稿では,ミニバッチの勾配と全バッチの関係を解析する簡単なモデルと幾何学的解釈を提案する。
特に、非常に低い損失値は、十分な学習率で1段階の降下に到達することができる。
論文 参考訳（メタデータ） (2023-01-05T21:58:46Z) - Learning Compact Features via In-Training Representation Alignment [19.273120635948363]
各エポックでは、トレーニングセットからサンプリングしたミニバッチを用いて損失関数の真の勾配を推定する。
In-Training Representation Alignment (ITRA) を提案する。
また,特徴表現学習における一致損失の望ましい影響を厳密に分析する。
論文 参考訳（メタデータ） (2022-11-23T22:23:22Z) - Learning GFlowNets from partial episodes for improved convergence and
stability [56.99229746004125]
生成フローネットワーク(GFlowNets)は、非正規化対象密度の下で離散オブジェクトのシーケンシャルサンプリングを訓練するアルゴリズムである。
GFlowNetsの既存のトレーニング目的は、状態または遷移に局所的であるか、あるいはサンプリング軌道全体にわたって報酬信号を伝達する。
強化学習におけるTD($lambda$)アルゴリズムにインスパイアされたサブトラジェクティブバランス(subtrajectory balance, SubTB($lambda$)を導入する。
論文 参考訳（メタデータ） (2022-09-26T15:44:24Z) - Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
勾配勾配勾配を用いた2層ReLUネットワークについて検討する。
SGDは単純な解に偏りがあることが示される。
また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
論文 参考訳（メタデータ） (2021-11-03T15:14:20Z) - Bandit Samplers for Training Graph Neural Networks [63.17765191700203]
グラフ畳み込みネットワーク(GCN)の訓練を高速化するために, ばらつきを低減したサンプリングアルゴリズムが提案されている。
これらのサンプリングアルゴリズムは、グラフ注意ネットワーク(GAT)のような固定重みよりも学習重量を含む、より一般的なグラフニューラルネットワーク(GNN)には適用できない。
論文 参考訳（メタデータ） (2020-06-10T12:48:37Z) - Improve SGD Training via Aligning Mini-batches [22.58823484394866]
In-Training Distribution Matching (ITDM) は、ディープニューラルネットワーク(DNN)のトレーニングを改善し、オーバーフィッティングを減らすために提案されている。
具体的には、SGDの各イテレーションにおいて、異なるミニバッチの分布のモーメントを一致させて特徴抽出器を正規化する。
論文 参考訳（メタデータ） (2020-02-23T15:10:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。