論文の概要: PostDeg: Placement Beats Parameterization in LayerNorm GNNs

• arxiv url: http://arxiv.org/abs/2606.14022v1
• Date: Fri, 12 Jun 2026 01:43:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 16:00:42.703545
• Title: PostDeg: Placement Beats Parameterization in LayerNorm GNNs
• Title（参考訳）: PostDeg:LayerNorm GNNにおけるプレースメントのパラメータ化に勝る
• Authors: Yash Tomar, Aryav Das,
• Abstract要約: LayerNormベースのGNNは、ノード選択ポリシーが依存すべきトポロジシグナルを定期的に消去する。 また、LayerNormの前に挿入された正のノードごとのスカラーを安定化項に分割し、LayerNormがスコアヘッドに到達した後に挿入された同じスカラーを表わす。 PostDeg、パラメータフリーのPost-LayerNorm逆スケール、およびルールを拒否する4つのファルシファイアを事前登録する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LayerNorm-based GNNs routinely erase the topology signals (degree, centrality, $k$-core) that node-selection policies should depend on, but the literature has not located where in the residual block the erasure happens. We answer that question: a positive per-node scalar inserted before LayerNorm is divided out up to a stabilizer term, while the same scalar inserted after LayerNorm reaches the score head as representation magnitude. The surviving slot is the post-LayerNorm position. We instantiate it with PostDeg, a parameter-free post-LayerNorm inverse-degree scale, and pre-register four falsifiers (graphwise scalars, extra LayerNorm, expressive same-slot capacity, backbone-agnostic source) that would reject the rule. PostDeg gains $+3.5\%/+2.5\%/+5.6\%$ over the LN backbone on influence maximization, network dismantling, and maximum independent set, with $10/10$ paired-seed wins per task; none of the four falsifiers fires. The takeaway is that placement, not parameterization, carries the gain -- a small invariance check that generalizes to any positive topology scalar in any normalized residual stack.
• Abstract（参考訳）: LayerNormベースのGNNは、ノード選択ポリシーが依存すべきトポロジ信号(度数、中央値、$k$-core)を定期的に消去するが、その文献は、消去が発生する残りのブロックの場所を特定できていない。 LayerNormの前に挿入された正のノードごとのスカラーを安定化項に分割し、LayerNormの後に挿入された同じスカラーを表現の大きさとしてスコアヘッドに到達させる。 残るスロットは、LayerNorm後の位置です。 PostDeg、パラメータフリーのPost-LayerNorm逆スケール、およびルールを拒否する4つのファルシファイア(グラフスカラー、余分なLayerNorm、表現可能な同スロット容量、バックボーン非依存ソース)をインスタンス化する。 PostDeg は LN のバックボーン上で最大化、ネットワーク分割、最大独立セットに対して$+3.5\%/+2.5\%/+5.6\% を獲得し、タスク毎に10/10ドルのペアシードが勝利する。 ポイントは、パラメータ化ではなく配置がゲインを持ち、正規化された残スタックの任意の正の位相スカラーに一般化する小さな不変性チェックである。

関連論文リスト

• A Generalized Tikhonov Layer for Interpretable-by-design Graph Neural Networks [13.21060867469272]
  Tikhonov層は、設計によって解釈可能なグラフニューラルネットワーク層である。 一度トレーニングされると、学習したパラメータはどのノードの特徴とグラフトポロジのどの側面を予測に利用しているかを直接明らかにする。
  論文  参考訳（メタデータ） (2026-05-27T15:01:16Z)
• Geometric Interpretation of Layer Normalization and a Comparative Analysis with RMSNorm [2.569159339315845]
  本稿では,LayerNormの幾何学的解釈について述べる。 我々は、LayerNormの定義が本質的に一様ベクトルと結びついていることを示します。 LayerNormの標準化ステップは3つの簡単なステップで理解できることを示す。
  論文  参考訳（メタデータ） (2024-09-19T17:58:07Z)
• Deep Graph Neural Networks via Posteriori-Sampling-based Node-Adaptive Residual Module [65.81781176362848]
  グラフニューラルネットワーク(GNN)は、近隣情報収集を通じてグラフ構造化データから学習することができる。 レイヤーの数が増えるにつれて、ノード表現は区別不能になり、オーバー・スムーシング(over-smoothing)と呼ばれる。 我々は,textbfPosterior-Sampling-based, Node-distinguish Residual Module (PSNR)を提案する。
  論文  参考訳（メタデータ） (2023-05-09T12:03:42Z)
• Refined Edge Usage of Graph Neural Networks for Edge Prediction [51.06557652109059]
  We propose a novel edge prediction paradigm named Edge-aware Message PassIng neuRal nEtworks (EMPIRE)。 まず,各エッジをトポロジや監督のためにのみ使用するエッジ分割手法を提案する。 監視エッジで接続されたペアと接続されていないペアの差を強調するために、さらにメッセージを重み付けして、その差を反映できる相対的なペアを強調します。
  論文  参考訳（メタデータ） (2022-12-25T23:19:56Z)
• ResNorm: Tackling Long-tailed Degree Distribution Issue in Graph Neural Networks via Normalization [80.90206641975375]
  本稿では,正規化によるGNNの性能向上に焦点をあてる。 グラフ中のノード次数の長期分布を調べることにより、GNNの新しい正規化法を提案する。 ResNormの$scale$操作は、尾ノードの精度を向上させるために、ノード単位の標準偏差(NStd)分布を再設定する。
  論文  参考訳（メタデータ） (2022-06-16T13:49:09Z)
• $\alpha$-Stable convergence of heavy-tailed infinitely-wide neural networks [8.880921123362294]
  無限幅多層パーセプトロン(MLP)は、標準フィードフォワードニューラルネットワークの限界である。 与えられた隠蔽層の全ノードにおけるプレアクティベーション値のベクトルは、その極限に収束することを示す。
  論文  参考訳（メタデータ） (2021-06-18T01:36:41Z)
• Self Sparse Generative Adversarial Networks [73.590634413751]
  GAN(Generative Adversarial Networks)は、敵対的トレーニングを通じてデータ分布を学習する監視されていない生成モデルである。 本論文では,パラメータ空間を小さくし,ゼロ勾配問題を軽減するSelf Sparse Generative Adversarial Network (Self-Sparse GAN)を提案する。
  論文  参考訳（メタデータ） (2021-01-26T04:49:12Z)
• Understanding and Resolving Performance Degradation in Graph Convolutional Networks [105.14867349802898]
  グラフ畳み込みネットワーク(GCN)は複数のレイヤを積み重ね、グラフ構造化データ上でノード表現を学習するためのPROPとTRANを実行する。 GCNはモデルが深くなるとパフォーマンスが低下する傾向がある。 本稿では,TRANやPROPのみを積み重ねることによるGCNの性能劣化について実験的に検討する。
  論文  参考訳（メタデータ） (2020-06-12T12:12:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。