論文の概要: RADE: Random Add-Drop Edge as a Regularizer
- arxiv url: http://arxiv.org/abs/2606.00757v2
- Date: Tue, 02 Jun 2026 16:10:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-03 18:57:50.367422
- Title: RADE: Random Add-Drop Edge as a Regularizer
- Title(参考訳): RADE: 正規化ツールとしてのランダムなアドドロップエッジ
- Authors: Danial Saber, Amirali Salehi-Abari,
- Abstract要約: グラフニューラルネットワーク(GNN)は、長距離情報の過度な適合と過度な監視に悩まされる。
我々は,過剰適合とオーバーシャッシングの両方に同時に対処するエッジを共同でドロップし,付加するグラフ拡張手法であるRandom Add-Drop Edge (RADE)を提案する。
- 参考スコア(独自算出の注目度): 2.435006380732194
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Graph Neural Networks (GNNs) suffer from overfitting and over-squashing of long-range information. Stochastic graph augmentations (e.g., edge deletion) regularize training against overfitting but can introduce train-inference misalignment and do not improve over-squashing. In contrast, rewiring methods improve connectivity to mitigate over-squashing, but are not designed to regularize training. We propose Random Add-Drop Edge (RADE), a stochastic graph augmentation method that jointly drops and adds edges to address both overfitting and over-squashing simultaneously. RADE is provably designed to align training and inference so that random augmentations regularize training without distribution shift, while supporting long-range communication at inference. We further propose and study a mini-batch gradient-norm balancing algorithm that adapts deletion and addition rates during training, rendering RADE hyperparameter-free in practice. Experiments on node- and graph-classification benchmarks show that RADE is a strong regularizer and mitigates over-squashing. Ablations support the roles of train-inference alignment, adaptive rate selection, and the complementary effects of random edge deletion and edge addition.
- Abstract(参考訳): グラフニューラルネットワーク(GNN)は、長距離情報の過度な適合と過度な監視に悩まされる。
確率グラフ強化(例えば、エッジ削除)は、過適合に対するトレーニングを正規化するが、列車推論のミスアライメントを導入し、オーバースカッシングを改善しない。
これとは対照的に、リワイアリング手法はオーバースカッシングを緩和するために接続性を改善するが、トレーニングの正規化のためには設計されていない。
そこで我々は,確率グラフ拡張手法であるRandom Add-Drop Edge (RADE)を提案する。
RADEは、トレーニングと推論を整合させることで、ランダムな拡張が分散シフトなしでトレーニングを規則化すると同時に、推論時の長距離通信をサポートするように設計されている。
さらに、トレーニング中に削除率と加算率に適応し、実際にRADEハイパーパラメータフリーをレンダリングするミニバッチ勾配ノルムバランスアルゴリズムを提案し、研究する。
ノード分類とグラフ分類のベンチマークの実験では、RADEは強力な正規化器であり、オーバースカッシングを緩和している。
アブレーションは、列車干渉アライメント、適応速度選択、ランダムエッジの削除とエッジの追加の相補効果の役割をサポートする。
関連論文リスト
- Grappa: Gradient-Only Communication for Scalable Graph Neural Network Training [2.3139750881704044]
Grappaは、勾配のみの通信を実行する分散GNNトレーニングフレームワークである。
各イテレーションでは、パーティションは独立してトレーニングされ、グローバルアップデートのためにのみ交換される。
また,Grappaは最先端システムに比べて,GNNを4倍(最大13倍)高速化することを示した。
論文 参考訳(メタデータ) (2026-02-02T09:44:12Z) - Tortoise and Hare Guidance: Accelerating Diffusion Model Inference with Multirate Integration [5.634791333443662]
Tortoise and Hare Guidance(THG)は、高忠実度生成を維持しながら拡散サンプリングを加速するトレーニングフリー戦略である。
THGは機能評価(NFE)の回数を30%まで削減し, 世代密度の低下はほとんど生じないことを示した。
本研究は,拡散解法におけるマルチレート定式化の可能性を強調し,モデル再構成なしにリアルタイムな高品質な画像合成を実現することを目的とした。
論文 参考訳(メタデータ) (2025-11-06T07:08:58Z) - Why Does Dropping Edges Usually Outperform Adding Edges in Graph Contrastive Learning? [54.44813218411879]
グラフがネットワークにどのように適合するかを定量化するために、新しいメトリック、すなわちエラー通過率(EPR)を導入する。
理論的な結論とポジティブ・インセンティブ雑音のアイデアに触発されて、我々は新しいGCLアルゴリズム、エラー・パッシングに基づくグラフコントラスト学習(EPAGCL)を提案する。
EPRから得られる重みに基づいてエッジの追加とドロップによりビューを生成する。
論文 参考訳(メタデータ) (2024-12-11T06:31:06Z) - ADEdgeDrop: Adversarial Edge Dropping for Robust Graph Neural Networks [53.41164429486268]
グラフニューラルネットワーク(GNN)は、近隣ノードからグラフ構造化情報を収集する強力な能力を示した。
GNNの性能は、ノイズや冗長なグラフデータによって引き起こされる一般化の貧弱さと脆弱な堅牢性によって制限される。
本稿では,エッジの除去を誘導する対向エッジ予測器を利用する新しい対向エッジドロップ法 (ADEdgeDrop) を提案する。
論文 参考訳(メタデータ) (2024-03-14T08:31:39Z) - Training Robust Graph Neural Networks with Topology Adaptive Edge
Dropping [116.26579152942162]
グラフニューラルネットワーク(GNN)は、グラフ構造情報を利用してネットワークデータから表現をモデル化する処理アーキテクチャである。
彼らの成功にもかかわらず、GNNは限られた訓練データから得られる準最適一般化性能に悩まされている。
本稿では、一般化性能を改善し、堅牢なGNNモデルを学習するためのトポロジ適応エッジドロップ法を提案する。
論文 参考訳(メタデータ) (2021-06-05T13:20:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。