論文の概要: Mixture of Weak & Strong Experts on Graphs
- arxiv url: http://arxiv.org/abs/2311.05185v1
- Date: Thu, 9 Nov 2023 07:45:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-10 15:53:28.626740
- Title: Mixture of Weak & Strong Experts on Graphs
- Title(参考訳): グラフの弱さと強烈な専門家の混在
- Authors: Hanqing Zeng, Hanjia Lyu, Diyi Hu, Yinglong Xia, Jiebo Luo
- Abstract要約: 実数グラフは、ノードの豊富な自己特徴と近傍の情報構造の両方を含む。
弱い専門家と強い専門家の混在によって2つのモダリティを分離することを提案する(Mowst)。
Mowstは最適化が容易で、単一のGNNに匹敵する計算コストで強力な表現力を実現する。
- 参考スコア(独自算出の注目度): 61.02214500105396
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Realistic graphs contain both rich self-features of nodes and informative
structures of neighborhoods, jointly handled by a GNN in the typical setup. We
propose to decouple the two modalities by mixture of weak and strong experts
(Mowst), where the weak expert is a light-weight Multi-layer Perceptron (MLP),
and the strong expert is an off-the-shelf Graph Neural Network (GNN). To adapt
the experts' collaboration to different target nodes, we propose a "confidence"
mechanism based on the dispersion of the weak expert's prediction logits. The
strong expert is conditionally activated when either the node's classification
relies on neighborhood information, or the weak expert has low model quality.
We reveal interesting training dynamics by analyzing the influence of the
confidence function on loss: our training algorithm encourages the
specialization of each expert by effectively generating soft splitting of the
graph. In addition, our "confidence" design imposes a desirable bias toward the
strong expert to benefit from GNN's better generalization capability. Mowst is
easy to optimize and achieves strong expressive power, with a computation cost
comparable to a single GNN. Empirically, Mowst shows significant accuracy
improvement on 6 standard node classification benchmarks (including both
homophilous and heterophilous graphs).
- Abstract(参考訳): 実数グラフは、ノードの豊富な自己特徴と近隣の情報構造の両方を含み、典型的な設定でGNNが共同で扱う。
本稿では,弱い専門家と強い専門家(Mowst)が混在し,弱い専門家が軽量多層パーセプトロン(MLP)であり,強い専門家が既製のグラフニューラルネットワーク(GNN)である2つのモードを分離することを提案する。
専門家の協力関係を異なる目標ノードに適応させるために,弱い専門家の予測ロジットの分散に基づく「自信」機構を提案する。
強い専門家は、ノードの分類が近隣情報に依存するか、弱い専門家がモデル品質の低い場合に条件的に活性化される。
我々は,信頼度関数が損失に与える影響を分析することによって,興味深いトレーニングダイナミクスを明らかにする。
さらに、我々の"自信"設計は、GNNのより良い一般化能力の恩恵を受けるために、強力な専門家に対して望ましいバイアスを与えます。
Mowstは最適化が容易で、単一のGNNに匹敵する計算コストで強力な表現力を実現する。
経験的に、mowstは6つの標準ノード分類ベンチマーク(ホモフィアグラフとヘテロフィアグラフの両方を含む)においてかなりの精度向上を示している。
関連論文リスト
- Graph Out-of-Distribution Generalization via Causal Intervention [74.77883794668324]
本稿では,ノードレベルの分散シフトの下で頑健なグラフニューラルネットワーク(GNN)をトレーニングするための,概念的に単純だが原則化されたアプローチを提案する。
本手法は,環境推定器と熟練GNN予測器を協調する因果推論に基づく新たな学習目標を提案する。
本モデルでは,様々な分散シフトによる一般化を効果的に向上し,グラフOOD一般化ベンチマーク上での最先端の精度を最大27.4%向上させることができる。
論文 参考訳(メタデータ) (2024-02-18T07:49:22Z) - Accurate and Scalable Estimation of Epistemic Uncertainty for Graph
Neural Networks [40.95782849532316]
固有GNNの不確実性推定を改善するための新しいトレーニングフレームワークを提案する。
我々のフレームワークは、新しいグラフアンカー戦略を通じて、データをグラフデータに中心付けるという原則に適応する。
本研究は,GNNの不確実性推定に関する知見を提供し,信頼度推定におけるG-$Delta$UQの有用性を実証する。
論文 参考訳(メタデータ) (2024-01-07T00:58:33Z) - Robust Graph Neural Networks via Unbiased Aggregation [20.40814320483077]
グラフニューラルネットワーク(GNN)の敵対的堅牢性は、強い適応攻撃によって発見されたセキュリティの誤った感覚のために疑問視されている。
私たちは、その堅牢性と限界を理解するために、統一されたロバストな見積もりポイントを提供する。
論文 参考訳(メタデータ) (2023-11-25T05:34:36Z) - Global Minima, Recoverability Thresholds, and Higher-Order Structure in
GNNS [0.0]
ランダムグラフ理論の観点から,グラフニューラルネットワーク(GNN)アーキテクチャの性能を解析する。
合成データにおける特定の高次構造と実データにおける経験的構造の混合が、GNNの性能に劇的な影響を及ぼすことを示す。
論文 参考訳(メタデータ) (2023-10-11T17:16:33Z) - Graph Neural Networks are Inherently Good Generalizers: Insights by
Bridging GNNs and MLPs [71.93227401463199]
本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。
PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
論文 参考訳(メタデータ) (2022-12-18T08:17:32Z) - NOSMOG: Learning Noise-robust and Structure-aware MLPs on Graphs [41.85649409565574]
グラフネットワーク(GNN)は、非ユークリッド構造データを扱う上での有効性を実証している。
既存の方法は、ノードコンテンツ機能にのみ依存するマルチ層パーセプトロン(MLP)をトレーニングすることで、このスケーラビリティ問題に対処しようとする。
本稿では,NOSMOG(Noise-robust Structure-Awares On Graphs)を学習し,その課題を克服する。
論文 参考訳(メタデータ) (2022-08-22T01:47:07Z) - EvenNet: Ignoring Odd-Hop Neighbors Improves Robustness of Graph Neural
Networks [51.42338058718487]
グラフニューラルネットワーク(GNN)は、グラフ機械学習における有望なパフォーマンスについて、広範な研究の注目を集めている。
GCNやGPRGNNのような既存のアプローチは、テストグラフ上のホモフィリな変化に直面しても堅牢ではない。
偶数多項式グラフフィルタに対応するスペクトルGNNであるEvenNetを提案する。
論文 参考訳(メタデータ) (2022-05-27T10:48:14Z) - Bag of Tricks for Training Deeper Graph Neural Networks: A Comprehensive
Benchmark Study [100.27567794045045]
ディープグラフニューラルネットワーク(GNN)のトレーニングは、非常に難しい。
我々は、深層GNNの「トリック」を評価するための最初の公正かつ再現可能なベンチマークを示す。
論文 参考訳(メタデータ) (2021-08-24T05:00:37Z) - Information Obfuscation of Graph Neural Networks [96.8421624921384]
本稿では,グラフ構造化データを用いた学習において,情報難読化による機密属性保護の問題について検討する。
本稿では,全変動量とワッサーシュタイン距離を交互に学習することで,事前決定された機密属性を局所的にフィルタリングするフレームワークを提案する。
論文 参考訳(メタデータ) (2020-09-28T17:55:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。