論文の概要: Mixture of Weak & Strong Experts on Graphs

• arxiv url: http://arxiv.org/abs/2311.05185v2
• Date: Sat, 22 Jun 2024 22:45:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-26 04:39:08.278133
• Title: Mixture of Weak & Strong Experts on Graphs
• Title（参考訳）: グラフの弱さと強烈な専門家の混在
• Authors: Hanqing Zeng, Hanjia Lyu, Diyi Hu, Yinglong Xia, Jiebo Luo,
• Abstract要約: 弱い、強い専門家の混ざり合い(マースト) Mowstは最適化が容易で、強力な表現力を実現する。 4つのバックボーンGNNアーキテクチャでは、Mowstは6つの標準ノード分類ベンチマークで大幅な精度の向上を示している。
• 参考スコア（独自算出の注目度）: 56.878757632521555
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Realistic graphs contain both (1) rich self-features of nodes and (2) informative structures of neighborhoods, jointly handled by a Graph Neural Network (GNN) in the typical setup. We propose to decouple the two modalities by Mixture of weak and strong experts (Mowst), where the weak expert is a light-weight Multi-layer Perceptron (MLP), and the strong expert is an off-the-shelf GNN. To adapt the experts' collaboration to different target nodes, we propose a "confidence" mechanism based on the dispersion of the weak expert's prediction logits. The strong expert is conditionally activated in the low-confidence region when either the node's classification relies on neighborhood information, or the weak expert has low model quality. We reveal interesting training dynamics by analyzing the influence of the confidence function on loss: our training algorithm encourages the specialization of each expert by effectively generating soft splitting of the graph. In addition, our "confidence" design imposes a desirable bias toward the strong expert to benefit from GNN's better generalization capability. Mowst is easy to optimize and achieves strong expressive power, with a computation cost comparable to a single GNN. Empirically, Mowst on 4 backbone GNN architectures show significant accuracy improvement on 6 standard node classification benchmarks, including both homophilous and heterophilous graphs (https://github.com/facebookresearch/mowst-gnn).
• Abstract（参考訳）: 現実的なグラフは(1) ノードの豊富な自己特徴と(2) 近隣の情報構造の両方を含み、典型的な設定ではグラフニューラルネットワーク(GNN)が共同で処理する。 本稿では,弱い多層パーセプトロン (MLP) と弱い多層パーセプトロン (MLP) の混合により2つのモードを分離することを提案する。 専門家の協力関係を異なる目標ノードに適応させるために,弱い専門家の予測ロジットの分散に基づく「自信」機構を提案する。 強い専門家は、ノードの分類が近隣情報に依存するか、弱い専門家がモデル品質の低い場合、低信頼領域で条件的に活性化される。 我々は,信頼度関数が損失に与える影響を分析することによって,興味深いトレーニングダイナミクスを明らかにする。 さらに、我々の"自信"設計は、GNNのより良い一般化能力の恩恵を受けるために、強力な専門家に対して望ましいバイアスを課します。 Mowstは最適化が容易で、単一のGNNに匹敵する計算コストで強力な表現力を実現する。 4つのバックボーンGNNアーキテクチャ上のMowstは、ホモフィルグラフとヘテロフィルグラフ(https://github.com/facebookresearch/mowst-gnn)を含む6つの標準ノード分類ベンチマークにおいて、大幅な精度向上を示している。

関連論文リスト

• Teaching MLPs to Master Heterogeneous Graph-Structured Knowledge for Efficient and Accurate Inference [53.38082028252104]
  我々はHGNNの優れた性能とリレーショナルの効率的な推論を組み合わせたHG2MとHG2M+を紹介する。 HG2Mは直接、教師HGNNの入力とソフトラベルをターゲットとしてノード特徴を持つ生徒を訓練する。 HG2Mは、大規模IGB-3M-19データセット上でのHGNNよりも379.24$timesの速度アップを示す。
  論文  参考訳（メタデータ） (2024-11-21T11:39:09Z)
• Graph as a feature: improving node classification with non-neural graph-aware logistic regression [2.952177779219163]
  Graph-aware Logistic Regression (GLR) はノード分類タスク用に設計された非神経モデルである。 GNNにアクセスできる情報のごく一部しか使わない従来のグラフアルゴリズムとは異なり、提案モデルではノードの特徴とエンティティ間の関係を同時に活用する。
  論文  参考訳（メタデータ） (2024-11-19T08:32:14Z)
• E2GNN: Efficient Graph Neural Network Ensembles for Semi-Supervised Classification [30.55931541782854]
  本研究では、グラフニューラルネットワーク(GNN)のアンサンブル学習を、人気のある半教師付き環境下で研究する。 ラベル付きノードとラベルなしノードの両方を活用することで,複数のGNNを学習可能な方法で組み立てる,効率的なアンサンブル学習者を提案する。 さまざまなGNNバックボーンと8つのベンチマークデータセットにまたがる、トランスダクティブとインダクティブ両方の設定に関する包括的な実験は、E2GNNの優位性を実証している。
  論文  参考訳（メタデータ） (2024-05-06T12:11:46Z)
• Robust Graph Neural Networks via Unbiased Aggregation [18.681451049083407]
  グラフニューラルネットワーク(GNN)の敵対的堅牢性は、強い適応攻撃によって発見されたセキュリティの誤った感覚のために疑問視されている。 私たちは、その堅牢性と限界を理解するために、統一されたロバストな見積もりポイントを提供する。
  論文  参考訳（メタデータ） (2023-11-25T05:34:36Z)
• Global Minima, Recoverability Thresholds, and Higher-Order Structure in GNNS [0.0]
  ランダムグラフ理論の観点から,グラフニューラルネットワーク(GNN)アーキテクチャの性能を解析する。 合成データにおける特定の高次構造と実データにおける経験的構造の混合が、GNNの性能に劇的な影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2023-10-11T17:16:33Z)
• Graph Neural Networks are Inherently Good Generalizers: Insights by Bridging GNNs and MLPs [71.93227401463199]
  本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。 PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
  論文  参考訳（メタデータ） (2022-12-18T08:17:32Z)
• NOSMOG: Learning Noise-robust and Structure-aware MLPs on Graphs [41.85649409565574]
  グラフネットワーク(GNN)は、非ユークリッド構造データを扱う上での有効性を実証している。 既存の方法は、ノードコンテンツ機能にのみ依存するマルチ層パーセプトロン(MLP)をトレーニングすることで、このスケーラビリティ問題に対処しようとする。 本稿では,NOSMOG(Noise-robust Structure-Awares On Graphs)を学習し,その課題を克服する。
  論文  参考訳（メタデータ） (2022-08-22T01:47:07Z)
• EvenNet: Ignoring Odd-Hop Neighbors Improves Robustness of Graph Neural Networks [51.42338058718487]
  グラフニューラルネットワーク(GNN)は、グラフ機械学習における有望なパフォーマンスについて、広範な研究の注目を集めている。 GCNやGPRGNNのような既存のアプローチは、テストグラフ上のホモフィリな変化に直面しても堅牢ではない。 偶数多項式グラフフィルタに対応するスペクトルGNNであるEvenNetを提案する。
  論文  参考訳（メタデータ） (2022-05-27T10:48:14Z)
• Bag of Tricks for Training Deeper Graph Neural Networks: A Comprehensive Benchmark Study [100.27567794045045]
  ディープグラフニューラルネットワーク(GNN)のトレーニングは、非常に難しい。 我々は、深層GNNの「トリック」を評価するための最初の公正かつ再現可能なベンチマークを示す。
  論文  参考訳（メタデータ） (2021-08-24T05:00:37Z)
• Information Obfuscation of Graph Neural Networks [96.8421624921384]
  本稿では,グラフ構造化データを用いた学習において,情報難読化による機密属性保護の問題について検討する。 本稿では,全変動量とワッサーシュタイン距離を交互に学習することで,事前決定された機密属性を局所的にフィルタリングするフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-09-28T17:55:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。