論文の概要: Mixture of Weak & Strong Experts on Graphs

• arxiv url: http://arxiv.org/abs/2311.05185v2
• Date: Sat, 22 Jun 2024 22:45:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-06-26 04:39:08.278133
• Title: Mixture of Weak & Strong Experts on Graphs
• Title（参考訳）: グラフの弱さと強烈な専門家の混在
• Authors: Hanqing Zeng, Hanjia Lyu, Diyi Hu, Yinglong Xia, Jiebo Luo,
• Abstract要約: 弱い、強い専門家の混ざり合い(マースト) Mowstは最適化が容易で、強力な表現力を実現する。 4つのバックボーンGNNアーキテクチャでは、Mowstは6つの標準ノード分類ベンチマークで大幅な精度の向上を示している。
• 参考スコア（独自算出の注目度）: 56.878757632521555
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Realistic graphs contain both (1) rich self-features of nodes and (2) informative structures of neighborhoods, jointly handled by a Graph Neural Network (GNN) in the typical setup. We propose to decouple the two modalities by Mixture of weak and strong experts (Mowst), where the weak expert is a light-weight Multi-layer Perceptron (MLP), and the strong expert is an off-the-shelf GNN. To adapt the experts' collaboration to different target nodes, we propose a "confidence" mechanism based on the dispersion of the weak expert's prediction logits. The strong expert is conditionally activated in the low-confidence region when either the node's classification relies on neighborhood information, or the weak expert has low model quality. We reveal interesting training dynamics by analyzing the influence of the confidence function on loss: our training algorithm encourages the specialization of each expert by effectively generating soft splitting of the graph. In addition, our "confidence" design imposes a desirable bias toward the strong expert to benefit from GNN's better generalization capability. Mowst is easy to optimize and achieves strong expressive power, with a computation cost comparable to a single GNN. Empirically, Mowst on 4 backbone GNN architectures show significant accuracy improvement on 6 standard node classification benchmarks, including both homophilous and heterophilous graphs (https://github.com/facebookresearch/mowst-gnn).
• Abstract（参考訳）: 現実的なグラフは(1) ノードの豊富な自己特徴と(2) 近隣の情報構造の両方を含み、典型的な設定ではグラフニューラルネットワーク(GNN)が共同で処理する。 本稿では,弱い多層パーセプトロン (MLP) と弱い多層パーセプトロン (MLP) の混合により2つのモードを分離することを提案する。 専門家の協力関係を異なる目標ノードに適応させるために,弱い専門家の予測ロジットの分散に基づく「自信」機構を提案する。 強い専門家は、ノードの分類が近隣情報に依存するか、弱い専門家がモデル品質の低い場合、低信頼領域で条件的に活性化される。 我々は,信頼度関数が損失に与える影響を分析することによって,興味深いトレーニングダイナミクスを明らかにする。 さらに、我々の"自信"設計は、GNNのより良い一般化能力の恩恵を受けるために、強力な専門家に対して望ましいバイアスを課します。 Mowstは最適化が容易で、単一のGNNに匹敵する計算コストで強力な表現力を実現する。 4つのバックボーンGNNアーキテクチャ上のMowstは、ホモフィルグラフとヘテロフィルグラフ(https://github.com/facebookresearch/mowst-gnn)を含む6つの標準ノード分類ベンチマークにおいて、大幅な精度向上を示している。

関連論文リスト

• Graph Neural Networks Powered by Encoder Embedding for Improved Node Learning [17.31465642587528]
  グラフニューラルネットワーク(GNN)は、幅広いノードレベルのグラフ学習タスクのための強力なフレームワークとして登場した。 本稿では,1ホットグラフエンコーダ埋め込み (GEE) という統計的手法を用いて,高品質な初期ノード特徴を生成する。 本研究では,教師なし環境と教師なし環境の両方にまたがる広範囲なシミュレーションと実世界の実験を通して,その効果を実証する。
  論文  参考訳（メタデータ） (2025-07-15T21:01:54Z)
• Uncertainty-Aware Graph Neural Networks: A Multi-Hop Evidence Fusion Approach [55.43914153271912]
  グラフニューラルネットワーク(GNN)は、グラフ構造とノード機能を統合することにより、グラフ表現学習に優れる。 既存のGNNでは、モデルの深さによって異なるクラス確率の不確実性を考慮することができず、現実のシナリオでは信頼できない、リスクの高い予測が生じる。 本稿では,信頼に値する予測を達成し,ノード分類精度を高め,誤予測のリスクを明らかにするために,新しいEvidence Fusing Graph Neural Network (EFGNN)を提案する。
  論文  参考訳（メタデータ） (2025-06-16T03:59:38Z)
• MetaGMT: Improving Actionable Interpretability of Graph Multilinear Networks via Meta-Learning Filtration [6.102559098873098]
  本稿ではメタGMTというメタラーニングフレームワークを提案する。 その結果,MetaGMTは説明品質(AUC-ROC,Precision@K)とスプリアスパターンに対するロバスト性の両方を著しく改善することがわかった。 我々の研究は、現実世界のアプリケーションのためのより信頼性が高く実用的なGNNシステムの構築に寄与します。
  論文  参考訳（メタデータ） (2025-05-26T03:07:58Z)
• Convexified Message-Passing Graph Neural Networks [12.350115354262947]
  CGNN(Convexified Message Passing Graph Neural Networks)を導入する。 非線形ヒルベルトカーネルトレーニングを凸最適化問題にマッピングすることにより、CGNNは凸最適化問題に変換する。 実験ベンチマークデータセットは、CGNNが主要なGNNモデルの性能を大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2025-05-23T18:33:01Z)
• Adaptive Branch Specialization in Spectral-Spatial Graph Neural Networks for Certified Robustness [3.2771631221674333]
  本稿では,グラフニューラルネットワーク(GNN)の各分岐を明示的に専門化する。 スペクトルネットワークは、l0エッジの摂動に耐え、ホモフィル構造を捉えるように訓練され、空間部分はリンフ摂動とヘテロフィルパターンに抵抗するように設計されている。 文脈対応ゲーティングネットワークは2つの表現を適応的に融合させ、各ノードのノードをより信頼性の高い分岐に動的にルーティングする。
  論文  参考訳（メタデータ） (2025-05-13T08:00:16Z)
• Hierarchical Uncertainty-Aware Graph Neural Network [1.7495213911983414]
  本稿では,階層型不確実性認識型グラフニューラルネットワーク(HU-GNN)を導入し,マルチスケール表現学習,原理的不確実性推定,および1つのエンドツーエンドフレームワークにおける自己教師あり埋め込みの多様性を統一する。 具体的には、HU-GNNはノードクラスタを適応的に形成し、個々のノードからより高いレベルまでの複数の構造スケールで不確実性を推定する。
  論文  参考訳（メタデータ） (2025-04-28T14:22:18Z)
• Overlap-aware meta-learning attention to enhance hypergraph neural networks for node classification [7.822666400307049]
  ハイパーグラフニューラルネットワーク(OMA-HGNN)のための新しいフレームワークを提案する。 まず、構造的類似性と特徴的類似性の両方を統合するハイパーグラフアテンション機構を導入し、特に、それぞれの損失をHGNNモデルの重み付け要素と線形に結合する。 第2に,ノードを様々な重複レベルに基づいて異なるタスクに分割し,対応する重み付け因子を決定するマルチタスク・メタウェイト・ネット(MWN)を開発する。 第3に、内部MWNモデルを外部HGNNモデルからの損失で共同訓練し、重み付き因子で外部モデルを訓練する。
  論文  参考訳（メタデータ） (2025-03-11T01:38:39Z)
• Teaching MLPs to Master Heterogeneous Graph-Structured Knowledge for Efficient and Accurate Inference [53.38082028252104]
  我々はHGNNの優れた性能とリレーショナルの効率的な推論を組み合わせたHG2MとHG2M+を紹介する。 HG2Mは直接、教師HGNNの入力とソフトラベルをターゲットとしてノード特徴を持つ生徒を訓練する。 HG2Mは、大規模IGB-3M-19データセット上でのHGNNよりも379.24$timesの速度アップを示す。
  論文  参考訳（メタデータ） (2024-11-21T11:39:09Z)
• Graph as a feature: improving node classification with non-neural graph-aware logistic regression [2.952177779219163]
  Graph-aware Logistic Regression (GLR) はノード分類タスク用に設計された非神経モデルである。 GNNにアクセスできる情報のごく一部しか使わない従来のグラフアルゴリズムとは異なり、提案モデルではノードの特徴とエンティティ間の関係を同時に活用する。
  論文  参考訳（メタデータ） (2024-11-19T08:32:14Z)
• E2GNN: Efficient Graph Neural Network Ensembles for Semi-Supervised Classification [30.55931541782854]
  本研究では、グラフニューラルネットワーク(GNN)のアンサンブル学習を、人気のある半教師付き環境下で研究する。 ラベル付きノードとラベルなしノードの両方を活用することで,複数のGNNを学習可能な方法で組み立てる,効率的なアンサンブル学習者を提案する。 さまざまなGNNバックボーンと8つのベンチマークデータセットにまたがる、トランスダクティブとインダクティブ両方の設定に関する包括的な実験は、E2GNNの優位性を実証している。
  論文  参考訳（メタデータ） (2024-05-06T12:11:46Z)
• Robust Graph Neural Networks via Unbiased Aggregation [18.681451049083407]
  グラフニューラルネットワーク(GNN)の敵対的堅牢性は、強い適応攻撃によって発見されたセキュリティの誤った感覚のために疑問視されている。 私たちは、その堅牢性と限界を理解するために、統一されたロバストな見積もりポイントを提供する。
  論文  参考訳（メタデータ） (2023-11-25T05:34:36Z)
• Global Minima, Recoverability Thresholds, and Higher-Order Structure in GNNS [0.0]
  ランダムグラフ理論の観点から,グラフニューラルネットワーク(GNN)アーキテクチャの性能を解析する。 合成データにおける特定の高次構造と実データにおける経験的構造の混合が、GNNの性能に劇的な影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2023-10-11T17:16:33Z)
• Quantifying the Optimization and Generalization Advantages of Graph Neural Networks Over Multilayer Perceptrons [50.33260238739837]
  グラフネットワーク(GNN)は、グラフ構造化データから学習する際、顕著な能力を示した。 最適化と一般化の観点から、GNNと一般化を比較した分析の欠如がまだ残っている。
  論文  参考訳（メタデータ） (2023-06-24T10:21:11Z)
• Graph Neural Networks are Inherently Good Generalizers: Insights by Bridging GNNs and MLPs [71.93227401463199]
  本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。 PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
  論文  参考訳（メタデータ） (2022-12-18T08:17:32Z)
• NOSMOG: Learning Noise-robust and Structure-aware MLPs on Graphs [41.85649409565574]
  グラフネットワーク(GNN)は、非ユークリッド構造データを扱う上での有効性を実証している。 既存の方法は、ノードコンテンツ機能にのみ依存するマルチ層パーセプトロン(MLP)をトレーニングすることで、このスケーラビリティ問題に対処しようとする。 本稿では,NOSMOG(Noise-robust Structure-Awares On Graphs)を学習し,その課題を克服する。
  論文  参考訳（メタデータ） (2022-08-22T01:47:07Z)
• EvenNet: Ignoring Odd-Hop Neighbors Improves Robustness of Graph Neural Networks [51.42338058718487]
  グラフニューラルネットワーク(GNN)は、グラフ機械学習における有望なパフォーマンスについて、広範な研究の注目を集めている。 GCNやGPRGNNのような既存のアプローチは、テストグラフ上のホモフィリな変化に直面しても堅牢ではない。 偶数多項式グラフフィルタに対応するスペクトルGNNであるEvenNetを提案する。
  論文  参考訳（メタデータ） (2022-05-27T10:48:14Z)
• Bag of Tricks for Training Deeper Graph Neural Networks: A Comprehensive Benchmark Study [100.27567794045045]
  ディープグラフニューラルネットワーク(GNN)のトレーニングは、非常に難しい。 我々は、深層GNNの「トリック」を評価するための最初の公正かつ再現可能なベンチマークを示す。
  論文  参考訳（メタデータ） (2021-08-24T05:00:37Z)
• Information Obfuscation of Graph Neural Networks [96.8421624921384]
  本稿では,グラフ構造化データを用いた学習において,情報難読化による機密属性保護の問題について検討する。 本稿では,全変動量とワッサーシュタイン距離を交互に学習することで,事前決定された機密属性を局所的にフィルタリングするフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-09-28T17:55:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。