論文の概要: Generalizing GNNs with Tokenized Mixture of Experts
- arxiv url: http://arxiv.org/abs/2602.09258v1
- Date: Mon, 09 Feb 2026 22:48:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-11 20:17:43.274929
- Title: Generalizing GNNs with Tokenized Mixture of Experts
- Title(参考訳): エキスパートの知識混合によるGNNの一般化
- Abstract要約: 安定性の向上には,変化に敏感な特徴への依存を低減し,既約最悪の一般化フロアを残す必要があることを示す。
本研究では,STEM-GNNを提案する。STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN。
9つのノード、リンク、グラフのベンチマークで、STEM-GNNはより強力な3方向バランスを実現し、クリアグラフ上での競争力を維持しながら、次数/ホモフィリーシフトや特徴/エッジの破損に対する堅牢性を改善している。
- 参考スコア(独自算出の注目度): 75.8310720413187
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deployed graph neural networks (GNNs) are frozen at deployment yet must fit clean data, generalize under distribution shifts, and remain stable to perturbations. We show that static inference induces a fundamental tradeoff: improving stability requires reducing reliance on shift-sensitive features, leaving an irreducible worst-case generalization floor. Instance-conditional routing can break this ceiling, but is fragile because shifts can mislead routing and perturbations can make routing fluctuate. We capture these effects via two decompositions separating coverage vs selection, and base sensitivity vs fluctuation amplification. Based on these insights, we propose STEM-GNN, a pretrain-then-finetune framework with a mixture-of-experts encoder for diverse computation paths, a vector-quantized token interface to stabilize encoder-to-head signals, and a Lipschitz-regularized head to bound output amplification. Across nine node, link, and graph benchmarks, STEM-GNN achieves a stronger three-way balance, improving robustness to degree/homophily shifts and to feature/edge corruptions while remaining competitive on clean graphs.
- Abstract(参考訳): デプロイされたグラフニューラルネットワーク(GNN)はデプロイ時に凍結されるが、クリーンなデータに適合し、分散シフトの下で一般化し、摂動に安定していなければならない。
安定性を向上させるためには、シフトに敏感な特徴への依存を減らし、既約最悪の一般化フロアを残す必要がある。
インスタンス条件のルーティングは、この天井を壊す可能性があるが、シフトがルーティングを誤解させ、摂動がルーティングを変動させる可能性があるため、脆弱である。
これらの効果を2つの分解で捉え、カバーとセレクションを分離し、ベース感度と揺らぎ増幅を分離する。
これらの知見に基づき、STEM-GNN、多種多様な計算経路を混合するエキスパートエンコーダ、エンコーダからヘッドへの信号の安定化のためのベクトル量子化トークンインタフェース、およびバウンド出力増幅のためのリプシッツ正規化ヘッドを提案する。
9つのノード、リンク、グラフのベンチマークで、STEM-GNNはより強力な3方向バランスを実現し、クリアグラフ上での競争力を維持しながら、次数/ホモフィリーシフトや特徴/エッジの破損に対する堅牢性を改善している。
関連論文リスト
- Subgraph Filtering for Fair Graph Neural Networks [4.075849063907074]
グラフニューラルネットワーク(GNN)は、ノードの特徴から機密属性を除外しても不公平な振る舞いを示す。
フェアグラフニューラルネットワーク(SF-GNN)のためのサブグラフフィルタリングを提案する。
SF-GNNは、感度の高いホモフィリーと構造的伝搬増幅器を組み合わせることにより、バイアスが引き起こすエッジを識別する。
次に、エッジフィルタリングを各メッセージパッシングステップに組み込んで、残りのグラフ構造を保存しながら、これらのエッジを選択的にダウンウェイトまたは削除する。
論文 参考訳(メタデータ) (2026-08-26T22:40:31Z) - NICE: Scale-Stable Perturbations for Graph Neural Network Explanations via Noise Corruption [67.57304101271096]
Element-wise Masking (EM) は、エッジによって引き起こされるメッセージをゼロに抑制する。
ノイズ破壊(NC)は、一致したノームなランダムな方向の破損を通じて各メッセージに摂動を与える。
騒音破壊に基づく説明フレームワークであるNICEは、NCが引き起こす不確実性の下で復元境界(英語版)(SRB)を学習する。
論文 参考訳(メタデータ) (2026-08-17T03:08:14Z) - Reducing ANN-SNN Conversion Error via Residual Membrane Potential Alignment [52.910770415431244]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングのコアアーキテクチャとして機能する。
ANN-SNN変換は、低レイテンシでエネルギー効率のよい推論のために、よく訓練されたANN重みを再利用することで問題を回避している。
既存の変換方式は、小さなタイミングで精度の低下、大きな推論遅延、累積量子化誤差に悩まされている。
論文 参考訳(メタデータ) (2026-08-14T04:46:03Z) - Beyond Sparse Supervision: Diffusion-Guided Learning for Few-Shot Graph Fraud Detection [4.923071905608023]
本稿では,拡散誘導機能強化,コントラスト表現学習,マルチホップスペクトルアテンションを組み合わせた統合フレームワークであるADC-GNNを提案する。
ADC-GNNを主に3つの公開ベンチマークで評価し、プライベートケーススタディとして約6万レコードのプロプライエタリな実世界のテレコムトランザクションデータセットを報告した。
論文 参考訳(メタデータ) (2026-06-26T14:34:28Z) - The Confidence Trap: Calibration Attacks for Graph Neural Networks [30.116997325760945]
グラフ上の校正攻撃を研究するためのフレームワークを提案する。
より精度の高いモデルや、より多くのクラスを持つデータセットで訓練されたモデルは、この脅威モデルの下ではより影響を受けやすいことを示す。
私たちのコードはhttps://github.com/CaptainCuong/Graph-Calibration-Attack.gitで公開されています。
論文 参考訳(メタデータ) (2026-06-07T06:16:58Z) - DOC-GS: Dual-Domain Observation and Calibration for Reliable Sparse-View Gaussian Splatting [80.43237927269575]
本稿では,新しい視点からスパースビュー3DGSの再構築について再考する。
我々は、ガウスの原始的信頼性の観測不能性として、コアチャレンジを識別する。
この観測を動機として、レンダリング画像フレームワークにおける統合されたデュアルドメイン観測と幾何学的手法を提案する。
論文 参考訳(メタデータ) (2026-04-08T07:01:24Z) - Effective Resistance Rewiring: A Simple Topological Correction for Over-Squashing [0.03636228980200798]
本稿では,実効抵抗をグローバル信号として利用し,構造的ボトルネックを検出する単純なトポロジ補正手法であるEffective resistance Rewiring(ERR)を紹介する。
ERRは、最大の抵抗を持つノードペア間のエッジを反復的に追加し、最小抵抗のエッジを除去し、弱い通信経路を強化する。
層間におけるノード埋め込みのコサイン類似性を追跡することにより、初期ノード特徴と学習された表現の関係がメッセージパッシング中にどのように進化するかを検討する。
論文 参考訳(メタデータ) (2026-03-12T13:55:48Z) - Silent Inconsistency in Data-Parallel Full Fine-Tuning: Diagnosing Worker-Level Optimization Misalignment [27.352639822596146]
クロスワーカーの損失と勾配のばらつきは、従来の監視信号では見えない。
本稿では,標準パイプラインで容易に利用できるトレーニング信号を用いて,作業者レベルの一貫性を定量化する,モデルに依存しない診断フレームワークを提案する。
論文 参考訳(メタデータ) (2026-02-16T04:42:30Z) - Variational Bayesian Flow Network for Graph Generation [54.94088904387278]
グラフ生成のための変分ベイズフローネットワーク(VBFN)を提案する。
VBFNは、構造化精度で支配されるトラクタブルジョイントガウス変分信念ファミリーに対して変分リフトを行う。
合成グラフと分子グラフのデータセットでは、VBFNは忠実度と多様性を改善し、ベースライン法を超えている。
論文 参考訳(メタデータ) (2026-01-30T03:59:38Z) - Learning Wireless Interference Patterns: Decoupled GNN for Throughput Prediction in Heterogeneous Multi-Hop p-CSMA Networks [4.303580795892996]
Decoupled Graph Convolutional Network (D-GCN)は、ノードの送信確率の処理を近隣の干渉効果から明確に分離する新しいアーキテクチャである。
D-GCNは3.3%のNMAEを達成し、強力なベースラインを上回り、正確な解析手法が計算的に実現不可能になった場合でも、依然として引くことができる。
論文 参考訳(メタデータ) (2025-10-15T22:13:59Z) - Sheaf Graph Neural Networks via PAC-Bayes Spectral Optimization [13.021238902084647]
グラフニューラルネットワーク(GNN)のオーバースムース化は、異なるノード機能で崩壊を引き起こす。
SGPC (Sheaf GNNs with PAC-Bayes) は,セルラーシェーフメッセージパッシングと複数のメカニズムを組み合わせた統一アーキテクチャである。
9つのホモ親和性およびヘテロ親和性ベンチマークの実験により、SGPCは最先端スペクトルおよび層ベースGNNよりも優れた性能を示した。
論文 参考訳(メタデータ) (2025-08-01T06:39:28Z) - Towards Robust Spiking Neural Networks:Mitigating Heterogeneous Training Vulnerability via Dominant Eigencomponent Projection [21.5491519186604]
スパイクニューラルネットワーク(SNN)は離散的なスパイクを通じて情報を処理し、極めて低いエネルギーレベルで操作することができる。
実験では、SNNがメインストリームのメソッドを使ってトレーニングされている場合、直接エンコーディングと時間によるバックプロパゲーションが組み合わさると、重大な脆弱性が明らかになる。
論文 参考訳(メタデータ) (2025-05-16T11:29:49Z) - Exact Certification of (Graph) Neural Networks Against Label Poisoning [50.87615167799367]
グラフニューラルネットワーク(GNN)におけるラベルフリップの正確な認証手法を提案する。
本稿では,ノード分類タスクにおける広範囲なGNNアーキテクチャの認証に本手法を適用した。
私たちの研究は、ニューラルネットワークによって引き起こされた毒殺攻撃に対する最初の正確な認証を提示します。
論文 参考訳(メタデータ) (2024-11-30T17:05:12Z) - Provable Robustness of (Graph) Neural Networks Against Data Poisoning and Backdoor Attacks [50.87615167799367]
グラフニューラルネットワーク(GNN)は、特定のグラフのノード特徴をターゲットとして、バックドアを含む有毒な攻撃に対して認証する。
コンボリューションベースのGNNとPageRankベースのGNNの最悪の動作におけるグラフ構造の役割とその接続性に関する基本的な知見を提供する。
論文 参考訳(メタデータ) (2024-07-15T16:12:51Z) - On the Trade-Off between Stability and Representational Capacity in
Graph Neural Networks [22.751509906413943]
20以上のソリューションを統合する汎用GNNフレームワークであるEdgeNetの安定性について検討する。
異なるEdgeNetカテゴリの安定性への影響を調べた結果,パラメータ空間における自由度が低いGNNの方が,表現能力の低いGNNの方がより安定であることが判明した。
論文 参考訳(メタデータ) (2023-12-04T22:07:17Z) - Stable and Transferable Hyper-Graph Neural Networks [95.07035704188984]
グラフニューラルネットワーク(GNN)を用いたハイパーグラフでサポートする信号処理アーキテクチャを提案する。
スペクトル類似性により任意のグラフにまたがってGNNの安定性と転送可能性の誤差をバウンドするフレームワークを提供する。
論文 参考訳(メタデータ) (2022-11-11T23:44:20Z) - Generalizing Graph Neural Networks on Out-Of-Distribution Graphs [51.33152272781324]
トレーニンググラフとテストグラフの分散シフトを考慮せずにグラフニューラルネットワーク(GNN)を提案する。
このような環境では、GNNは、たとえ素早い相関であるとしても、予測のためのトレーニングセットに存在する微妙な統計的相関を利用する傾向がある。
本稿では,スプリアス相関の影響を排除するため,StableGNNと呼ばれる一般的な因果表現フレームワークを提案する。
論文 参考訳(メタデータ) (2021-11-20T18:57:18Z) - Improve Generalization and Robustness of Neural Networks via Weight
Scale Shifting Invariant Regularizations [52.493315075385325]
重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。
そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
論文 参考訳(メタデータ) (2020-08-07T02:55:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。