論文の概要: What Makes Graph Neural Networks Miscalibrated?

• arxiv url: http://arxiv.org/abs/2210.06391v1
• Date: Wed, 12 Oct 2022 16:41:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-13 13:00:55.649594
• Title: What Makes Graph Neural Networks Miscalibrated?
• Title（参考訳）: グラフニューラルネットワークのミススカラとは?
• Authors: Hans Hao-Hsun Hsu and Yuesong Shen and Christian Tomani and Daniel Cremers
• Abstract要約: グラフニューラルネットワーク(GNN)の校正特性に関する系統的研究を行う。 我々は,GNNのキャリブレーションに影響を与える5つの要因を同定する: 一般信頼度傾向, ノード単位の予測分布の多様性, 訓練ノード間距離, 相対信頼度, 近傍類似度。 我々は,グラフニューラルネットワークのキャリブレーションに適した新しいキャリブレーション手法であるグラフアテンション温度スケーリング(GATS)を設計する。
• 参考スコア（独自算出の注目度）: 48.00374886504513
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Given the importance of getting calibrated predictions and reliable uncertainty estimations, various post-hoc calibration methods have been developed for neural networks on standard multi-class classification tasks. However, these methods are not well suited for calibrating graph neural networks (GNNs), which presents unique challenges such as accounting for the graph structure and the graph-induced correlations between the nodes. In this work, we conduct a systematic study on the calibration qualities of GNN node predictions. In particular, we identify five factors which influence the calibration of GNNs: general under-confident tendency, diversity of nodewise predictive distributions, distance to training nodes, relative confidence level, and neighborhood similarity. Furthermore, based on the insights from this study, we design a novel calibration method named Graph Attention Temperature Scaling (GATS), which is tailored for calibrating graph neural networks. GATS incorporates designs that address all the identified influential factors and produces nodewise temperature scaling using an attention-based architecture. GATS is accuracy-preserving, data-efficient, and expressive at the same time. Our experiments empirically verify the effectiveness of GATS, demonstrating that it can consistently achieve state-of-the-art calibration results on various graph datasets for different GNN backbones.
• Abstract（参考訳）: 予測の校正と信頼性の高い不確実性推定の重要性から、標準マルチクラス分類タスクにおけるニューラルネットワークのための様々なポストホックキャリブレーション手法が開発されている。 しかし,これらの手法はグラフニューラルネットワーク(GNN)の校正には適していない。 本研究では,GNNノード予測のキャリブレーション特性に関する系統的研究を行う。 特に, GNNのキャリブレーションに影響を与える5つの要因を同定する: 一般信頼度傾向, ノード単位の予測分布の多様性, 訓練ノード間距離, 相対信頼度, 近傍類似度。 さらに,本研究から得られた知見をもとに,グラフニューラルネットワークのキャリブレーションに適した新しいキャリブレーション手法であるグラフ注意温度スケーリング(GATS)を設計した。 GATSは、識別されたすべての影響要因に対処し、注意に基づくアーキテクチャを用いてノード単位の温度スケーリングを生成する設計を取り入れている。 GATSは正確で、データ効率が高く、同時に表現力がある。 我々の実験はGATSの有効性を実証的に検証し、GNNバックボーンの様々なグラフデータセットに対して、常に最先端のキャリブレーション結果が得られることを示した。

関連論文リスト

• Accurate and Scalable Estimation of Epistemic Uncertainty for Graph Neural Networks [40.95782849532316]
  固有GNNの不確実性推定を改善するための新しいトレーニングフレームワークを提案する。 我々のフレームワークは、新しいグラフアンカー戦略を通じて、データをグラフデータに中心付けるという原則に適応する。 本研究は,GNNの不確実性推定に関する知見を提供し,信頼度推定におけるG-$Delta$UQの有用性を実証する。
  論文  参考訳（メタデータ） (2024-01-07T00:58:33Z)
• Learning to Reweight for Graph Neural Network [63.978102332612906]
  グラフニューラルネットワーク(GNN)は、グラフタスクに対して有望な結果を示す。 既存のGNNの一般化能力は、テストとトレーニンググラフデータの間に分散シフトが存在する場合に低下する。 本稿では,分布外一般化能力を大幅に向上させる非線形グラフデコリレーション法を提案する。
  論文  参考訳（メタデータ） (2023-12-19T12:25:10Z)
• SimCalib: Graph Neural Network Calibration based on Similarity between Nodes [60.92081159963772]
  グラフニューラルネットワーク(GNN)は、さまざまなアプリケーションで実証されたグラフデータのモデリングにおいて、優れたパフォーマンスを示している。 理論解析により,GNNキャリブレーションとノードワイド類似性の関係について考察した。 SimCalibと名付けられた新しい校正フレームワークは、グローバルレベルとローカルレベルにおけるノード間の類似性を検討するために提案されている。
  論文  参考訳（メタデータ） (2023-12-19T04:58:37Z)
• GNNEvaluator: Evaluating GNN Performance On Unseen Graphs Without Labels [81.93520935479984]
  本稿では,ラベル付きおよび観測されたグラフに基づいて学習した特定のGNNモデルの性能を評価することを目的とした,新しい問題であるGNNモデル評価について検討する。 本稿では,(1) DiscGraph セット構築と(2) GNNEvaluator トレーニングと推論を含む2段階の GNN モデル評価フレームワークを提案する。 DiscGraphセットからの効果的なトレーニング監督の下で、GNNEvaluatorは、評価対象であるGNNモデルのノード分類精度を正確に推定することを学ぶ。
  論文  参考訳（メタデータ） (2023-10-23T05:51:59Z)
• Label Deconvolution for Node Representation Learning on Large-scale Attributed Graphs against Learning Bias [75.44877675117749]
  本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。 実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
  論文  参考訳（メタデータ） (2023-09-26T13:09:43Z)
• DEGREE: Decomposition Based Explanation For Graph Neural Networks [55.38873296761104]
  我々は,GNN予測に対する忠実な説明を提供するためにDGREEを提案する。 GNNの情報生成と集約機構を分解することにより、DECREEは入力グラフの特定のコンポーネントのコントリビューションを最終的な予測に追跡することができる。 また,従来の手法で見過ごされるグラフノード間の複雑な相互作用を明らかにするために,サブグラフレベルの解釈アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2023-05-22T10:29:52Z)
• On Calibration of Graph Neural Networks for Node Classification [29.738179864433445]
  グラフニューラルネットワークは、ノード分類やリンク予測といったタスクのためのエンティティとエッジの埋め込みを学ぶ。 これらのモデルは精度で優れた性能を発揮するが、予測に付随する信頼性スコアは校正されないかもしれない。 本稿では,近隣ノードを考慮に入れたトポロジ対応キャリブレーション手法を提案する。
  論文  参考訳（メタデータ） (2022-06-03T13:48:10Z)
• Improving Graph Neural Networks with Simple Architecture Design [7.057970273958933]
  グラフニューラルネットワークの重要な設計戦略をいくつか紹介する。 簡便で浅いモデルである特徴選択グラフニューラルネットワーク(FSGNN)を紹介します。 提案手法は,他のGNNモデルよりも優れており,ノード分類タスクの精度が最大64%向上していることを示す。
  論文  参考訳（メタデータ） (2021-05-17T06:46:01Z)
• Multivariate Time Series Forecasting with Transfer Entropy Graph [5.179058210068871]
  我々はニューラルグランガー因果性(CauGNN)を用いた新しいエンドツーエンドディープラーニングモデル、グラフニューラルネットワークを提案する。 各変数はグラフノードと見なされ、各エッジは変数間のカジュアルな関係を表す。 提案したCauGNNを評価するために,実世界の3つのベンチマークデータセットが使用されている。
  論文  参考訳（メタデータ） (2020-05-03T20:51:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。