論文の概要: GNN's Uncertainty Quantification using Self-Distillation

• arxiv url: http://arxiv.org/abs/2506.20046v1
• Date: Tue, 24 Jun 2025 23:08:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-26 21:00:42.554345
• Title: GNN's Uncertainty Quantification using Self-Distillation
• Title（参考訳）: 自己蒸留によるGNNの不確かさ定量化
• Authors: Hirad Daneshvar, Reza Samavi,
• Abstract要約: 本稿では,知識蒸留に基づく新しい手法を提案し,グラフニューラルネットワークの不確かさをより効率的に,高精度に定量化する。 本研究では,2つのグラフデータセットにおける分布外データの識別におけるアプローチの精度,性能,能力について実験的に評価した。
• 参考スコア（独自算出の注目度）: 0.6906005491572398
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph Neural Networks (GNNs) have shown remarkable performance in the healthcare domain. However, what remained challenging is quantifying the predictive uncertainty of GNNs, which is an important aspect of trustworthiness in clinical settings. While Bayesian and ensemble methods can be used to quantify uncertainty, they are computationally expensive. Additionally, the disagreement metric used by ensemble methods to compute uncertainty cannot capture the diversity of models in an ensemble network. In this paper, we propose a novel method, based on knowledge distillation, to quantify GNNs' uncertainty more efficiently and with higher precision. We apply self-distillation, where the same network serves as both the teacher and student models, thereby avoiding the need to train several networks independently. To ensure the impact of self-distillation, we develop an uncertainty metric that captures the diverse nature of the network by assigning different weights to each GNN classifier. We experimentally evaluate the precision, performance, and ability of our approach in distinguishing out-of-distribution data on two graph datasets: MIMIC-IV and Enzymes. The evaluation results demonstrate that the proposed method can effectively capture the predictive uncertainty of the model while having performance similar to that of the MC Dropout and ensemble methods. The code is publicly available at https://github.com/tailabTMU/UQ_GNN.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、医療領域で顕著なパフォーマンスを示している。 しかし、残る課題はGNNの予測的不確実性を定量化することであり、これは臨床環境での信頼性の重要な側面である。 ベイジアン法とアンサンブル法は不確実性を定量化するために用いられるが、計算上は高価である。 さらに、アンサンブル法が不確実性を計算するために使用する不一致度は、アンサンブルネットワークにおけるモデルの多様性を捉えることができない。 本稿では,GNNの不確実性をより効率的に,高精度に定量化するための,知識蒸留に基づく新しい手法を提案する。 我々は,同じネットワークが教師モデルと学生モデルの両方として機能し,複数のネットワークを個別に訓練する必要がない自己蒸留を適用した。 自己蒸留の影響を確実にするために,各GNN分類器に異なる重みを割り当てることで,ネットワークの多様性を捉える不確実性指標を開発した。 筆者らは,MIMIC-IV と Enzymes の2つのグラフデータセットにおける分布外データの識別におけるアプローチの精度,性能,能力について実験的に評価した。 その結果,提案手法はMC Dropout法やアンサンブル法に類似した性能を有しながら,モデルの予測不確かさを効果的に把握できることが示唆された。 コードはhttps://github.com/tailabTMU/UQ_GNNで公開されている。

関連論文リスト

• Uncertainty-Aware Graph Neural Networks: A Multi-Hop Evidence Fusion Approach [55.43914153271912]
  グラフニューラルネットワーク(GNN)は、グラフ構造とノード機能を統合することにより、グラフ表現学習に優れる。 既存のGNNでは、モデルの深さによって異なるクラス確率の不確実性を考慮することができず、現実のシナリオでは信頼できない、リスクの高い予測が生じる。 本稿では,信頼に値する予測を達成し,ノード分類精度を高め,誤予測のリスクを明らかにするために,新しいEvidence Fusing Graph Neural Network (EFGNN)を提案する。
  論文  参考訳（メタデータ） (2025-06-16T03:59:38Z)
• Semi-supervised Node Importance Estimation with Informative Distribution Modeling for Uncertainty Regularization [13.745026710984469]
  異種グラフにおける未ラベルデータの学習品質向上を目的とした,最初の半教師付きノード重要度推定フレームワークであるEASINGを提案する。 従来のアプローチとは異なり、EASingはモデル予測の信頼性を反映する不確実性を明示的に捉えている。 EASINGはラベル付きおよび擬似ラベル付きデータに基づいて、ノードの不確かさの正則化を伴う効果的な半教師付きヘテロ代数学学習を開発する。
  論文  参考訳（メタデータ） (2025-03-26T16:27:06Z)
• Uncertainty in Graph Neural Networks: A Survey [47.785948021510535]
  グラフニューラルネットワーク(GNN)は、様々な現実世界のアプリケーションで広く使われている。 しかし、多様な情報源から生じるGNNの予測的不確実性は、不安定で誤った予測につながる可能性がある。 本調査は,不確実性の観点からGNNの概要を概観することを目的としている。
  論文  参考訳（メタデータ） (2024-03-11T21:54:52Z)
• A Benchmark on Uncertainty Quantification for Deep Learning Prognostics [0.0]
  診断学的な深層学習のための不確実性定量化の分野における最新の発展のいくつかを評価する。 これには、ベイズニューラルネットワーク(BNN)の最先端の変分推論アルゴリズムや、モンテカルロ・ドロップアウト(MCD)、ディープアンサンブル(DE)、ヘテロセダスティックニューラルネットワーク(HNN)などの一般的な代替品が含まれる。 この手法の性能は、NASA NCMAPSSの航空機エンジン用データセットのサブセットで評価される。
  論文  参考訳（メタデータ） (2023-02-09T16:12:47Z)
• How to Combine Variational Bayesian Networks in Federated Learning [0.0]
  フェデレートラーニングにより、複数のデータセンターが機密データを公開することなく、協力的に中央モデルをトレーニングできる。 決定論的モデルは高い予測精度を達成することができ、キャリブレーションの欠如と不確実性を定量化する能力は、安全クリティカルなアプリケーションには問題となる。 変分ベイズニューラルネットワークに対する様々なアグリゲーションスキームの効果について検討する。
  論文  参考訳（メタデータ） (2022-06-22T07:53:12Z)
• On the Prediction Instability of Graph Neural Networks [2.3605348648054463]
  トレーニングされたモデルの不安定性は、マシンラーニングシステムの信頼性、信頼性、信頼性に影響を与える可能性がある。 最新のグラフニューラルネットワーク(GNN)によるノード分類の不安定性の予測を系統的に評価する。 不正に分類されたノードの最大3分の1は、アルゴリズムの実行によって異なることがわかった。
  論文  参考訳（メタデータ） (2022-05-20T10:32:59Z)
• NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
  本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。 種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
  論文  参考訳（メタデータ） (2022-02-07T12:30:45Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
  本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。 そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。 最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
  論文  参考訳（メタデータ） (2020-03-10T03:10:41Z)
• Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
  本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。 我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
  論文  参考訳（メタデータ） (2020-03-04T12:27:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。