論文の概要: Distilling Influences to Mitigate Prediction Churn in Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2310.00946v1
• Date: Mon, 2 Oct 2023 07:37:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-04 23:01:26.685977
• Title: Distilling Influences to Mitigate Prediction Churn in Graph Neural Networks
• Title（参考訳）: グラフニューラルネットワークの予測チャーン低減に及ぼす蒸留の影響
• Authors: Andreas Roth, Thomas Liebig
• Abstract要約: 類似した性能を持つモデルは、予測チャーンと呼ばれる個々のサンプルの予測に大きな不一致を示す。 本研究では,モデル間でノードが使用する理由の変動を定量化するために,影響差(ID)と呼ばれる新しい指標を提案する。 また、安定なノードと不安定な予測を持つノードの違いも考慮し、どちらも同じ理由で異なる理由を生かしていると仮定する。 効率的な近似法としてDropDistillation(DD)を導入する。
• 参考スコア（独自算出の注目度）: 4.213427823201119
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Models with similar performances exhibit significant disagreement in the predictions of individual samples, referred to as prediction churn. Our work explores this phenomenon in graph neural networks by investigating differences between models differing only in their initializations in their utilized features for predictions. We propose a novel metric called Influence Difference (ID) to quantify the variation in reasons used by nodes across models by comparing their influence distribution. Additionally, we consider the differences between nodes with a stable and an unstable prediction, positing that both equally utilize different reasons and thus provide a meaningful gradient signal to closely match two models even when the predictions for nodes are similar. Based on our analysis, we propose to minimize this ID in Knowledge Distillation, a domain where a new model should closely match an established one. As an efficient approximation, we introduce DropDistillation (DD) that matches the output for a graph perturbed by edge deletions. Our empirical evaluation of six benchmark datasets for node classification validates the differences in utilized features. DD outperforms previous methods regarding prediction stability and overall performance in all considered Knowledge Distillation experiments.
• Abstract（参考訳）: 類似した性能を持つモデルは、予測チャーンと呼ばれる個々のサンプルの予測に大きな不一致を示す。 本研究は,グラフニューラルネットワークにおけるこの現象を,初期化においてのみ異なるモデル間の違いを予測のために利用した特徴量で調べることにより探索する。 本研究では,その影響分布を比較することで,モデル間でノードが使用する理由の変動を定量化するために,影響差(ID)と呼ばれる新しい指標を提案する。 さらに,安定なノードと不安定な予測を持つノード間の差異を考察し,ノードの予測が類似している場合においても,それぞれが異なる理由を等しく利用し,有意義な勾配信号を提供することを仮定した。 本稿では,新しいモデルが確立したモデルと密接に一致するべき領域である知識蒸留において,このIDを最小化することを提案する。 効率的な近似として,エッジ削除によって引き起こされるグラフの出力にマッチするドロップ蒸留(dd)を導入する。 ノード分類のための6つのベンチマークデータセットの実験的評価により,利用特徴の違いが検証された。 ddは、すべての知識蒸留実験において、予測安定性と全体的な性能に関する従来の方法よりも優れている。

関連論文リスト

• Sub-graph Based Diffusion Model for Link Prediction [43.15741675617231]
  拡散確率モデル(Denoising Diffusion Probabilistic Models, DDPM)は、例外的な品質を持つ同時代の生成モデルである。 本研究では,ベイズ式による確率推定過程を分解するために,専用設計を用いたリンク予測のための新しい生成モデルを構築した。 提案手法は,(1)再トレーニングを伴わないデータセット間の転送可能性,(2)限られたトレーニングデータに対する有望な一般化,(3)グラフ敵攻撃に対する堅牢性など,多くの利点を示す。
  論文  参考訳（メタデータ） (2024-09-13T02:23:55Z)
• Generation is better than Modification: Combating High Class Homophily Variance in Graph Anomaly Detection [51.11833609431406]
  異なるクラス間のホモフィリー分布の差は、ホモフィリックグラフやヘテロフィリックグラフよりも著しく大きい。 我々は、この現象を定量的に記述した、クラスホモフィリーバリアンスと呼ばれる新しい計量を導入する。 その影響を軽減するために,ホモフィリーエッジ生成グラフニューラルネットワーク(HedGe)と呼ばれる新しいGNNモデルを提案する。
  論文  参考訳（メタデータ） (2024-03-15T14:26:53Z)
• Confidence and Dispersity Speak: Characterising Prediction Matrix for Unsupervised Accuracy Estimation [51.809741427975105]
  この研究は、ラベルを使わずに、分散シフト下でのモデルの性能を評価することを目的としている。 我々は、両方の特性を特徴付けるのに有効であることが示されている核規範を用いる。 核の基準は既存の手法よりも正確で堅牢であることを示す。
  論文  参考訳（メタデータ） (2023-02-02T13:30:48Z)
• Do Bayesian Variational Autoencoders Know What They Don't Know? [0.6091702876917279]
  OoD(Out-of-Distribution)入力を検出する問題は、ディープニューラルネットワークにとって最重要課題である。 入力の密度を推定できる深部生成モデルでさえ、信頼できない可能性があることが以前に示されている。 本稿では,マルコフ連鎖モンテカルロ,バックプロパゲーションによるベイズ勾配,およびウェイト平均ガウスの3つの推論手法について検討する。
  論文  参考訳（メタデータ） (2022-12-29T11:48:01Z)
• On the Strong Correlation Between Model Invariance and Generalization [54.812786542023325]
  一般化は、見えないデータを分類するモデルの能力をキャプチャする。 不変性はデータの変換におけるモデル予測の一貫性を測定する。 データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
  論文  参考訳（メタデータ） (2022-07-14T17:08:25Z)
• On the Prediction Instability of Graph Neural Networks [2.3605348648054463]
  トレーニングされたモデルの不安定性は、マシンラーニングシステムの信頼性、信頼性、信頼性に影響を与える可能性がある。 最新のグラフニューラルネットワーク(GNN)によるノード分類の不安定性の予測を系統的に評価する。 不正に分類されたノードの最大3分の1は、アルゴリズムの実行によって異なることがわかった。
  論文  参考訳（メタデータ） (2022-05-20T10:32:59Z)
• Heterogeneous Peer Effects in the Linear Threshold Model [13.452510519858995]
  線形閾値モデル(Linear Threshold Model)は、ソーシャルネットワークを通じて情報がどのように拡散するかを記述する。 本研究では,個々の閾値を推定するための因果推論手法を提案する。 合成および実世界のデータセットに対する実験結果から、線形閾値モデルにおける個々のレベルの閾値をより正確に予測できることが示唆された。
  論文  参考訳（メタデータ） (2022-01-27T00:23:26Z)
• Deconfounding to Explanation Evaluation in Graph Neural Networks [136.73451468551656]
  我々は、全グラフと部分グラフの間に分布シフトが存在し、分布外問題を引き起こすと論じる。 本稿では,モデル予測に対する説明文の因果効果を評価するために,Decon founded Subgraph Evaluation (DSE)を提案する。
  論文  参考訳（メタデータ） (2022-01-21T18:05:00Z)
• Predicting with Confidence on Unseen Distributions [90.68414180153897]
  ドメイン適応と予測不確実性文学を結びつけて、挑戦的な未知分布のモデル精度を予測する。 分類器の予測における信頼度(DoC)の差は,様々な変化に対して,分類器の性能変化を推定することに成功した。 具体的には, 合成分布と自然分布の区別について検討し, その単純さにもかかわらず, DoCは分布差の定量化に優れることを示した。
  論文  参考訳（メタデータ） (2021-07-07T15:50:18Z)
• Toward Scalable and Unified Example-based Explanation and Outlier Detection [128.23117182137418]
  我々は,試行錯誤の予測に例ベースの説明を与えることのできる,プロトタイプベースの学生ネットワークのより広範な採用を論じる。 類似カーネル以外のプロトタイプベースのネットワークは,分類精度を損なうことなく,有意義な説明と有望な外乱検出結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-11-11T05:58:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。