論文の概要: Improvements on Uncertainty Quantification for Node Classification via Distance-Based Regularization

• arxiv url: http://arxiv.org/abs/2311.05795v1
• Date: Fri, 10 Nov 2023 00:00:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-13 16:23:55.623889
• Title: Improvements on Uncertainty Quantification for Node Classification via Distance-Based Regularization
• Title（参考訳）: 距離ベース正規化によるノード分類の不確実性定量化の改善
• Authors: Russell Alan Hart, Linlin Yu, Yifei Lou, Feng Chen
• Abstract要約: ディープニューラルネットワークはここ数十年で大きな成功を収めてきたが、十分に校正されておらず、しばしば信頼性の低い予測を生み出している。 本稿では,クラスタ化された OOD ノードが潜時空間に留まることを奨励する距離ベース正規化を提案する。 我々は,8つの標準データセットに対する広範な比較実験を行い,提案手法がOOD検出と誤分類検出の両方において,最先端の手法よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 4.121906004284458
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks have achieved significant success in the last decades, but they are not well-calibrated and often produce unreliable predictions. A large number of literature relies on uncertainty quantification to evaluate the reliability of a learning model, which is particularly important for applications of out-of-distribution (OOD) detection and misclassification detection. We are interested in uncertainty quantification for interdependent node-level classification. We start our analysis based on graph posterior networks (GPNs) that optimize the uncertainty cross-entropy (UCE)-based loss function. We describe the theoretical limitations of the widely-used UCE loss. To alleviate the identified drawbacks, we propose a distance-based regularization that encourages clustered OOD nodes to remain clustered in the latent space. We conduct extensive comparison experiments on eight standard datasets and demonstrate that the proposed regularization outperforms the state-of-the-art in both OOD detection and misclassification detection.
• Abstract（参考訳）: ディープニューラルネットワークはここ数十年で大きな成功を収めてきたが、十分に校正されておらず、しばしば信頼できない予測を生み出している。 多くの文献は、学習モデルの信頼性を評価するために不確実な定量化に依存しており、特にアウト・オブ・ディストリビューション(OOD)の検出と誤分類検出の応用において重要である。 我々は、依存ノードレベル分類の不確実性定量化に関心がある。 我々は,不確実性クロスエントロピー(UCE)に基づく損失関数を最適化するグラフ後続ネットワーク(GPN)に基づいて解析を開始する。 広く使われているUCE損失の理論的限界について述べる。 同定された欠点を軽減するために,クラスタ化されたOODノードが潜時空間に留まることを奨励する距離ベース正規化を提案する。 8つの標準データセットについて広範な比較実験を行い,提案手法がood検出と誤分類検出の両方において最先端のものよりも優れていることを示す。

関連論文リスト

• Non-Asymptotic Uncertainty Quantification in High-Dimensional Learning [5.318766629972959]
  不確かさの定量化は多くの高次元回帰や学習問題において決定的だが難しい課題である。 我々は、古典的回帰アプローチとニューラルネットワークの両方に適用可能な、回帰におけるUQのための新しいデータ駆動アプローチを開発した。
  論文  参考訳（メタデータ） (2024-07-18T16:42:10Z)
• Revisiting Confidence Estimation: Towards Reliable Failure Prediction [53.79160907725975]
  多くの信頼度推定法は誤分類誤りを検出するのに有害である。 本稿では, 最先端の故障予測性能を示す平坦な最小値を求めることにより, 信頼性ギャップを拡大することを提案する。
  論文  参考訳（メタデータ） (2024-03-05T11:44:14Z)
• Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
  不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。 漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。 特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
  論文  参考訳（メタデータ） (2023-03-03T16:12:59Z)
• Controlled Dropout for Uncertainty Estimation [11.225333867982359]
  ニューラルネットワークの不確実性は、安全クリティカルなアプリケーションに関する最も議論されたトピックの1つである。 従来のドロップアウトレイヤの新バージョンで、ドロップアウト構成の数を修正できます。
  論文  参考訳（メタデータ） (2022-05-06T09:48:11Z)
• On the Practicality of Deterministic Epistemic Uncertainty [106.06571981780591]
  決定論的不確実性法(DUM)は,分布外データの検出において高い性能を達成する。 DUMが十分に校正されており、現実のアプリケーションにシームレスにスケールできるかどうかは不明だ。
  論文  参考訳（メタデータ） (2021-07-01T17:59:07Z)
• The Hidden Uncertainty in a Neural Networks Activations [105.4223982696279]
  ニューラルネットワークの潜在表現の分布は、アウト・オブ・ディストリビューション(OOD)データの検出に成功している。 本研究は、この分布が、モデルの不確実性と相関しているかどうかを考察し、新しい入力に一般化する能力を示す。
  論文  参考訳（メタデータ） (2020-12-05T17:30:35Z)
• Uncertainty Aware Semi-Supervised Learning on Graph Data [18.695343563823798]
  ノード分類予測のためのグラフニューラルネットワーク(GNN)を用いたマルチソース不確実性フレームワークを提案する。 トレーニングノードのラベルからエビデンスを収集することにより、ノードレベルのディリクレ分布を正確に予測するグラフベースのカーネルディリクレ分布推定(GKDE)法が設計されている。 その結果,不協和性検出は誤分類検出において最良であり,空洞性検出はOOD検出において最良であることがわかった。
  論文  参考訳（メタデータ） (2020-10-24T04:56:46Z)
• Revisiting One-vs-All Classifiers for Predictive Uncertainty and Out-of-Distribution Detection in Neural Networks [22.34227625637843]
  識別型分類器における確率のパラメトリゼーションが不確実性推定に与える影響について検討する。 画像分類タスクのキャリブレーションを改善するために, 1-vs-all の定式化が可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-10T01:55:02Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Being Bayesian, Even Just a Bit, Fixes Overconfidence in ReLU Networks [65.24701908364383]
  我々は、ReLUネットワーク上の不確実性に対する十分条件が「少しベイズ校正される」ことを示す。 さらに,これらの知見を,共通深部ReLUネットワークとLaplace近似を用いた各種標準実験により実証的に検証した。
  論文  参考訳（メタデータ） (2020-02-24T08:52:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。