論文の概要: Do Deep Ensembles Actually Capture Uncertainty in Graph Neural Networks?
- arxiv url: http://arxiv.org/abs/2605.22593v1
- Date: Thu, 21 May 2026 15:07:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-22 16:35:42.316434
- Title: Do Deep Ensembles Actually Capture Uncertainty in Graph Neural Networks?
- Title（参考訳）: ディープアンサンブルは実際にグラフニューラルネットワークで不確かか?
- Abstract要約: メッセージパッシンググラフニューラルネットワークのための標準ディープアンサンブルについて検討する。
アンサンブルはシングルモデルよりも驚くほど小さな改善を提供する。
以上の結果から,ディープアンサンブルの成功はグラフ機械学習にシームレスに移行しないことが示唆された。
- 参考スコア（独自算出の注目度）: 4.034187803388112
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While deep ensembles are widely considered to be the default method for uncertainty quantification in deep learning, their effectiveness for graph-structured data is often simply assumed based on successes in domains like computer vision. We investigate standard deep ensembles specifically for message-passing graph neural networks. Benchmarking across seven datasets representing varied tasks and complexities, we reveal that ensembles provide surprisingly little improvement over a single model. Instead, the observed marginal gains stem primarily from stabilizing optimization noise in point predictions rather than yielding meaningfully better uncertainty estimates. Through an aleatoric-epistemic decomposition, we identify epistemic collapse: independently trained networks consistently converge to overly similar predictions. Because disagreement is the fundamental mechanism through which ensembles capture epistemic uncertainty, this lack of diversity neutralizes their key advantage. Analyzing this phenomenon further, we suggest this collapse is driven by functional rather than weight-space convexity, where distinct parameter solutions induce almost identical behavior. Our results suggest that deep ensemble success does not seamlessly transfer to graph machine learning.
- Abstract（参考訳）: ディープアンサンブルはディープラーニングにおける不確実性定量化のデフォルト手法として広く考えられているが、グラフ構造化データの有効性はコンピュータビジョンなどの領域での成功に基づいて仮定されることが多い。
メッセージパッシンググラフニューラルネットワークのための標準ディープアンサンブルについて検討する。
さまざまなタスクや複雑さを表す7つのデータセットをベンチマークした結果、アンサンブルは単一のモデルよりも驚くほど小さな改善を提供することがわかった。
その代わり、観測された限界利得は主に、有意に優れた不確実性推定を得るのではなく、点予測における最適化ノイズの安定化に起因している。
Aleatoric-epistemic decomposition を通じてててんかんの崩壊を同定し、独立に訓練されたネットワークは、常に非常に類似した予測に収束する。
不一致は、アンサンブルがてんかんの不確実性をとらえる基本的なメカニズムであるため、多様性の欠如は彼らの重要な利点を損なう。
さらにこの現象を解析した結果、この崩壊は重み空間の凸性よりも関数的に引き起こされることが示唆された。
以上の結果から,ディープアンサンブルの成功はグラフ機械学習にシームレスに移行しないことが示唆された。
関連論文リスト
- Variational Graph Neural Networks for Uncertainty Quantification in Inverse Problems [0.5599792629509229]
本稿では,重みの確率分布をモデル化する変動グラフニューラルネットワーク(VGNN)アーキテクチャを提案する。
計算コストのかかる完全ベイズネットワークとは異なり、我々はデコーダにのみ変動層を導入し、相対的に低コストで認知的不確実性と統計的不確実性を推定する。
その結果, モデルが精度の高い物理パラメータを復元するだけでなく, 問題物理と整合した信頼区間を提供し, 適用荷重の位置を推定できることがわかった。
論文 参考訳（メタデータ） (2026-03-31T09:57:52Z) - Elimination-compensation pruning for fully-connected neural networks [2.785400823678854]
プルーニング技術は、ニューラルネットワークパラメータのスパース表現を抽出するために用いられる。
本稿では,各重みの重み付けの重要度を,出力の振舞いを考慮して計算する手法を提案する。
本研究の成果は概説され,その理論的意義が示唆された。
論文 参考訳（メタデータ） (2026-02-24T01:56:12Z) - Quantification of Uncertainties in Probabilistic Deep Neural Network by Implementing Boosting of Variational Inference [0.38366697175402226]
Boosted Bayesian Neural Networks (BBNN)は、ニューラルネットワークの重み分布近似を強化する新しいアプローチである。
BBNNは従来のニューラルネットワークに比べて5%高い精度を実現している。
論文 参考訳（メタデータ） (2025-03-18T05:11:21Z) - Contextual Similarity Distillation: Ensemble Uncertainties with a Single Model [5.624791703748109]
不確かさの定量化は強化学習と深層学習の重要な側面である。
本研究では,1つのモデルによる深層ニューラルネットワークのアンサンブルの分散を明示的に推定する新しい手法である文脈類似蒸留を提案する。
提案手法は,様々なアウト・オブ・ディストリビューション検出ベンチマークとスパース・リワード強化学習環境にまたがって実証的に検証する。
論文 参考訳（メタデータ） (2025-03-14T12:09:58Z) - Structured Radial Basis Function Network: Modelling Diversity for
Multiple Hypotheses Prediction [51.82628081279621]
多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。
構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。
この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
論文 参考訳（メタデータ） (2023-09-02T01:27:53Z) - Learning Linear Causal Representations from Interventions under General
Nonlinear Mixing [52.66151568785088]
介入対象にアクセスできることなく、未知の単一ノード介入を考慮し、強い識別可能性を示す。
これは、ディープニューラルネットワークの埋め込みに対する非ペアの介入による因果識別性の最初の例である。
論文 参考訳（メタデータ） (2023-06-04T02:32:12Z) - Toward Robust Uncertainty Estimation with Random Activation Functions [3.0586855806896045]
本稿では,ランダムアクティベーション関数(RAF)アンサンブルを用いた不確実性定量化手法を提案する。
RAF アンサンブルは、合成データセットと実世界のデータセットの両方において、最先端のアンサンブル不確実性定量化手法より優れている。
論文 参考訳（メタデータ） (2023-02-28T13:17:56Z) - Pathologies of Predictive Diversity in Deep Ensembles [29.893614175153235]
古典的な結果は、予測多様性の促進が低容量モデルのアンサンブルのパフォーマンスを向上させることを証明している。
ここでは、これらの直観が高容量ニューラルネットワークアンサンブル(ディープアンサンブル)には適用されないことを示す。
論文 参考訳（メタデータ） (2023-02-01T19:01:18Z) - Generalization of Neural Combinatorial Solvers Through the Lens of
Adversarial Robustness [68.97830259849086]
ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。
本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。
他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。
驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
論文 参考訳（メタデータ） (2021-10-21T07:28:11Z) - Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。
彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。
本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
論文 参考訳（メタデータ） (2021-02-22T07:02:37Z) - Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。
そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。
最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
論文 参考訳（メタデータ） (2020-03-10T03:10:41Z) - Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。
また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
論文 参考訳（メタデータ） (2020-02-20T15:13:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。