論文の概要: Semantic-Aware Gaussian Process Calibration with Structured Layerwise Kernels for Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2507.15987v1
- Date: Mon, 21 Jul 2025 18:28:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-23 21:34:13.839861
- Title: Semantic-Aware Gaussian Process Calibration with Structured Layerwise Kernels for Deep Neural Networks
- Title(参考訳): 深部ニューラルネットワークのための階層化カーネルを用いた意味認識型ガウス過程キャリブレーション
- Authors: Kyung-hwan Lee, Kyung-tae Kim,
- Abstract要約: 本稿では,対象ニューラルネットワークの階層構造を反映したセマンティック・アウェア・レイヤ・ワイド・ガウス・プロセス(SAL-GP)フレームワークを提案する。
単一のグローバルGP補正を適用する代わりに、SAL-GPは多層GPモデルを使用し、各層の特徴表現を局所的なキャリブレーション補正にマッピングする。
この設計により、SAL-GPはローカルなセマンティック依存関係とグローバルなキャリブレーションコヒーレンスの両方をキャプチャできると同時に、ネットワークを通じて予測の不確実性を一貫して伝播することができる。
- 参考スコア(独自算出の注目度): 5.63530048112308
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Calibrating the confidence of neural network classifiers is essential for quantifying the reliability of their predictions during inference. However, conventional Gaussian Process (GP) calibration methods often fail to capture the internal hierarchical structure of deep neural networks, limiting both interpretability and effectiveness for assessing predictive reliability. We propose a Semantic-Aware Layer-wise Gaussian Process (SAL-GP) framework that mirrors the layered architecture of the target neural network. Instead of applying a single global GP correction, SAL-GP employs a multi-layer GP model, where each layer's feature representation is mapped to a local calibration correction. These layerwise GPs are coupled through a structured multi-layer kernel, enabling joint marginalization across all layers. This design allows SAL-GP to capture both local semantic dependencies and global calibration coherence, while consistently propagating predictive uncertainty through the network. The resulting framework enhances interpretability aligned with the network architecture and enables principled evaluation of confidence consistency and uncertainty quantification in deep models.
- Abstract(参考訳): ニューラルネットワーク分類器の信頼性の校正は、推論中の予測の信頼性の定量化に不可欠である。
しかし、従来のガウス過程(GP)キャリブレーション法は、しばしば深層ニューラルネットワークの内部階層構造を捉えることに失敗し、予測信頼性を評価するための解釈可能性と有効性の両方を制限する。
本稿では,対象ニューラルネットワークの階層構造を反映したセマンティック・アウェア・レイヤ・ワイド・ガウス・プロセス(SAL-GP)フレームワークを提案する。
単一のグローバルGP補正を適用する代わりに、SAL-GPは多層GPモデルを採用し、各層の特徴表現を局所的なキャリブレーション補正にマッピングする。
これらの層状GPは、構造化された多層カーネルを介して結合され、すべての層をまたがる結合境界化を可能にする。
この設計により、SAL-GPはローカルなセマンティック依存関係とグローバルなキャリブレーションコヒーレンスの両方をキャプチャできると同時に、ネットワークを通じて予測の不確実性を一貫して伝播することができる。
このフレームワークは、ネットワークアーキテクチャと整合した解釈可能性を高め、ディープモデルにおける信頼性の整合性と不確実性定量化の原則的評価を可能にする。
関連論文リスト
- Eigen Neural Network: Unlocking Generalizable Vision with Eigenbasis [5.486667906157719]
固有ニューラルネットワーク(Eigen Neural Network, ENN)は、各層の重みを再パラメータ化する新しいアーキテクチャである。
標準BPと統合すると、ENNは大規模画像分類ベンチマークにおける最先端の手法を一貫して上回っている。
論文 参考訳(メタデータ) (2025-08-02T06:33:58Z) - PostHoc FREE Calibrating on Kolmogorov Arnold Networks [16.957071012748454]
コルモゴロフ・アーノルドネットワーク(コルモゴロフ・アーノルドネットワーク、KAN)は、コルモゴロフ・アーノルドの表現定理に触発されたニューラルネットワークである。
Kansは、標準MultiLayer Perceptrons(MLPs)によってモデル化されたもの以外の複雑な非線形性を捉えることができる
カンは、密集したデータ領域における過信と疎開な領域における過信と示す誤判定された信頼度をしばしば示す。
論文 参考訳(メタデータ) (2025-03-03T05:42:49Z) - Positional Encoder Graph Quantile Neural Networks for Geographic Data [4.277516034244117]
本稿では,PE-GNNと量子ニューラルネットワーク,部分的に単調なニューラルブロック,ポストホックリカレーション技術を組み合わせた新しいフレームワークを提案する。
PE-GQNNは、ターゲット分布に関する最小の仮定で柔軟で堅牢な条件密度推定を可能にし、空間データを超えたタスクに自然に拡張する。
論文 参考訳(メタデータ) (2024-09-27T16:02:12Z) - DeepHGNN: Study of Graph Neural Network based Forecasting Methods for Hierarchically Related Multivariate Time Series [5.029860184826624]
本稿では,複雑な階層構造における予測を目的とした新しい階層型GNN(DeepHGNN)フレームワークを提案する。
DeepHGNNは、様々な階層レベルの予測精度とコヒーレンスを保証し、それらをまたいだ信号を共有する。
複数の最先端モデルに対する包括的評価セットにより,DeepHGNNの優れた性能が確認された。
論文 参考訳(メタデータ) (2024-05-29T02:06:17Z) - Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。
よりスムーズな関数との補間により、より一般化できることを示す。
論文 参考訳(メタデータ) (2023-05-30T19:37:44Z) - On skip connections and normalisation layers in deep optimisation [32.51139594406463]
本稿では、ディープニューラルネットワークの最適化研究のための一般的な理論的枠組みを紹介する。
本フレームワークは多層損失景観の曲率および規則性特性を決定する。
スキップ接続がトレーニングを加速する新しい因果メカニズムを同定する。
論文 参考訳(メタデータ) (2022-10-10T06:22:46Z) - On the Effective Number of Linear Regions in Shallow Univariate ReLU
Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。
我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文 参考訳(メタデータ) (2022-05-18T16:57:10Z) - On Feature Learning in Neural Networks with Global Convergence
Guarantees [49.870593940818715]
勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。
入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。
また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
論文 参考訳(メタデータ) (2022-04-22T15:56:43Z) - Critical Initialization of Wide and Deep Neural Networks through Partial
Jacobians: General Theory and Applications [6.579523168465526]
ネットワークの固有ヤコビアン(enmphpartial Jacobians)を導入し、層$l$におけるプレアクティベーションの微分として定義し、層$l_0leq l$におけるプレアクティベーションについて述べる。
我々は,部分ジャコビアンのノルムに対する再帰関係を導出し,これらの関係を利用して,LayerNormおよび/または残留接続を用いたディープ・完全連結ニューラルネットワークの臨界度を解析する。
論文 参考訳(メタデータ) (2021-11-23T20:31:42Z) - Incremental Ensemble Gaussian Processes [53.3291389385672]
本稿では,EGPメタラーナーがGP学習者のインクリメンタルアンサンブル(IE-) GPフレームワークを提案し,それぞれが所定のカーネル辞書に属するユニークなカーネルを持つ。
各GP専門家は、ランダムな特徴ベースの近似を利用してオンライン予測とモデル更新を行い、そのスケーラビリティを生かし、EGPメタラーナーはデータ適応重みを生かし、熟練者ごとの予測を合成する。
新たなIE-GPは、EGPメタラーナーおよび各GP学習者内における構造化力学をモデル化することにより、時間変化関数に対応するように一般化される。
論文 参考訳(メタデータ) (2021-10-13T15:11:25Z) - Proxy Convexity: A Unified Framework for the Analysis of Neural Networks
Trained by Gradient Descent [95.94432031144716]
学習ネットワークの分析のための統合された非最適化フレームワークを提案する。
既存の保証は勾配降下により統一することができることを示す。
論文 参考訳(メタデータ) (2021-06-25T17:45:00Z) - Learning Structures for Deep Neural Networks [99.8331363309895]
我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。
スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。
公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
論文 参考訳(メタデータ) (2021-05-27T12:27:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。