論文の概要: Bayesian neural networks with interpretable priors from Mercer kernels
- arxiv url: http://arxiv.org/abs/2510.23745v1
- Date: Mon, 27 Oct 2025 18:25:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-29 15:35:36.412871
- Title: Bayesian neural networks with interpretable priors from Mercer kernels
- Title（参考訳）: メルサー核からの解釈可能な先行項を持つベイズニューラルネットワーク
- Authors: Alex Alberts, Ilias Bilionis,
- Abstract要約: 提案手法では,BNN が特定の GP に近似したサンプルを持つような,Mercurer priors と呼ばれる新しい BNN の事前クラスを導入する。
この方法は、共分散カーネルのマーサー表現からネットワークパラメータを直接的に定義することで機能し、特定の構造を持つネットワークに依存しない。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Quantifying the uncertainty in the output of a neural network is essential for deployment in scientific or engineering applications where decisions must be made under limited or noisy data. Bayesian neural networks (BNNs) provide a framework for this purpose by constructing a Bayesian posterior distribution over the network parameters. However, the prior, which is of key importance in any Bayesian setting, is rarely meaningful for BNNs. This is because the complexity of the input-to-output map of a BNN makes it difficult to understand how certain distributions enforce any interpretable constraint on the output space. Gaussian processes (GPs), on the other hand, are often preferred in uncertainty quantification tasks due to their interpretability. The drawback is that GPs are limited to small datasets without advanced techniques, which often rely on the covariance kernel having a specific structure. To address these challenges, we introduce a new class of priors for BNNs, called Mercer priors, such that the resulting BNN has samples which approximate that of a specified GP. The method works by defining a prior directly over the network parameters from the Mercer representation of the covariance kernel, and does not rely on the network having a specific structure. In doing so, we can exploit the scalability of BNNs in a meaningful Bayesian way.
- Abstract（参考訳）: ニューラルネットワークの出力の不確実性を定量化することは、限られたデータやノイズの多いデータの下で決定を下さなければならない科学や工学のアプリケーションに展開するために不可欠である。
ベイジアンニューラルネットワーク(BNN)は、ネットワークパラメータ上のベイジアン後部分布を構築することにより、この目的のためのフレームワークを提供する。
しかし、ベイジアンセッティングにおいて重要な重要な前者であり、BNNにとって意味のあることはめったにない。
これは、BNNの入出力マップの複雑さにより、特定の分布が出力空間の解釈可能な制約をどのように強制するかを理解するのが難しくなるためである。
一方、ガウス過程(GP)は、その解釈可能性のために不確実な定量化タスクにおいてしばしば好まれる。
欠点は、GPは高度な技術を持たない小さなデータセットに限られており、しばしば特定の構造を持つ共分散カーネルに依存していることである。
これらの課題に対処するために、我々はMercurer priorsと呼ばれるBNNの新たな事前クラスを導入し、その結果、BNNが特定のGPに近似するサンプルを持つようにした。
この方法は、共分散カーネルのマーサー表現からネットワークパラメータを直接的に定義することで機能し、特定の構造を持つネットワークに依存しない。
そうすることで、意味のあるベイズ的な方法でBNNのスケーラビリティを活用できます。
関連論文リスト
- Quantization vs Pruning: Insights from the Strong Lottery Ticket Hypothesis [5.494111035517599]
量子化はニューラルネットワークをより効率的にするための重要なテクニックですが、理論的には限定的です。
従来の研究では、バイナリネットワークのような超低精度ネットワークは、大規模でランダムに近似されたネットワークを刈り取ることで構築可能であることが示されていた。
我々は数分割問題(Number Partitioning Problem)に基づくボルグスらによる基礎的な結果に基づいて、量子化された環境でランダムな部分集合 Sum 問題に対する新たな理論的結果を導出する。
論文 参考訳（メタデータ） (2025-08-14T18:51:34Z) - PAC-Bayesian risk bounds for fully connected deep neural network with Gaussian priors [0.0]
完全連結ベイズニューラルネットワークはスパースネットワークに匹敵する収束率が得られることを示す。
我々の結果は、リプシッツ連続である幅広い実用的なアクティベーション関数のクラスに当てはまる。
論文 参考訳（メタデータ） (2025-05-07T11:42:18Z) - Explainable Bayesian deep learning through input-skip Latent Binary Bayesian Neural Networks [11.815986153374967]
この記事では、後続のレイヤにスキップしたり、除外したりすることで、LCBNNを前進させる。
入力スキップの LBBNN アプローチは、標準の LBBNN と比較してネットワーク密度を著しく減らし、小型ネットワークでは 99% 以上、大型ネットワークでは 99.9% 以上を減らした。
例えば、MNISTでは、97%の精度と935重量のキャリブレーションに達し、ニューラルネットワークの圧縮の最先端に達しました。
論文 参考訳（メタデータ） (2025-03-13T15:59:03Z) - Neural Network Verification with Branch-and-Bound for General Nonlinearities [63.39918329535165]
ブランチ・アンド・バウンド(BaB)は、ニューラルネットワーク(NN)検証において最も効果的な手法の一つである。
我々は、一般的な非線形性にBaBを実行し、一般的なアーキテクチャでNNを検証する汎用フレームワークGenBaBを開発した。
我々のフレームワークは、一般的な非線形グラフの検証を可能にし、単純なNNを超えた検証アプリケーションを可能にする。
論文 参考訳（メタデータ） (2024-05-31T17:51:07Z) - Bayesian Neural Networks with Domain Knowledge Priors [52.80929437592308]
ドメイン知識の一般的な形式をBNNに組み込むためのフレームワークを提案する。
提案したドメイン知識を用いたBNNは,標準知識のBNNよりも優れていることを示す。
論文 参考訳（メタデータ） (2024-02-20T22:34:53Z) - Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。
よりスムーズな関数との補間により、より一般化できることを示す。
論文 参考訳（メタデータ） (2023-05-30T19:37:44Z) - Improved uncertainty quantification for neural networks with Bayesian
last layer [0.0]
不確実性定量化は機械学習において重要な課題である。
本稿では,BLL を用いた NN の対数乗算可能性の再構成を行い,バックプロパゲーションを用いた効率的なトレーニングを実現する。
論文 参考訳（メタデータ） (2023-02-21T20:23:56Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳（メタデータ） (2022-04-01T03:31:27Z) - A Biased Graph Neural Network Sampler with Near-Optimal Regret [57.70126763759996]
グラフニューラルネットワーク(GNN)は、グラフおよびリレーショナルデータにディープネットワークアーキテクチャを適用する手段として登場した。
本論文では,既存の作業に基づいて,GNN近傍サンプリングをマルチアームバンディット問題として扱う。
そこで本研究では,分散を低減し,不安定かつ非限定的な支払いを回避すべく設計されたバイアスをある程度導入した報酬関数を提案する。
論文 参考訳（メタデータ） (2021-03-01T15:55:58Z) - Encoding the latent posterior of Bayesian Neural Networks for
uncertainty quantification [10.727102755903616]
我々は,複雑なコンピュータビジョンアーキテクチャに適した効率的な深部BNNを目指している。
可変オートエンコーダ(VAE)を利用して、各ネットワーク層におけるパラメータの相互作用と潜在分布を学習する。
我々のアプローチであるLatent-Posterior BNN(LP-BNN)は、最近のBatchEnsemble法と互換性があり、高い効率(トレーニングとテストの両方における計算とメモリ)のアンサンブルをもたらす。
論文 参考訳（メタデータ） (2020-12-04T19:50:09Z) - Exact posterior distributions of wide Bayesian neural networks [51.20413322972014]
正確なBNN後方収束は、前者のGP限界によって誘導されるものと(弱く)収束することを示す。
実験的な検証のために、リジェクションサンプリングにより、小さなデータセット上で有限BNNから正確なサンプルを生成する方法を示す。
論文 参考訳（メタデータ） (2020-06-18T13:57:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。