論文の概要: Explainable Bayesian deep learning through input-skip Latent Binary Bayesian Neural Networks

• arxiv url: http://arxiv.org/abs/2503.10496v1
• Date: Thu, 13 Mar 2025 15:59:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-14 15:55:15.416727
• Title: Explainable Bayesian deep learning through input-skip Latent Binary Bayesian Neural Networks
• Title（参考訳）: 入力スキップ2元ベイズニューラルネットワークによる説明可能なベイズ深層学習
• Authors: Eirik Høyheim, Lars Skaaret-Lund, Solve Sæbø, Aliaksandr Hubin,
• Abstract要約: この記事では、後続のレイヤにスキップしたり、除外したりすることで、LCBNNを前進させる。 入力スキップの LBBNN アプローチは、標準の LBBNN と比較してネットワーク密度を著しく減らし、小型ネットワークでは 99% 以上、大型ネットワークでは 99.9% 以上を減らした。 例えば、MNISTでは、97%の精度と935重量のキャリブレーションに達し、ニューラルネットワークの圧縮の最先端に達しました。
• 参考スコア（独自算出の注目度）: 11.815986153374967
• License:
• Abstract: Modeling natural phenomena with artificial neural networks (ANNs) often provides highly accurate predictions. However, ANNs often suffer from over-parameterization, complicating interpretation and raising uncertainty issues. Bayesian neural networks (BNNs) address the latter by representing weights as probability distributions, allowing for predictive uncertainty evaluation. Latent binary Bayesian neural networks (LBBNNs) further handle structural uncertainty and sparsify models by removing redundant weights. This article advances LBBNNs by enabling covariates to skip to any succeeding layer or be excluded, simplifying networks and clarifying input impacts on predictions. Ultimately, a linear model or even a constant can be found to be optimal for a specific problem at hand. Furthermore, the input-skip LBBNN approach reduces network density significantly compared to standard LBBNNs, achieving over 99% reduction for small networks and over 99.9% for larger ones, while still maintaining high predictive accuracy and uncertainty measurement. For example, on MNIST, we reached 97% accuracy and great calibration with just 935 weights, reaching state-of-the-art for compression of neural networks. Furthermore, the proposed method accurately identifies the true covariates and adjusts for system non-linearity. The main contribution is the introduction of active paths, enhancing directly designed global and local explanations within the LBBNN framework, that have theoretical guarantees and do not require post hoc external tools for explanations.
• Abstract（参考訳）: ニューラルネットワーク(ANN)を用いた自然現象のモデリングは、しばしば高精度な予測を提供する。 しかし、ANNは過度なパラメータ化に悩まされ、解釈が複雑になり、不確実な問題を提起することが多い。 ベイズニューラルネットワーク(BNN)は、重みを確率分布として表現することで後者に対処し、予測の不確実性評価を可能にする。 LBBNN(Latent binary Bayesian Neural Network)は、余剰重みを取り除くことで構造的不確実性やスパーシフィケーションモデルを扱う。 本稿では,後続層にスキップしたり排除したり,ネットワークを簡素化したり,予測に対する入力の影響を明確にすることで,LCBNNを前進させる。 究極的には、線形モデルや定数でさえ、手元にある特定の問題に対して最適であることが分かる。 さらに、入力スキップ LBBNN アプローチは、標準的な LBBNN と比較してネットワーク密度を著しく低減し、小型ネットワークでは99%以上、大型ネットワークでは99.9%以上、高い予測精度と不確実性の測定を維持している。 例えば、MNISTでは、97%の精度と935重量のキャリブレーションに達し、ニューラルネットワークの圧縮の最先端に達しました。 さらに,提案手法は真の変分を正確に同定し,システムの非線形性に対する調整を行う。 主な貢献はアクティブパスの導入であり、理論的な保証を持ち、説明のためにポストホックな外部ツールを必要としない、グローバルおよびローカルな説明を LBBNN フレームワーク内で直接設計した。

関連論文リスト

• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• An Automata-Theoretic Approach to Synthesizing Binarized Neural Networks [13.271286153792058]
  量子ニューラルネットワーク(QNN)が開発され、二項化ニューラルネットワーク(BNN)は特殊なケースとしてバイナリ値に制限されている。 本稿では,指定された特性を満たすBNNの自動合成手法を提案する。
  論文  参考訳（メタデータ） (2023-07-29T06:27:28Z)
• Sparsifying Bayesian neural networks with latent binary variables and normalizing flows [10.865434331546126]
  潜伏二元系ベイズニューラルネットワーク(LBBNN)の2つの拡張について検討する。 まず、隠れたユニットを直接サンプリングするためにLRT(Local Reparametrization trick)を用いることで、より計算効率の良いアルゴリズムが得られる。 さらに, LBBNNパラメータの変動後分布の正規化フローを用いて, 平均体ガウス分布よりも柔軟な変動後分布を学習する。
  論文  参考訳（メタデータ） (2023-05-05T09:40:28Z)
• Incorporating Unlabelled Data into Bayesian Neural Networks [48.25555899636015]
  本稿では,事前予測分布の適切なモデル学習に非ラベルデータを用いた自己教師付きベイズニューラルネットワークを提案する。 自己教師型BNNの事前予測分布は,従来のBNNよりも問題セマンティクスが優れていることを示す。 提案手法は, 従来のBNN, 特に低予算体制において, 予測性能を向上する。
  論文  参考訳（メタデータ） (2023-04-04T12:51:35Z)
• Variational Neural Networks [88.24021148516319]
  本稿では,変分ニューラルネットワーク(VNN)と呼ばれるニューラルネットワークにおける不確実性推定手法を提案する。 VNNは、学習可能なサブレイヤで入力を変換することで、レイヤの出力分布のパラメータを生成する。 不確実性評価実験において、VNNはモンテカルロ・ドロップアウトやベイズ・バイ・バックプロパゲーション法よりも優れた不確実性が得られることを示す。
  論文  参考訳（メタデータ） (2022-07-04T15:41:02Z)
• Can pruning improve certified robustness of neural networks? [106.03070538582222]
  ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。 実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。 さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
  論文  参考訳（メタデータ） (2022-06-15T05:48:51Z)
• A Simple Approach to Improve Single-Model Deep Uncertainty via Distance-Awareness [33.09831377640498]
  本研究では,1つの決定論的表現に基づく1つのネットワークの不確実性向上手法について検討する。 本稿では,現代のDNNにおける距離認識能力を向上させる簡易な手法として,スペクトル正規化ニューラルガウス過程(SNGP)を提案する。 ビジョンと言語理解のベンチマークスイートでは、SNGPは予測、キャリブレーション、ドメイン外検出において、他の単一モデルアプローチよりも優れている。
  論文  参考訳（メタデータ） (2022-05-01T05:46:13Z)
• Explainable Artificial Intelligence for Bayesian Neural Networks: Towards trustworthy predictions of ocean dynamics [0.0]
  ニューラルネットワークの信頼性は、不確実性を表現したり、スキルを説明する能力が欠けているため、しばしば疑問視される。 気候変動の応用など、高い利害関係の意思決定においてニューラルネットワークの利用が増加していることを考えると、これは問題となる可能性がある。 我々は、パラメータが決定論的ではなく分布であるベイズニューラルネットワーク(BNN)の実装に成功し、説明可能なAI(XAI)技術の新しい実装を適用することにより、両方の問題に対処する。
  論文  参考訳（メタデータ） (2022-04-30T08:35:57Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration [74.5509794733707]
  本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。 提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。 提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
  論文  参考訳（メタデータ） (2021-02-17T18:59:28Z)
• Encoding the latent posterior of Bayesian Neural Networks for uncertainty quantification [10.727102755903616]
  我々は,複雑なコンピュータビジョンアーキテクチャに適した効率的な深部BNNを目指している。 可変オートエンコーダ(VAE)を利用して、各ネットワーク層におけるパラメータの相互作用と潜在分布を学習する。 我々のアプローチであるLatent-Posterior BNN(LP-BNN)は、最近のBatchEnsemble法と互換性があり、高い効率(トレーニングとテストの両方における計算とメモリ)のアンサンブルをもたらす。
  論文  参考訳（メタデータ） (2020-12-04T19:50:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。