論文の概要: Posterior Regularized Bayesian Neural Network Incorporating Soft and
Hard Knowledge Constraints
- arxiv url: http://arxiv.org/abs/2210.08608v1
- Date: Sun, 16 Oct 2022 18:58:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-18 18:54:11.174518
- Title: Posterior Regularized Bayesian Neural Network Incorporating Soft and
Hard Knowledge Constraints
- Title（参考訳）: ソフトとハードの制約を考慮した後正則ベイズニューラルネットワーク
- Authors: Jiayu Huang, Yutian Pang, Yongming Liu, Hao Yan
- Abstract要約: 本稿では,異なる種類の知識制約を組み込んだ後正規化ベイズニューラルネットワーク(PR-BNN)モデルを提案する。
航空機着陸予測と太陽エネルギー出力予測のシミュレーション実験と2つのケーススタディにより,提案モデルの知識制約と性能改善が示された。
- 参考スコア（独自算出の注目度）: 12.050265348673078
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural Networks (NNs) have been widely {used in supervised learning} due to
their ability to model complex nonlinear patterns, often presented in
high-dimensional data such as images and text. However, traditional NNs often
lack the ability for uncertainty quantification. Bayesian NNs (BNNS) could help
measure the uncertainty by considering the distributions of the NN model
parameters. Besides, domain knowledge is commonly available and could improve
the performance of BNNs if it can be appropriately incorporated. In this work,
we propose a novel Posterior-Regularized Bayesian Neural Network (PR-BNN) model
by incorporating different types of knowledge constraints, such as the soft and
hard constraints, as a posterior regularization term. Furthermore, we propose
to combine the augmented Lagrangian method and the existing BNN solvers for
efficient inference. The experiments in simulation and two case studies about
aviation landing prediction and solar energy output prediction have shown the
knowledge constraints and the performance improvement of the proposed model
over traditional BNNs without the constraints.
- Abstract（参考訳）: ニューラルネットワーク(nns)は、画像やテキストなどの高次元データでしばしば提示される複雑な非線形パターンをモデル化する能力から、教師付き学習で広く使用されている。
しかし、従来のnnは不確実性定量化の能力に欠けることが多い。
ベイズNN(BNNS)は、NNモデルパラメータの分布を考慮して不確実性を測定するのに役立つ。
さらに、ドメイン知識は一般的に利用可能であり、適切に組み込むことができれば、BNNのパフォーマンスを向上させることができる。
本研究では,ソフト制約やハード制約といった異なる種類の知識制約を後進正規化項として組み込むことにより,後進正規化ベイズニューラルネットワーク(pr-bnn)モデルを提案する。
さらに,拡張ラグランジアン法と既存のBNNソルバを組み合わせた効率的な推論手法を提案する。
シミュレーション実験と航空機の着陸予測と太陽エネルギー出力予測に関する2つのケーススタディは、制約のない従来のbnnに対する知識制約と性能改善を示した。
関連論文リスト
- Bayesian Entropy Neural Networks for Physics-Aware Prediction [14.705526856205454]
本稿では,ベイズニューラルネットワーク(BNN)の予測に制約を加えるためのフレームワークであるBENNを紹介する。
ベンは予測値だけでなく、その微分や分散を制約し、より堅牢で信頼性の高いモデル出力を保証できる。
その結果、従来のBNNよりも大幅に改善され、現代の制約されたディープラーニング手法と比較して競争性能が向上した。
論文 参考訳（メタデータ） (2024-07-01T07:00:44Z) - Neural Network Verification with Branch-and-Bound for General Nonlinearities [63.39918329535165]
ブランチ・アンド・バウンド(BaB)は、ニューラルネットワーク(NN)検証において最も効果的な手法の一つである。
我々は、一般的な非線形性にBaBを実行し、一般的なアーキテクチャでNNを検証する汎用フレームワークGenBaBを開発した。
我々は、Sigmoid、Tanh、Sine、GeLUなどの活性化機能を持つNNを含む幅広いNNの検証におけるGenBaBの有効性を実証する。
論文 参考訳（メタデータ） (2024-05-31T17:51:07Z) - Uncertainty in Graph Neural Networks: A Survey [50.63474656037679]
グラフニューラルネットワーク(GNN)は、様々な現実世界のアプリケーションで広く使われている。
しかし、多様な情報源から生じるGNNの予測的不確実性は、不安定で誤った予測につながる可能性がある。
本調査は,不確実性の観点からGNNの概要を概観することを目的としている。
論文 参考訳（メタデータ） (2024-03-11T21:54:52Z) - Bayesian Neural Networks with Domain Knowledge Priors [52.80929437592308]
ドメイン知識の一般的な形式をBNNに組み込むためのフレームワークを提案する。
提案したドメイン知識を用いたBNNは,標準知識のBNNよりも優れていることを示す。
論文 参考訳（メタデータ） (2024-02-20T22:34:53Z) - Make Me a BNN: A Simple Strategy for Estimating Bayesian Uncertainty
from Pre-trained Models [40.38541033389344]
ディープニューラルネットワーク(Deep Neural Networks, DNN)は、様々なコンピュータビジョンタスクのための強力なツールであるが、信頼性の高い不確実性定量化に苦慮することが多い。
本稿では、DNNをBNNにシームレスに変換するシンプルでスケーラブルな戦略であるAdaptable Bayesian Neural Network (ABNN)を紹介する。
画像分類とセマンティックセグメンテーションタスクのための複数のデータセットにわたる広範囲な実験を行い、ABNNが最先端の性能を達成することを示す。
論文 参考訳（メタデータ） (2023-12-23T16:39:24Z) - Scaling Model Checking for DNN Analysis via State-Space Reduction and
Input Segmentation (Extended Version) [12.272381003294026]
既存のフレームワークは、トレーニングされたNNに対して堅牢性と/または安全性を保証する。
我々は、広範囲のNNプロパティを分析するための最初のモデルチェックベースのフレームワークであるFANNetを提案した。
本研究は,形式的NN解析のスケーラビリティとタイミング効率を向上させるために,状態空間の削減と入力セグメント化手法を開発する。
論文 参考訳（メタデータ） (2023-06-29T22:18:07Z) - Masked Bayesian Neural Networks : Theoretical Guarantee and its
Posterior Inference [1.2722697496405464]
本稿では,理論特性が良好で,計算可能な新しいノードスパースBNNモデルを提案する。
我々は、真のモデルに対する後部濃度速度が、真のモデルの滑らかさに適応する最小限の最適値に近いことを証明した。
さらに,ノードスパースBNNモデルのベイズ推定を現実的に実現可能な新しいMCMCアルゴリズムを開発した。
論文 参考訳（メタデータ） (2023-05-24T06:16:11Z) - Incorporating Unlabelled Data into Bayesian Neural Networks [48.25555899636015]
本稿では,事前予測分布の適切なモデル学習に非ラベルデータを用いた自己教師付きベイズニューラルネットワークを提案する。
自己教師型BNNの事前予測分布は,従来のBNNよりも問題セマンティクスが優れていることを示す。
提案手法は, 従来のBNN, 特に低予算体制において, 予測性能を向上する。
論文 参考訳（メタデータ） (2023-04-04T12:51:35Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳（メタデータ） (2022-04-01T03:31:27Z) - Incorporating Interpretable Output Constraints in Bayesian Neural
Networks [34.103445420814644]
出力制約付きBNN(OC-BNN)は不確実性定量化のためのベイズフレームワークと完全に一致している。
我々は、医療、刑事司法、信用スコアなどの複数の領域にまたがる実世界のデータセットに対するOC-BNNの有効性を実証する。
論文 参考訳（メタデータ） (2020-10-21T13:00:05Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。