論文の概要: Look beyond labels: Incorporating functional summary information in Bayesian neural networks

• arxiv url: http://arxiv.org/abs/2207.01234v1
• Date: Mon, 4 Jul 2022 07:06:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-05 12:04:04.470220
• Title: Look beyond labels: Incorporating functional summary information in Bayesian neural networks
• Title（参考訳）: ラベルを超えて見る:ベイズニューラルネットワークにおける機能的要約情報の導入
• Authors: Vishnu Raj, Tianyu Cui, Markus Heinonen and Pekka Marttinen
• Abstract要約: 予測確率に関する要約情報を組み込むための簡単な手法を提案する。 利用可能な要約情報は、拡張データとして組み込まれ、ディリクレプロセスでモデル化される。 本稿では,タスクの難易度やクラス不均衡をモデルに示す方法について述べる。
• 参考スコア（独自算出の注目度）: 11.874130244353253
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian deep learning offers a principled approach to train neural networks that accounts for both aleatoric and epistemic uncertainty. In variational inference, priors are often specified over the weight parameters, but they do not capture the true prior knowledge in large and complex neural network architectures. We present a simple approach to incorporate summary information about the predicted probability (such as sigmoid or softmax score) outputs in Bayesian neural networks (BNNs). The available summary information is incorporated as augmented data and modeled with a Dirichlet process, and we derive the corresponding \emph{Summary Evidence Lower BOund}. We show how the method can inform the model about task difficulty or class imbalance. Extensive empirical experiments show that, with negligible computational overhead, the proposed method yields a BNN with a better calibration of uncertainty.
• Abstract（参考訳）: ベイズ深層学習(Bayesian Deep Learning)は、ニューラルネットワークを訓練する原則的なアプローチを提供する。 変分推論では、事前はしばしば重みパラメーター上で指定されるが、大規模で複雑なニューラルネットワークアーキテクチャにおける真の事前知識を捉えない。 本稿では,ベイズニューラルネットワーク (bnns) における予測確率(sgmoid や softmax score など)のアウトプットに関する要約情報を組み込むための簡単な手法を提案する。 利用可能な要約情報は拡張データとして組み込まれ、dirichletプロセスでモデル化され、対応する \emph{summary evidence lowerbound} を導出する。 本手法は,タスクの難易度やクラス不均衡をモデルに通知する方法を示す。 大規模な実験実験により, 計算オーバーヘッドが無視できる場合, 提案手法は不確実性のキャリブレーションが良好なBNNが得られることがわかった。

関連論文リスト

• A Rate-Distortion View of Uncertainty Quantification [36.85921945174863]
  教師付き学習では、入力がトレーニングデータに近接していることを理解することは、モデルが信頼できる予測に達する十分な証拠を持っているかどうかを判断するのに役立つ。 本稿では,この特性でディープニューラルネットワークを強化するための新しい手法であるDistance Aware Bottleneck (DAB)を紹介する。
  論文  参考訳（メタデータ） (2024-06-16T01:33:22Z)
• Bayesian Neural Networks with Domain Knowledge Priors [52.80929437592308]
  ドメイン知識の一般的な形式をBNNに組み込むためのフレームワークを提案する。 提案したドメイン知識を用いたBNNは,標準知識のBNNよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-20T22:34:53Z)
• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• Sparsifying Bayesian neural networks with latent binary variables and normalizing flows [10.865434331546126]
  潜伏二元系ベイズニューラルネットワーク(LBBNN)の2つの拡張について検討する。 まず、隠れたユニットを直接サンプリングするためにLRT(Local Reparametrization trick)を用いることで、より計算効率の良いアルゴリズムが得られる。 さらに, LBBNNパラメータの変動後分布の正規化フローを用いて, 平均体ガウス分布よりも柔軟な変動後分布を学習する。
  論文  参考訳（メタデータ） (2023-05-05T09:40:28Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Augmenting Neural Networks with Priors on Function Values [22.776982718042962]
  関数値に関する以前の知識は、しばしば自然科学で利用することができる。 BNNは、ユーザーが関数値を直接ではなく、ニューラルネットワークの重みについてのみ事前情報を指定できるようにする。 我々は,関数値自体の事前情報を付加したBNNの拡張手法を開発した。
  論文  参考訳（メタデータ） (2022-02-10T02:24:15Z)
• NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
  本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。 種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
  論文  参考訳（メタデータ） (2022-02-07T12:30:45Z)
• Analytic Mutual Information in Bayesian Neural Networks [0.8122270502556371]
  相互情報は、不確実性を定量化するベイズニューラルネットワークにおける不確実性尺度の例である。 我々は,点過程のエントロピーの概念を利用して,モデルパラメータと予測出力の相互情報の解析式を導出する。 応用として,ディリクレパラメータの推定について考察し,アクティブラーニングの不確実性対策における実例を示す。
  論文  参考訳（メタデータ） (2022-01-24T17:30:54Z)
• Transformers Can Do Bayesian Inference [56.99390658880008]
  我々はPFN(Presideed Data Fitted Networks)を提案する。 PFNは、大規模機械学習技術におけるインコンテキスト学習を活用して、大規模な後部集合を近似する。 我々は、PFNがガウス過程をほぼ完璧に模倣し、難解問題に対する効率的なベイズ推定を可能にすることを示した。
  論文  参考訳（メタデータ） (2021-12-20T13:07:39Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Bayesian Neural Networks [0.0]
  ニューラルネットワークによる予測におけるエラーを原理的に得る方法を示し、これらのエラーを特徴付ける2つの方法を提案する。 さらに、これらの2つのメソッドが実際に実施される際に、重大な落とし穴を持つ方法についても説明します。
  論文  参考訳（メタデータ） (2020-06-02T09:43:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。