論文の概要: Informative Bayesian Neural Network Priors for Weak Signals

• arxiv url: http://arxiv.org/abs/2002.10243v2
• Date: Thu, 7 Jan 2021 14:55:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-29 03:01:00.574719
• Title: Informative Bayesian Neural Network Priors for Weak Signals
• Title（参考訳）: 弱信号に対する情報ベイズニューラルネットワークの事前予測
• Authors: Tianyu Cui, Aki Havulinna, Pekka Marttinen, Samuel Kaski
• Abstract要約: 2種類のドメイン知識は、科学的な応用で一般的に利用することができる。 両種類のドメイン知識を広く使われているガウススケールの混合体にエンコードする方法を示す。 従来のニューラルネットワークよりも予測精度が向上したことを実証的に示す。
• 参考スコア（独自算出の注目度）: 15.484976432805817
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Encoding domain knowledge into the prior over the high-dimensional weight space of a neural network is challenging but essential in applications with limited data and weak signals. Two types of domain knowledge are commonly available in scientific applications: 1. feature sparsity (fraction of features deemed relevant); 2. signal-to-noise ratio, quantified, for instance, as the proportion of variance explained (PVE). We show how to encode both types of domain knowledge into the widely used Gaussian scale mixture priors with Automatic Relevance Determination. Specifically, we propose a new joint prior over the local (i.e., feature-specific) scale parameters that encodes knowledge about feature sparsity, and a Stein gradient optimization to tune the hyperparameters in such a way that the distribution induced on the model's PVE matches the prior distribution. We show empirically that the new prior improves prediction accuracy, compared to existing neural network priors, on several publicly available datasets and in a genetics application where signals are weak and sparse, often outperforming even computationally intensive cross-validation for hyperparameter tuning.
• Abstract（参考訳）: ニューラルネットワークの高次元重み空間上での事前知識のエンコーディングは難しいが、限られたデータと弱い信号を扱うアプリケーションでは必須である。 ドメイン知識の2つのタイプは科学的応用で一般的に利用可能である。 1. 特徴の空間性(関係とみなす特徴の分断) 2. 信号対雑音比は、例えば、分散の比率(PVE)として定量化される。 本稿では,2種類のドメイン知識を,自動関連度決定によるガウス規模混合にエンコードする方法を示す。 具体的には,特徴スパーシティに関する知識をエンコードする局所的(すなわち特徴特異的)スケールパラメータに先行する新しいジョイントと,モデルpveに誘導される分布が事前分布に一致するようにハイパーパラメータをチューニングするためのスタイン勾配最適化を提案する。 提案手法は,いくつかの公開データセットや,信号が弱く疎外であり,ハイパーパラメータチューニングのための計算集約的なクロスバリデーションよりも優れる遺伝学アプリケーションにおいて,既存のニューラルネットワークよりも予測精度が向上することを示す。

関連論文リスト

• Bayesian Neural Networks with Domain Knowledge Priors [52.80929437592308]
  ドメイン知識の一般的な形式をBNNに組み込むためのフレームワークを提案する。 提案したドメイン知識を用いたBNNは,標準知識のBNNよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-20T22:34:53Z)
• Assessing Neural Network Representations During Training Using Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
  ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。 データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。 本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
  論文  参考訳（メタデータ） (2023-12-04T01:32:42Z)
• Accelerating Scalable Graph Neural Network Inference with Node-Adaptive Propagation [80.227864832092]
  グラフニューラルネットワーク(GNN)は、様々なアプリケーションで例外的な効果を発揮している。 大規模グラフの重大化は,GNNによるリアルタイム推論において重要な課題となる。 本稿では,オンライン伝搬フレームワークと2つの新しいノード適応伝搬手法を提案する。
  論文  参考訳（メタデータ） (2023-10-17T05:03:00Z)
• Domain Adaptive Synapse Detection with Weak Point Annotations [63.97144211520869]
  弱点アノテーションを用いたドメイン適応型シナプス検出のためのフレームワークであるAdaSynを提案する。 I SBI 2023のWASPSYNチャレンジでは、我々の手法が第1位にランクインした。
  論文  参考訳（メタデータ） (2023-08-31T05:05:53Z)
• Sparsifying Bayesian neural networks with latent binary variables and normalizing flows [10.865434331546126]
  潜伏二元系ベイズニューラルネットワーク(LBBNN)の2つの拡張について検討する。 まず、隠れたユニットを直接サンプリングするためにLRT(Local Reparametrization trick)を用いることで、より計算効率の良いアルゴリズムが得られる。 さらに, LBBNNパラメータの変動後分布の正規化フローを用いて, 平均体ガウス分布よりも柔軟な変動後分布を学習する。
  論文  参考訳（メタデータ） (2023-05-05T09:40:28Z)
• Towards Better Out-of-Distribution Generalization of Neural Algorithmic Reasoning Tasks [51.8723187709964]
  ニューラルネットワーク推論タスクのOOD一般化について検討する。 目標は、ディープニューラルネットワークを使用して入出力ペアからアルゴリズムを学ぶことである。
  論文  参考訳（メタデータ） (2022-11-01T18:33:20Z)
• SignalNet: A Low Resolution Sinusoid Decomposition and Estimation Network [79.04274563889548]
  本稿では,正弦波数を検出するニューラルネットワークアーキテクチャであるSignalNetを提案する。 基礎となるデータ分布と比較して,ネットワークの結果を比較するための最悪の学習しきい値を導入する。 シミュレーションでは、我々のアルゴリズムは常に3ビットデータのしきい値を超えることができるが、しばしば1ビットデータのしきい値を超えることはできない。
  論文  参考訳（メタデータ） (2021-06-10T04:21:20Z)
• Learning Functional Priors and Posteriors from Data and Physics [3.537267195871802]
  我々は、歴史的データを用いて時空の露光を可能にするディープニューラルネットワークに基づく新しいフレームワークを開発した。 物理インフォームド・ジェネレーティブ・アダクティブ・アダクティブ・ネットワーク(PI-GAN)を用いて機能的事前学習を行う。 第2段階では, PI-GANの潜伏空間の後方を推定するために, ハミルトニアンモンテカルロ法(HMC)を用いる。
  論文  参考訳（メタデータ） (2021-06-08T03:03:24Z)
• Multi-fidelity Bayesian Neural Networks: Algorithms and Applications [0.0]
  本稿では,可変忠実度の雑音データを用いて訓練できるベイズ型ニューラルネットワーク(BNN)を提案する。 関数近似の学習や、偏微分方程式(PDE)に基づく逆問題の解法に応用する。
  論文  参考訳（メタデータ） (2020-12-19T02:03:53Z)
• Exploring the Uncertainty Properties of Neural Networks' Implicit Priors in the Infinite-Width Limit [47.324627920761685]
  我々は、無限大のNNのアンサンブルに先立って関数空間をガウス過程として特徴づける最近の理論的進歩を用いる。 これにより、関数空間上の暗黙の前のNNについて、よりよく理解できます。 また,従来のNNGPを用いた分類手法の校正について検討した。
  論文  参考訳（メタデータ） (2020-10-14T18:41:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。