論文の概要: Active Learning with Fully Bayesian Neural Networks for Discontinuous and Nonstationary Data
- arxiv url: http://arxiv.org/abs/2405.09817v2
- Date: Fri, 17 May 2024 05:39:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-20 11:46:25.045239
- Title: Active Learning with Fully Bayesian Neural Networks for Discontinuous and Nonstationary Data
- Title（参考訳）: 不連続および非定常データのための完全ベイズニューラルネットワークによるアクティブラーニング
- Authors: Maxim Ziatdinov,
- Abstract要約: 我々は,「小さなデータ」体制下でのアクティブな学習タスクに対して,完全ベイズニューラルネットワーク(FBNN)を導入する。
FBNNは信頼性の高い予測分布を提供し、アクティブな学習環境における不確実性の下で情報的意思決定に不可欠である。
そこで我々は,FBNNの「小型データ」システムにおけるアクティブな学習課題に対するNo-U-Turn Samplerを用いて,FBNNの適合性と性能を評価する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Active learning optimizes the exploration of large parameter spaces by strategically selecting which experiments or simulations to conduct, thus reducing resource consumption and potentially accelerating scientific discovery. A key component of this approach is a probabilistic surrogate model, typically a Gaussian Process (GP), which approximates an unknown functional relationship between control parameters and a target property. However, conventional GPs often struggle when applied to systems with discontinuities and non-stationarities, prompting the exploration of alternative models. This limitation becomes particularly relevant in physical science problems, which are often characterized by abrupt transitions between different system states and rapid changes in physical property behavior. Fully Bayesian Neural Networks (FBNNs) serve as a promising substitute, treating all neural network weights probabilistically and leveraging advanced Markov Chain Monte Carlo techniques for direct sampling from the posterior distribution. This approach enables FBNNs to provide reliable predictive distributions, crucial for making informed decisions under uncertainty in the active learning setting. Although traditionally considered too computationally expensive for 'big data' applications, many physical sciences problems involve small amounts of data in relatively low-dimensional parameter spaces. Here, we assess the suitability and performance of FBNNs with the No-U-Turn Sampler for active learning tasks in the 'small data' regime, highlighting their potential to enhance predictive accuracy and reliability on test functions relevant to problems in physical sciences.
- Abstract（参考訳）: アクティブラーニングは、どの実験やシミュレーションを行うかを戦略的に選択することで、大きなパラメータ空間の探索を最適化する。
このアプローチの重要な構成要素は確率的代理モデル(一般にガウス過程(GP))であり、制御パラメータと対象特性の間の未知の機能的関係を近似する。
しかし、従来のGPは不連続性や非定常性を持つシステムに適用した場合にしばしば苦労し、代替モデルの探索を急がせた。
この制限は、しばしば異なる状態間の急激な遷移と、物理的性質の素早い変化によって特徴づけられる物理科学の問題に特に関係している。
FBNN(Fully Bayesian Neural Networks)は、すべてのニューラルネットワーク重みを確率的に扱い、高度なマルコフ連鎖モンテカルロ法を利用して後部分布から直接サンプリングする、有望な代用として機能する。
このアプローチにより、FBNNは、アクティブな学習環境における不確実性の下で情報的決定を行う上で不可欠な、信頼性の高い予測分布を提供することができる。
伝統的に「ビッグデータ」アプリケーションには計算コストが高すぎると考えられてきたが、多くの物理科学問題は比較的低次元のパラメータ空間において少量のデータを含む。
本稿では,FBNNの「小型データ」システムにおけるアクティブな学習課題に対するNo-U-Turn Samplerによる適合性と性能を評価し,物理科学における問題に関連するテスト機能に対する予測精度と信頼性を高める可能性を明らかにする。
関連論文リスト
- Empowering Bayesian Neural Networks with Functional Priors through Anchored Ensembling for Mechanics Surrogate Modeling Applications [0.0]
本稿では,関数空間で利用可能な事前情報を統合するアンカー型アンサンブルに基づく新しいBNNトレーニング手法を提案する。
アンカーリング方式は, NNパラメータ間の低ランク相関を利用して, 事前学習から関数前の実現まで学習する。
また,既存のBNN実装では無視されることが多いNN重み間の相関が,関数空間とパラメータ空間の事前知識を適切に伝達する上で重要であることを示す。
論文 参考訳（メタデータ） (2024-09-08T22:27:50Z) - Learning Low Dimensional State Spaces with Overparameterized Recurrent
Neural Nets [57.06026574261203]
我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。
実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2022-10-25T14:45:15Z) - MARS: Meta-Learning as Score Matching in the Function Space [79.73213540203389]
本稿では,一連の関連するデータセットから帰納バイアスを抽出する手法を提案する。
機能的ベイズニューラルネットワーク推論を用いて、前者をプロセスとみなし、関数空間で推論を行う。
本手法は,データ生成プロセスのスコア関数をメタラーニングすることにより,複雑な事前知識をシームレスに獲得し,表現することができる。
論文 参考訳（メタデータ） (2022-10-24T15:14:26Z) - Conditional Neural Processes for Molecules [0.0]
ニューラルプロセス(NPs)はガウス過程(GPs)に類似した特性を持つ伝達学習のモデルである
本稿では,MLモデルのベンチマークのためのドッキングスコアのデータセットであるDOCKSTRINGに対して,条件付きニューラルプロセス(CNP)を適用する。
CNPは、QSARモデリングに共通する教師付き学習ベースラインに対して、数ショットの学習タスクにおいて、競合する性能を示す。
論文 参考訳（メタデータ） (2022-10-17T16:10:12Z) - Physically constrained neural networks to solve the inverse problem for
neuron models [0.29005223064604074]
システム生物学とシステム神経生理学は、生体医学科学における多くの重要な応用のための強力なツールである。
ディープニューラルネットワークの分野における最近の進歩は、非線形で普遍的な近似を定式化する可能性を示している。
論文 参考訳（メタデータ） (2022-09-24T12:51:15Z) - A Free Lunch with Influence Functions? Improving Neural Network
Estimates with Concepts from Semiparametric Statistics [41.99023989695363]
ニューラルネットワークや機械学習アルゴリズムの改善に使用される半パラメトリック理論の可能性を探る。
本稿では,単一アーキテクチャを用いてアンサンブルの柔軟性と多様性を求めるニューラルネットワーク手法であるMultiNetを提案する。
論文 参考訳（メタデータ） (2022-02-18T09:35:51Z) - Dynamic Neural Diversification: Path to Computationally Sustainable
Neural Networks [68.8204255655161]
訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。
学習過程において隠れた層内のニューロンの多様性を探索する。
ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
論文 参考訳（メタデータ） (2021-09-20T15:12:16Z) - Characterizing possible failure modes in physics-informed neural
networks [55.83255669840384]
科学機械学習における最近の研究は、いわゆる物理情報ニューラルネットワーク(PINN)モデルを開発した。
既存のPINN方法論は比較的自明な問題に対して優れたモデルを学ぶことができるが、単純なPDEであっても、関連する物理現象を学習するのに失敗する可能性があることを実証する。
これらの障害モードは,NNアーキテクチャの表現力の欠如によるものではなく,PINNのセットアップによって損失状況の最適化が極めて困難であることを示す。
論文 参考訳（メタデータ） (2021-09-02T16:06:45Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - Active Importance Sampling for Variational Objectives Dominated by Rare
Events: Consequences for Optimization and Generalization [12.617078020344618]
本稿では,レアイベントサンプリング手法とニューラルネットワーク最適化を組み合わせて,レアイベントに支配される目的関数を最適化する手法を提案する。
重要度サンプリングは学習問題に対する解の分散を減少させ,一般化の利点を示唆することを示す。
数値実験により,高次元データと希少データの複合化が困難である場合でも,学習を成功させることができた。
論文 参考訳（メタデータ） (2020-08-11T23:38:09Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。