論文の概要: Bayesian Deep Learning Hyperparameter Search for Robust Function Mapping
to Polynomials with Noise
- arxiv url: http://arxiv.org/abs/2106.12532v1
- Date: Wed, 23 Jun 2021 16:54:55 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-24 16:57:07.161726
- Title: Bayesian Deep Learning Hyperparameter Search for Robust Function Mapping
to Polynomials with Noise
- Title（参考訳）: ベイズ深層学習ハイパーパラメータ探索による雑音付き多項式へのロバスト関数マッピング
- Authors: Nidhin Harilal, Udit Bhatia, Auroop R. Ganguly
- Abstract要約: 本研究では, 異なる分布, 信号-雑音比, 様々な雑音特性を有するノイズで汚染されたn階の信号を, 適切なニューラルアーキテクチャとアンサンブル構成で検出できるかどうかを考察する。
この結果から,予測能力と不確実性に最適なネットワークと,それぞれに最適なアンサンブル数が存在する可能性が示唆された。
- 参考スコア（独自算出の注目度）: 6.824528578298091
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Advances in neural architecture search, as well as explainability and
interpretability of connectionist architectures, have been reported in the
recent literature. However, our understanding of how to design Bayesian Deep
Learning (BDL) hyperparameters, specifically, the depth, width and ensemble
size, for robust function mapping with uncertainty quantification, is still
emerging. This paper attempts to further our understanding by mapping Bayesian
connectionist representations to polynomials of different orders with varying
noise types and ratios. We examine the noise-contaminated polynomials to search
for the combination of hyperparameters that can extract the underlying
polynomial signals while quantifying uncertainties based on the noise
attributes. Specifically, we attempt to study the question that an appropriate
neural architecture and ensemble configuration can be found to detect a signal
of any n-th order polynomial contaminated with noise having different
distributions and signal-to-noise (SNR) ratios and varying noise attributes.
Our results suggest the possible existence of an optimal network depth as well
as an optimal number of ensembles for prediction skills and uncertainty
quantification, respectively. However, optimality is not discernible for width,
even though the performance gain reduces with increasing width at high values
of width. Our experiments and insights can be directional to understand
theoretical properties of BDL representations and to design practical
solutions.
- Abstract（参考訳）: ニューラルアーキテクチャ探索の進歩と、コネクショナリストアーキテクチャの説明可能性と解釈性は、最近の文献で報告されている。
しかし,BDL(Bayesian Deep Learning)ハイパーパラメータの設計方法,特に不確実な定量化を伴うロバストな関数マッピングのための深さ,幅,アンサンブルサイズについて,我々はまだ理解していない。
本稿では,ベイズ接続性表現を,ノイズタイプや比率の異なる異なる次数の多項式にマッピングすることで,理解を深めようとする。
雑音特性に基づく不確かさを定量化しつつ, 基礎となる多項式信号を抽出するハイパーパラメータの組み合わせを探索するために, 雑音汚染多項式を調べる。
具体的には、異なる分布とSNR比と様々な雑音特性を有するノイズで汚染されたn次多項式の信号を検出するために、適切なニューラルネットワークアーキテクチャとアンサンブル構成が見つかるかどうかを考察する。
以上の結果から,ネットワーク深度が最適であること,および予測スキルと不確かさの定量化に最適なアンサンブル数があることが示唆された。
しかし、高い幅値での幅増加に伴い性能向上率が低下しても、幅に対する最適性は識別できない。
我々の実験と洞察は、BDL表現の理論的性質を理解し、実用的なソリューションを設計するための方向性となる。
関連論文リスト
- Density Regression and Uncertainty Quantification with Bayesian Deep
Noise Neural Networks [4.376565880192482]
ディープニューラルネットワーク(DNN)モデルは、幅広い教師付き学習アプリケーションにおいて最先端の予測精度を達成した。
DNN予測の不確実性を正確に定量化することは、依然として難しい課題である。
本稿では,ベイジアンディープノイズニューラルネットワーク (B-DeepNoise) を提案する。ベイジアンDNNは,ランダムノイズ変数をすべての隠蔽層に拡張することにより,標準ベイジアンDNNを一般化する。
予測精度,不確実性定量化精度,不確実性定量化効率の点で優れた性能を示した。
論文 参考訳（メタデータ） (2022-06-12T02:47:29Z) - Deep Architecture Connectivity Matters for Its Convergence: A
Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。
接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文 参考訳（メタデータ） (2022-05-11T17:43:54Z) - Deep Equilibrium Assisted Block Sparse Coding of Inter-dependent
Signals: Application to Hyperspectral Imaging [71.57324258813675]
相互依存信号のデータセットは、列が強い依存を示す行列として定義される。
ニューラルネットワークは、事前に構造として機能し、基礎となる信号相互依存性を明らかにするために使用される。
ディープ・アンローリングとディープ・平衡に基づくアルゴリズムが開発され、高度に解釈可能で簡潔なディープ・ラーニング・ベース・アーキテクチャを形成する。
論文 参考訳（メタデータ） (2022-03-29T21:00:39Z) - A research framework for writing differentiable PDE discretizations in
JAX [3.4389358108344257]
微分可能シミュレータは、強化学習から最適制御まで、いくつかの分野で応用される新しい概念である。
連続関数の族間の写像として作用素を表現し、有限ベクトルでパラメタ化することにより、微分可能作用素と離散化のライブラリを提案する。
本稿では、フーリエスペクトル法を用いてヘルムホルツ方程式を離散化し、勾配勾配を用いて微分可能性を示し、音響レンズの音速を最適化する音響最適化問題に対するアプローチを示す。
論文 参考訳（メタデータ） (2021-11-09T15:58:44Z) - Optimizing Information-theoretical Generalization Bounds via Anisotropic
Noise in SGLD [73.55632827932101]
SGLDにおけるノイズ構造を操作することにより,情報理論の一般化を最適化する。
低経験的リスクを保証するために制約を課すことで、最適なノイズ共分散が期待される勾配共分散の平方根であることを証明する。
論文 参考訳（メタデータ） (2021-10-26T15:02:27Z) - A Deep Learning approach to Reduced Order Modelling of Parameter
Dependent Partial Differential Equations [0.2148535041822524]
パラメーター対解写像の効率的な近似法として,Deep Neural Networks に基づく構築的アプローチを開発した。
特に, パラメタライズド・アドベクション拡散PDEについて検討し, 強輸送場の存在下で方法論を検証した。
論文 参考訳（メタデータ） (2021-03-10T17:01:42Z) - Deep Networks for Direction-of-Arrival Estimation in Low SNR [89.45026632977456]
我々は,真の配列多様体行列の変異チャネルデータから学習した畳み込みニューラルネットワーク(CNN)を導入する。
我々は低SNR体制でCNNを訓練し、すべてのSNRでDoAを予測する。
私たちの堅牢なソリューションは、ワイヤレスアレイセンサーから音響マイクロフォンやソナーまで、いくつかの分野に適用できます。
論文 参考訳（メタデータ） (2020-11-17T12:52:18Z) - Solving Sparse Linear Inverse Problems in Communication Systems: A Deep
Learning Approach With Adaptive Depth [51.40441097625201]
疎信号回復問題に対するエンドツーエンドの訓練可能なディープラーニングアーキテクチャを提案する。
提案手法は,出力するレイヤ数を学習し,各タスクのネットワーク深さを推論フェーズで動的に調整する。
論文 参考訳（メタデータ） (2020-10-29T06:32:53Z) - Using deep learning to understand and mitigate the qubit noise
environment [0.0]
本稿では,量子ビット上の時間力学測定から正確な雑音スペクトルを抽出する手法を提案する。
任意の浴槽に囲まれた任意のキュービットに付随する雑音スペクトルを抽出するニューラルネットワークに基づく手法を実証する。
この結果は、様々なキュービットプラットフォームに適用でき、キュービット性能を改善するためのフレームワークを提供する。
論文 参考訳（メタデータ） (2020-05-03T17:13:14Z) - Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。
このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる
このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
論文 参考訳（メタデータ） (2020-03-13T13:11:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。