Fugu-MT 論文翻訳(概要): Connecting the Dots: Is Mode-Connectedness the Key to Feasible Sample-Based Inference in Bayesian Neural Networks?

論文の概要: Connecting the Dots: Is Mode-Connectedness the Key to Feasible Sample-Based Inference in Bayesian Neural Networks?

arxiv url: http://arxiv.org/abs/2402.01484v2
Date: Tue, 28 May 2024 03:13:08 GMT
ステータス: 処理完了
システム内更新日: 2024-05-30 03:38:05.947796
Title: Connecting the Dots: Is Mode-Connectedness the Key to Feasible Sample-Based Inference in Bayesian Neural Networks?
Title（参考訳）: ドットの接続: モード接続性はベイズニューラルネットワークにおける可能なサンプルベース推論の鍵か?
Authors: Emanuel Sommer, Lisa Wimmer, Theodore Papamarkou, Ludwig Bothmann, Bernd Bischl, David Rügamer,
Abstract要約: ベイズニューラルネットワークに対するサンプルベース推論(SBI)における大きな課題は、ネットワークのパラメータ空間のサイズと構造である。重みと関数空間の特徴的関係を取り入れることで,SBIを成功させることが可能であることを示す。本稿では、競合性能と不確実性定量化のための効果的な解として、ディープアンサンブルアプローチを提案する。
参考スコア（独自算出の注目度）: 9.332937821095653
License: http://creativecommons.org/licenses/by/4.0/
Abstract: A major challenge in sample-based inference (SBI) for Bayesian neural networks is the size and structure of the networks' parameter space. Our work shows that successful SBI is possible by embracing the characteristic relationship between weight and function space, uncovering a systematic link between overparameterization and the difficulty of the sampling problem. Through extensive experiments, we establish practical guidelines for sampling and convergence diagnosis. As a result, we present a deep ensemble initialized approach as an effective solution with competitive performance and uncertainty quantification.
Abstract（参考訳）: ベイズニューラルネットワークに対するサンプルベース推論(SBI)における大きな課題は、ネットワークのパラメータ空間のサイズと構造である。本研究は, 過パラメータ化とサンプリング問題の難易度を体系的に関連付けることにより, 重量と関数空間の特性的関係を取り入れることにより, SBIを成功させることが可能であることを示す。広範囲な実験を通じて,サンプリングおよび収束診断の実践的ガイドラインを確立する。その結果、競合性能と不確実性定量化に有効な解法として、ディープアンサンブル初期化手法を提案する。

関連論文リスト

Provably Neural Active Learning Succeeds via Prioritizing Perplexing Samples [53.95282502030541]
ニューラルネットワークベースのアクティブラーニング(NAL)は、ニューラルネットワークを使用してサンプルの小さなサブセットを選択してトレーニングする、費用対効果の高いデータ選択技術である。我々は、機能学習の観点から、両方のクエリ基準ベースのNALの成功について、統一的な説明を提供することにより、一歩前進させようとする。
論文参考訳（メタデータ） (2024-06-06T10:38:01Z)
Rethinking Clustered Federated Learning in NOMA Enhanced Wireless Networks [60.09912912343705]
本研究では,新しいクラスタ化フェデレーション学習(CFL)アプローチと,非独立かつ同一に分散した(非IID)データセットを統合することのメリットについて検討する。データ分布における非IIDの度合いを測定する一般化ギャップの詳細な理論的解析について述べる。非IID条件によって引き起こされる課題に対処する解決策は、特性の分析によって提案される。
論文参考訳（メタデータ） (2024-03-05T17:49:09Z)
Neural Network with Local Converging Input (NNLCI) for Supersonic Flow Problems with Unstructured Grids [0.9152133607343995]
非構造データを用いた高忠実度予測のための局所収束入力(NNLCI)を用いたニューラルネットワークを開発した。また, NNLCI法を用いて, バンプを有するチャネル内の超音速流の可視化を行った。
論文参考訳（メタデータ） (2023-10-23T19:03:37Z)
Learning Active Subspaces for Effective and Scalable Uncertainty Quantification in Deep Neural Networks [13.388835540131508]
本稿では,ニューラルネットワークパラメータの低次元部分空間を構築するための新しい手法を提案する。その結果, 有効かつスケーラブルなベイズ推定が可能であることを実証した。提案手法は, 各種回帰タスクに対して, 頑健な不確実性推定を伴う信頼性予測を提供する。
論文参考訳（メタデータ） (2023-09-06T15:00:36Z)
Spike-and-slab shrinkage priors for structurally sparse Bayesian neural networks [0.16385815610837165]
スパースディープラーニングは、基礎となるターゲット関数のスパース表現を復元することで、課題に対処する。構造化された空間によって圧縮されたディープニューラルアーキテクチャは、低レイテンシ推論、データスループットの向上、エネルギー消費の削減を提供する。本研究では, (i) Spike-and-Slab Group Lasso (SS-GL) と (ii) Spike-and-Slab Group Horseshoe (SS-GHS) を併用した過剰ノードを誘発する構造的疎いベイズニューラルネットワークを提案する。
論文参考訳（メタデータ） (2023-08-17T17:14:18Z)
Feature Space Particle Inference for Neural Network Ensembles [13.392254060510666]
粒子ベースの推論法はベイズの観点から有望なアプローチを提供する。特定の中間層が活性化される特徴空間における粒子の最適化を提案する。提案手法は,各メンバーに対して,アンサンブル予測の堅牢性の向上を期待する特徴を捉えることを奨励する。
論文参考訳（メタデータ） (2022-06-02T09:16:26Z)
Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
論文参考訳（メタデータ） (2021-03-15T16:16:18Z)
Encoding the latent posterior of Bayesian Neural Networks for uncertainty quantification [10.727102755903616]
我々は,複雑なコンピュータビジョンアーキテクチャに適した効率的な深部BNNを目指している。可変オートエンコーダ(VAE)を利用して、各ネットワーク層におけるパラメータの相互作用と潜在分布を学習する。我々のアプローチであるLatent-Posterior BNN(LP-BNN)は、最近のBatchEnsemble法と互換性があり、高い効率(トレーニングとテストの両方における計算とメモリ)のアンサンブルをもたらす。
論文参考訳（メタデータ） (2020-12-04T19:50:09Z)
Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文参考訳（メタデータ） (2020-08-19T04:53:31Z)
Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
論文参考訳（メタデータ） (2020-06-16T18:45:20Z)
Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できるこのモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
論文参考訳（メタデータ） (2020-03-13T13:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。