論文の概要: Function Space Bayesian Pseudocoreset for Bayesian Neural Networks

• arxiv url: http://arxiv.org/abs/2310.17852v1
• Date: Fri, 27 Oct 2023 02:04:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-30 15:12:22.295900
• Title: Function Space Bayesian Pseudocoreset for Bayesian Neural Networks
• Title（参考訳）: ベイズニューラルネットワークのための関数空間ベイズ擬似コアセット
• Authors: Balhae Kim, Hyungi Lee, Juho Lee
• Abstract要約: ベイズ擬似コアセット(Bayesian pseudocoreset)は、大規模データセットの基本情報を要約したコンパクトな合成データセットである。 本稿では,関数空間上で動作する新しいベイズ擬似コアセット構築法を提案する。 関数空間を直接扱うことで、重み空間で作業する際に生じるいくつかの課題を回避できる。
• 参考スコア（独自算出の注目度）: 16.952160718249292
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A Bayesian pseudocoreset is a compact synthetic dataset summarizing essential information of a large-scale dataset and thus can be used as a proxy dataset for scalable Bayesian inference. Typically, a Bayesian pseudocoreset is constructed by minimizing a divergence measure between the posterior conditioning on the pseudocoreset and the posterior conditioning on the full dataset. However, evaluating the divergence can be challenging, particularly for the models like deep neural networks having high-dimensional parameters. In this paper, we propose a novel Bayesian pseudocoreset construction method that operates on a function space. Unlike previous methods, which construct and match the coreset and full data posteriors in the space of model parameters (weights), our method constructs variational approximations to the coreset posterior on a function space and matches it to the full data posterior in the function space. By working directly on the function space, our method could bypass several challenges that may arise when working on a weight space, including limited scalability and multi-modality issue. Through various experiments, we demonstrate that the Bayesian pseudocoresets constructed from our method enjoys enhanced uncertainty quantification and better robustness across various model architectures.
• Abstract（参考訳）: bayesian pseudocoresetは、大規模データセットの必須情報を要約したコンパクトな合成データセットであり、スケーラブルなベイズ推論のためのプロキシデータセットとして使用できる。 通常、ベイズ的擬似コアセットは、擬似コアセットの後方条件と全データセットの後方条件とのばらつきを最小化することによって構成される。 しかし、特に高次元パラメータを持つディープニューラルネットワークのようなモデルでは、発散の評価は困難である。 本稿では,関数空間上で動作する新しいベイズ擬似コアセット構築法を提案する。 モデルパラメータ(重み値)の空間におけるコアセットと全データ後部を構成する従来の方法とは異なり、本手法は関数空間の後方にあるコアセットに対する変分近似を構築し、関数空間の後方にある全データとマッチングする。 関数空間を直接扱うことで,拡張性やマルチモダリティの問題など,重み空間で作業する際に生じるいくつかの課題を回避できる。 種々の実験を通して,本手法を用いて構築したベイズ擬似コアセットは,様々なモデルアーキテクチャにおける不確かさの定量化とロバスト性の向上を享受することを示した。

関連論文リスト

• Diffusion posterior sampling for simulation-based inference in tall data settings [53.17563688225137]
  シミュレーションベース推論(SBI)は、入力パラメータを所定の観測に関連付ける後部分布を近似することができる。 本研究では、モデルのパラメータをより正確に推測するために、複数の観測値が利用できる、背の高いデータ拡張について考察する。 提案手法を,最近提案した各種数値実験の競合手法と比較し,数値安定性と計算コストの観点から,その優位性を実証した。
  論文  参考訳（メタデータ） (2024-04-11T09:23:36Z)
• VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
  深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。 ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。 本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-04-03T13:13:19Z)
• Bayesian Pseudo-Coresets via Contrastive Divergence [5.479797073162603]
  対照的な発散を利用して擬似コアセットを構築するための新しい手法を提案する。 これは擬似コアセット構築プロセスにおける近似の必要性を排除する。 複数のデータセットに対して広範な実験を行い、既存のBPC技術よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-20T17:13:50Z)
• Provable Data Subset Selection For Efficient Neural Network Training [73.34254513162898]
  本稿では,任意の放射基底関数ネットワーク上での入力データの損失を近似する,emphRBFNNのコアセットを構成するアルゴリズムについて紹介する。 次に、一般的なネットワークアーキテクチャやデータセット上で、関数近似とデータセットサブセットの選択に関する経験的評価を行う。
  論文  参考訳（メタデータ） (2023-03-09T10:08:34Z)
• Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
  ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。 線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。 また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
  論文  参考訳（メタデータ） (2022-12-29T20:57:46Z)
• Black-box Coreset Variational Inference [13.892427580424444]
  本稿では,基本モデルに対する変分コアセットの原理的適用を可能にするため,基本モデルに対するブラックボックス変分推論フレームワークを提案する。 本手法を教師あり学習問題に適用し,データ要約と推論のための文献における既存手法と比較する。
  論文  参考訳（メタデータ） (2022-11-04T11:12:09Z)
• On Divergence Measures for Bayesian Pseudocoresets [28.840995981326028]
  ベイズ擬似コアセット(Bayesian pseudocoreset)は、後方のパラメータが元のデータセットと近似する小さな合成データセットである。 本稿では,擬似コアセット構築法に対する近似として2つの代表的なデータセット蒸留アルゴリズムを提案する。 ベイズ擬コアセット構成におけるそのような発散対策の統一的な視点を提供する。
  論文  参考訳（メタデータ） (2022-10-12T13:45:36Z)
• Feature Space Particle Inference for Neural Network Ensembles [13.392254060510666]
  粒子ベースの推論法はベイズの観点から有望なアプローチを提供する。 特定の中間層が活性化される特徴空間における粒子の最適化を提案する。 提案手法は,各メンバーに対して,アンサンブル予測の堅牢性の向上を期待する特徴を捉えることを奨励する。
  論文  参考訳（メタデータ） (2022-06-02T09:16:26Z)
• $\beta$-Cores: Robust Large-Scale Bayesian Data Summarization in the Presence of Outliers [14.918826474979587]
  古典的ベイズ推定の質は、観測結果が推定データ生成モデルに適合するかどうかに大きく依存する。 本稿では,大容量データセットに同時スケール可能な変分推論手法を提案する。 多様なシミュレーションおよび実データ、および様々な統計モデルにおいて、我々のアプローチの適用性について説明する。
  論文  参考訳（メタデータ） (2020-08-31T13:47:12Z)
• Model Fusion with Kullback--Leibler Divergence [58.20269014662046]
  異種データセットから学習した後続分布を融合する手法を提案する。 我々のアルゴリズムは、融合モデルと個々のデータセット後部の両方に対する平均場仮定に依存している。
  論文  参考訳（メタデータ） (2020-07-13T03:27:45Z)
• Spatially Adaptive Inference with Stochastic Feature Sampling and Interpolation [72.40827239394565]
  スパースサンプリングされた場所のみの機能を計算することを提案する。 次に、効率的な手順で特徴写像を密に再構築する。 提案したネットワークは、様々なコンピュータビジョンタスクの精度を維持しながら、かなりの計算を省くために実験的に示されている。
  論文  参考訳（メタデータ） (2020-03-19T15:36:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。