論文の概要: Black-box Coreset Variational Inference
- arxiv url: http://arxiv.org/abs/2211.02377v1
- Date: Fri, 4 Nov 2022 11:12:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-07 16:07:25.505307
- Title: Black-box Coreset Variational Inference
- Title(参考訳): ブラックボックスコアセット変分推論
- Authors: Dionysis Manousakas, Hippolyt Ritter, Theofanis Karaletsos
- Abstract要約: 本稿では,基本モデルに対する変分コアセットの原理的適用を可能にするため,基本モデルに対するブラックボックス変分推論フレームワークを提案する。
本手法を教師あり学習問題に適用し,データ要約と推論のための文献における既存手法と比較する。
- 参考スコア(独自算出の注目度): 13.892427580424444
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advances in coreset methods have shown that a selection of
representative datapoints can replace massive volumes of data for Bayesian
inference, preserving the relevant statistical information and significantly
accelerating subsequent downstream tasks. Existing variational coreset
constructions rely on either selecting subsets of the observed datapoints, or
jointly performing approximate inference and optimizing pseudodata in the
observed space akin to inducing points methods in Gaussian Processes. So far,
both approaches are limited by complexities in evaluating their objectives for
general purpose models, and require generating samples from a typically
intractable posterior over the coreset throughout inference and testing. In
this work, we present a black-box variational inference framework for coresets
that overcomes these constraints and enables principled application of
variational coresets to intractable models, such as Bayesian neural networks.
We apply our techniques to supervised learning problems, and compare them with
existing approaches in the literature for data summarization and inference.
- Abstract(参考訳): coreset法の最近の進歩は、代表的なデータポイントの選択がベイズ推論のために大量のデータを置き換え、関連する統計情報を保存し、その後のダウンストリームタスクを著しく加速できることを示している。
既存の変分コアセットの構成は、観測されたデータポイントのサブセットを選択するか、観測された空間で近似推論と最適化を共同で行うか、ガウス過程における点法に類似している。
これまでのところ、どちらのアプローチも汎用モデルのための目的を評価するための複雑さによって制限されており、推論とテストを通じてコアセット上で通常難解な後方からサンプルを生成する必要がある。
本研究では,これらの制約を克服し,ベイズニューラルネットワークなどの難解モデルへの変分コアセットの原則適用を可能にする,コアセットのブラックボックス変分推論フレームワークを提案する。
本手法を教師あり学習問題に適用し,データ要約と推論のための文献における既存手法と比較する。
関連論文リスト
- On diffusion models for amortized inference: Benchmarking and improving
stochastic control and sampling [96.7808454149545]
本研究では,非正規化密度やエネルギー関数を持つ分布からサンプルを抽出する拡散モデルの訓練問題について検討する。
シミュレーションに基づく変分法や非政治手法など,拡散構造推論手法のベンチマークを行った。
我々の結果は、過去の研究の主張に疑問を投げかけながら、既存のアルゴリズムの相対的な利点を浮き彫りにした。
論文 参考訳(メタデータ) (2024-02-07T18:51:49Z) - Score-based Data Assimilation [7.215767098253208]
軌道推定のためのスコアベースのデータ同化を導入する。
我々は、任意の長さの軌道のスコアを、短いセグメントにまたがって一連のスコアに分解できるというキーインサイトに基づいて、状態軌道のスコアに基づく生成モデルを学ぶ。
論文 参考訳(メタデータ) (2023-06-18T14:22:03Z) - Simplex Clustering via sBeta with Applications to Online Adjustment of
Black-Box Predictions [17.10067035969846]
我々はk-sBetasと呼ばれる新しい確率的クラスタリング手法を提案する。
クラスタリング分布の一般的な視点を提供し、歪みに基づく手法に基づく統計モデルでは十分説明できないことを強調する。
本定式化は,クラスタデータのモデリングにおける様々なパラメトリック密度を近似し,クラスタバランスバイアスの制御を可能にする。
論文 参考訳(メタデータ) (2022-07-30T18:29:11Z) - Feature Space Particle Inference for Neural Network Ensembles [13.392254060510666]
粒子ベースの推論法はベイズの観点から有望なアプローチを提供する。
特定の中間層が活性化される特徴空間における粒子の最適化を提案する。
提案手法は,各メンバーに対して,アンサンブル予測の堅牢性の向上を期待する特徴を捉えることを奨励する。
論文 参考訳(メタデータ) (2022-06-02T09:16:26Z) - Quasi Black-Box Variational Inference with Natural Gradients for
Bayesian Learning [84.90242084523565]
複素モデルにおけるベイズ学習に適した最適化アルゴリズムを開発した。
我々のアプローチは、モデル固有導出に制限のある効率的なトレーニングのための一般的なブラックボックスフレームワーク内の自然な勾配更新に依存している。
論文 参考訳(メタデータ) (2022-05-23T18:54:27Z) - Bayesian Graph Contrastive Learning [55.36652660268726]
本稿では,ランダムな拡張がエンコーダにつながることを示すグラフコントラスト学習手法の新たな視点を提案する。
提案手法は,各ノードを決定論的ベクトルに埋め込む既存の手法とは対照的に,各ノードを潜在空間の分布で表現する。
いくつかのベンチマークデータセットにおける既存の最先端手法と比較して,性能が大幅に向上したことを示す。
論文 参考訳(メタデータ) (2021-12-15T01:45:32Z) - Deep Magnification-Flexible Upsampling over 3D Point Clouds [103.09504572409449]
本稿では,高密度点雲を生成するためのエンドツーエンド学習ベースのフレームワークを提案する。
まずこの問題を明示的に定式化し、重みと高次近似誤差を判定する。
そこで我々は,高次改良とともに,統一重みとソート重みを適応的に学習する軽量ニューラルネットワークを設計する。
論文 参考訳(メタデータ) (2020-11-25T14:00:18Z) - $\beta$-Cores: Robust Large-Scale Bayesian Data Summarization in the
Presence of Outliers [14.918826474979587]
古典的ベイズ推定の質は、観測結果が推定データ生成モデルに適合するかどうかに大きく依存する。
本稿では,大容量データセットに同時スケール可能な変分推論手法を提案する。
多様なシミュレーションおよび実データ、および様々な統計モデルにおいて、我々のアプローチの適用性について説明する。
論文 参考訳(メタデータ) (2020-08-31T13:47:12Z) - Bayesian Coresets: Revisiting the Nonconvex Optimization Perspective [30.963638533636352]
コアセット選択のための新しいアルゴリズムを提案し,解析する。
本研究では,様々なベンチマークデータセットに対して,明示的な収束率保証と経験的評価を行う。
論文 参考訳(メタデータ) (2020-07-01T19:34:59Z) - Bayesian Sparse Factor Analysis with Kernelized Observations [67.60224656603823]
多視点問題は潜在変数モデルに直面することができる。
高次元問題と非線形問題は伝統的にカーネルメソッドによって扱われる。
両アプローチを単一モデルにマージすることを提案する。
論文 参考訳(メタデータ) (2020-06-01T14:25:38Z) - A Multi-Channel Neural Graphical Event Model with Negative Evidence [76.51278722190607]
イベントデータセットは、タイムライン上で不規則に発生するさまざまなタイプのイベントのシーケンスである。
基礎となる強度関数を推定するために,非パラメトリックディープニューラルネットワーク手法を提案する。
論文 参考訳(メタデータ) (2020-02-21T23:10:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。