論文の概要: Black-box Coreset Variational Inference
- arxiv url: http://arxiv.org/abs/2211.02377v1
- Date: Fri, 4 Nov 2022 11:12:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-07 16:07:25.505307
- Title: Black-box Coreset Variational Inference
- Title（参考訳）: ブラックボックスコアセット変分推論
- Authors: Dionysis Manousakas, Hippolyt Ritter, Theofanis Karaletsos
- Abstract要約: 本稿では,基本モデルに対する変分コアセットの原理的適用を可能にするため,基本モデルに対するブラックボックス変分推論フレームワークを提案する。
本手法を教師あり学習問題に適用し,データ要約と推論のための文献における既存手法と比較する。
- 参考スコア（独自算出の注目度）: 13.892427580424444
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advances in coreset methods have shown that a selection of
representative datapoints can replace massive volumes of data for Bayesian
inference, preserving the relevant statistical information and significantly
accelerating subsequent downstream tasks. Existing variational coreset
constructions rely on either selecting subsets of the observed datapoints, or
jointly performing approximate inference and optimizing pseudodata in the
observed space akin to inducing points methods in Gaussian Processes. So far,
both approaches are limited by complexities in evaluating their objectives for
general purpose models, and require generating samples from a typically
intractable posterior over the coreset throughout inference and testing. In
this work, we present a black-box variational inference framework for coresets
that overcomes these constraints and enables principled application of
variational coresets to intractable models, such as Bayesian neural networks.
We apply our techniques to supervised learning problems, and compare them with
existing approaches in the literature for data summarization and inference.
- Abstract（参考訳）: coreset法の最近の進歩は、代表的なデータポイントの選択がベイズ推論のために大量のデータを置き換え、関連する統計情報を保存し、その後のダウンストリームタスクを著しく加速できることを示している。
既存の変分コアセットの構成は、観測されたデータポイントのサブセットを選択するか、観測された空間で近似推論と最適化を共同で行うか、ガウス過程における点法に類似している。
これまでのところ、どちらのアプローチも汎用モデルのための目的を評価するための複雑さによって制限されており、推論とテストを通じてコアセット上で通常難解な後方からサンプルを生成する必要がある。
本研究では,これらの制約を克服し,ベイズニューラルネットワークなどの難解モデルへの変分コアセットの原則適用を可能にする,コアセットのブラックボックス変分推論フレームワークを提案する。
本手法を教師あり学習問題に適用し,データ要約と推論のための文献における既存手法と比較する。
関連論文リスト
- Localized Gaussians as Self-Attention Weights for Point Clouds Correspondence [92.07601770031236]
本稿では,エンコーダのみのトランスフォーマーアーキテクチャのアテンションヘッドにおける意味的意味パターンについて検討する。
注意重みの修正はトレーニングプロセスの促進だけでなく,最適化の安定性の向上にも寄与する。
論文 参考訳（メタデータ） (2024-09-20T07:41:47Z) - A Diffusion Model Framework for Unsupervised Neural Combinatorial Optimization [7.378582040635655]
現在のディープラーニングアプローチは、正確なサンプル確率を生み出す生成モデルに依存している。
この研究は、この制限を解除し、高度に表現力のある潜在変数モデルを採用する可能性を開放する手法を導入する。
我々は,データフリーなコンビネーション最適化におけるアプローチを実験的に検証し,幅広いベンチマーク問題に対して新しい最先端の手法を実現することを実証した。
論文 参考訳（メタデータ） (2024-06-03T17:55:02Z) - Diffusion posterior sampling for simulation-based inference in tall data settings [53.17563688225137]
シミュレーションベース推論(SBI)は、入力パラメータを所定の観測に関連付ける後部分布を近似することができる。
本研究では、モデルのパラメータをより正確に推測するために、複数の観測値が利用できる、背の高いデータ拡張について考察する。
提案手法を,最近提案した各種数値実験の競合手法と比較し,数値安定性と計算コストの観点から,その優位性を実証した。
論文 参考訳（メタデータ） (2024-04-11T09:23:36Z) - Score-based Data Assimilation [7.215767098253208]
軌道推定のためのスコアベースのデータ同化を導入する。
我々は、任意の長さの軌道のスコアを、短いセグメントにまたがって一連のスコアに分解できるというキーインサイトに基づいて、状態軌道のスコアに基づく生成モデルを学ぶ。
論文 参考訳（メタデータ） (2023-06-18T14:22:03Z) - Feature Space Particle Inference for Neural Network Ensembles [13.392254060510666]
粒子ベースの推論法はベイズの観点から有望なアプローチを提供する。
特定の中間層が活性化される特徴空間における粒子の最適化を提案する。
提案手法は,各メンバーに対して,アンサンブル予測の堅牢性の向上を期待する特徴を捉えることを奨励する。
論文 参考訳（メタデータ） (2022-06-02T09:16:26Z) - Quasi Black-Box Variational Inference with Natural Gradients for
Bayesian Learning [84.90242084523565]
複素モデルにおけるベイズ学習に適した最適化アルゴリズムを開発した。
我々のアプローチは、モデル固有導出に制限のある効率的なトレーニングのための一般的なブラックボックスフレームワーク内の自然な勾配更新に依存している。
論文 参考訳（メタデータ） (2022-05-23T18:54:27Z) - Deep Magnification-Flexible Upsampling over 3D Point Clouds [103.09504572409449]
本稿では,高密度点雲を生成するためのエンドツーエンド学習ベースのフレームワークを提案する。
まずこの問題を明示的に定式化し、重みと高次近似誤差を判定する。
そこで我々は,高次改良とともに,統一重みとソート重みを適応的に学習する軽量ニューラルネットワークを設計する。
論文 参考訳（メタデータ） (2020-11-25T14:00:18Z) - $\beta$-Cores: Robust Large-Scale Bayesian Data Summarization in the
Presence of Outliers [14.918826474979587]
古典的ベイズ推定の質は、観測結果が推定データ生成モデルに適合するかどうかに大きく依存する。
本稿では,大容量データセットに同時スケール可能な変分推論手法を提案する。
多様なシミュレーションおよび実データ、および様々な統計モデルにおいて、我々のアプローチの適用性について説明する。
論文 参考訳（メタデータ） (2020-08-31T13:47:12Z) - Bayesian Coresets: Revisiting the Nonconvex Optimization Perspective [30.963638533636352]
コアセット選択のための新しいアルゴリズムを提案し,解析する。
本研究では,様々なベンチマークデータセットに対して,明示的な収束率保証と経験的評価を行う。
論文 参考訳（メタデータ） (2020-07-01T19:34:59Z) - Bayesian Sparse Factor Analysis with Kernelized Observations [67.60224656603823]
多視点問題は潜在変数モデルに直面することができる。
高次元問題と非線形問題は伝統的にカーネルメソッドによって扱われる。
両アプローチを単一モデルにマージすることを提案する。
論文 参考訳（メタデータ） (2020-06-01T14:25:38Z) - A Multi-Channel Neural Graphical Event Model with Negative Evidence [76.51278722190607]
イベントデータセットは、タイムライン上で不規則に発生するさまざまなタイプのイベントのシーケンスである。
基礎となる強度関数を推定するために,非パラメトリックディープニューラルネットワーク手法を提案する。
論文 参考訳（メタデータ） (2020-02-21T23:10:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。