論文の概要: Variational Bayesian Methods for a Tree-Structured Stick-Breaking Process Mixture of Gaussians by Application of the Bayes Codes for Context Tree Models
- arxiv url: http://arxiv.org/abs/2405.00385v2
- Date: Wed, 11 Sep 2024 01:45:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-12 21:17:34.442624
- Title: Variational Bayesian Methods for a Tree-Structured Stick-Breaking Process Mixture of Gaussians by Application of the Bayes Codes for Context Tree Models
- Title(参考訳): 文脈木モデルへのベイズ符号の適用によるガウスの木構造スティック-ブレーキング過程の変分ベイズ法
- Authors: Yuta Nakahara,
- Abstract要約: 本稿では,ガウスのTS-SBP混合に対する計算コストの少ない学習アルゴリズムを提案する。
主な課題は、すべての可能な木に対する和の効率的な計算である。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The tree-structured stick-breaking process (TS-SBP) mixture model is a non-parametric Bayesian model that can represent tree-like hierarchical structures among the mixture components. For TS-SBP mixture models, only a Markov chain Monte Carlo (MCMC) method has been proposed and any variational Bayesian (VB) methods has not been proposed. In general, MCMC methods are computationally more expensive than VB methods. Therefore, we require a large computational cost to learn the TS-SBP mixture model. In this paper, we propose a learning algorithm with less computational cost for the TS-SBP mixture of Gaussians by using the VB method under an assumption of finite tree width and depth. When constructing such VB method, the main challenge is efficient calculation of a sum over all possible trees. To solve this challenge, we utilizes a subroutine in the Bayes coding algorithm for context tree models. We confirm the computational efficiency of our VB method through an experiments on a benchmark dataset.
- Abstract(参考訳): 木構造スティック破断過程(TS-SBP)の混合モデルは、混合成分間の木のような階層構造を表現できる非パラメトリックベイズモデルである。
TS-SBP混合モデルではマルコフ連鎖モンテカルロ法(MCMC)のみが提案されており、変分ベイズ法(VB)は提案されていない。
一般に、MCMC法はVB法よりも計算コストが高い。
したがって,TS-SBP混合モデルの学習には計算コストが大きい。
本稿では,有限木幅と深さを仮定したVB法を用いて,ガウスのTS-SBP混合に対する計算コストの少ない学習アルゴリズムを提案する。
このようなVB法を構築する際には、可能なすべての木に対する和の効率的な計算が主な課題である。
この問題を解決するために,ベイズ符号化アルゴリズムのサブルーチンをコンテキストツリーモデルに用いる。
ベンチマークデータセットを用いた実験により,VB法の計算効率を検証した。
関連論文リスト
- Classified as unknown: A novel Bayesian neural network [0.0]
完全連結ニューラルネットワークのための効率の良いベイズ学習アルゴリズムを開発した。
多層パーセプトロンから多層パーセプトロンへの二元分類のための単一パーセプトロンのアルゴリズムを一般化する。
論文 参考訳(メタデータ) (2023-01-31T04:27:09Z) - Langevin Monte Carlo for Contextual Bandits [72.00524614312002]
Langevin Monte Carlo Thompson Sampling (LMC-TS) が提案されている。
提案アルゴリズムは,文脈的帯域幅の特別な場合において,最高のトンプソンサンプリングアルゴリズムと同じサブ線形残差を達成できることを示す。
論文 参考訳(メタデータ) (2022-06-22T17:58:23Z) - Gaussian mixture model on nodes of Bayesian network given maximal
parental cliques [0.0]
ネットワークでガウス混合モデルを使う理由と方法を説明する。
そこで本研究では,混合モデルの最適化のための2重反復アルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-04-20T15:14:01Z) - Change-point Detection and Segmentation of Discrete Data using Bayesian
Context Trees [7.090165638014331]
最近導入されたBayesian Context Trees (BCT) フレームワークに基づいて構築され、離散時系列における異なるセグメントの分布を可変メモリマルコフ連鎖として記述する。
変化点の存在と位置の推測はマルコフ連鎖モンテカルロサンプリングによって行われる。
シミュレーションと実世界の両方のデータから,提案手法は最先端技術よりも優れた性能を示した。
論文 参考訳(メタデータ) (2022-03-08T19:03:21Z) - CREPO: An Open Repository to Benchmark Credal Network Algorithms [78.79752265884109]
クレダルネットワークは、確率質量関数の集合であるクレダルに基づく不正確な確率的グラフィカルモデルである。
CREMAと呼ばれるJavaライブラリが最近リリースされ、クレダルネットワークをモデル化し、処理し、クエリする。
我々は,これらのモデル上での推論タスクの正確な結果とともに,合成クレダルネットワークのオープンリポジトリであるcrrepoを提案する。
論文 参考訳(メタデータ) (2021-05-10T07:31:59Z) - Information Theoretic Meta Learning with Gaussian Processes [74.54485310507336]
情報理論の概念,すなわち相互情報と情報のボトルネックを用いてメタ学習を定式化する。
相互情報に対する変分近似を用いることで、メタ学習のための汎用的かつトラクタブルな枠組みを導出する。
論文 参考訳(メタデータ) (2020-09-07T16:47:30Z) - Model Fusion with Kullback--Leibler Divergence [58.20269014662046]
異種データセットから学習した後続分布を融合する手法を提案する。
我々のアルゴリズムは、融合モデルと個々のデータセット後部の両方に対する平均場仮定に依存している。
論文 参考訳(メタデータ) (2020-07-13T03:27:45Z) - The FMRIB Variational Bayesian Inference Tutorial II: Stochastic
Variational Bayes [1.827510863075184]
このチュートリアルは、オリジナルのFMRIB Variational Bayesチュートリアルを再考する。
この新しいアプローチは、機械学習アルゴリズムに適用された計算方法に多くの類似性を持ち、恩恵を受けている。
論文 参考訳(メタデータ) (2020-07-03T11:31:52Z) - Continual Learning using a Bayesian Nonparametric Dictionary of Weight
Factors [75.58555462743585]
訓練されたニューラルネットワークは、シーケンシャルなタスク設定で破滅的な忘れを経験する傾向がある。
Indian Buffet Process (IBP) に基づく原則的非パラメトリック手法を提案する。
連続学習ベンチマークにおける本手法の有効性を実証し、トレーニングを通して重み要因の配分と再利用方法を分析する。
論文 参考訳(メタデータ) (2020-04-21T15:20:19Z) - Learning Gaussian Graphical Models via Multiplicative Weights [54.252053139374205]
乗算重み更新法に基づいて,Klivans と Meka のアルゴリズムを適用した。
アルゴリズムは、文献の他のものと質的に類似したサンプル複雑性境界を楽しみます。
ランタイムが低い$O(mp2)$で、$m$サンプルと$p$ノードの場合には、簡単にオンライン形式で実装できる。
論文 参考訳(メタデータ) (2020-02-20T10:50:58Z) - Stochastic tree ensembles for regularized nonlinear regression [0.913755431537592]
本稿では,非線形回帰のための新しいツリーアンサンブル法を開発し,これをXBARTと呼ぶ。
ベイズモデルからの正規化と探索戦略と計算効率のよい手法を組み合わせることで、新しい手法は最先端の性能を達成できる。
論文 参考訳(メタデータ) (2020-02-09T14:37:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。