論文の概要: Variational Bayesian Methods for a Tree-Structured Stick-Breaking Process Mixture of Gaussians by Application of the Bayes Codes for Context Tree Models
- arxiv url: http://arxiv.org/abs/2405.00385v2
- Date: Wed, 11 Sep 2024 01:45:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-12 21:17:34.442624
- Title: Variational Bayesian Methods for a Tree-Structured Stick-Breaking Process Mixture of Gaussians by Application of the Bayes Codes for Context Tree Models
- Title（参考訳）: 文脈木モデルへのベイズ符号の適用によるガウスの木構造スティック-ブレーキング過程の変分ベイズ法
- Authors: Yuta Nakahara,
- Abstract要約: 本稿では,ガウスのTS-SBP混合に対する計算コストの少ない学習アルゴリズムを提案する。
主な課題は、すべての可能な木に対する和の効率的な計算である。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The tree-structured stick-breaking process (TS-SBP) mixture model is a non-parametric Bayesian model that can represent tree-like hierarchical structures among the mixture components. For TS-SBP mixture models, only a Markov chain Monte Carlo (MCMC) method has been proposed and any variational Bayesian (VB) methods has not been proposed. In general, MCMC methods are computationally more expensive than VB methods. Therefore, we require a large computational cost to learn the TS-SBP mixture model. In this paper, we propose a learning algorithm with less computational cost for the TS-SBP mixture of Gaussians by using the VB method under an assumption of finite tree width and depth. When constructing such VB method, the main challenge is efficient calculation of a sum over all possible trees. To solve this challenge, we utilizes a subroutine in the Bayes coding algorithm for context tree models. We confirm the computational efficiency of our VB method through an experiments on a benchmark dataset.
- Abstract（参考訳）: 木構造スティック破断過程(TS-SBP)の混合モデルは、混合成分間の木のような階層構造を表現できる非パラメトリックベイズモデルである。
TS-SBP混合モデルではマルコフ連鎖モンテカルロ法(MCMC)のみが提案されており、変分ベイズ法(VB)は提案されていない。
一般に、MCMC法はVB法よりも計算コストが高い。
したがって,TS-SBP混合モデルの学習には計算コストが大きい。
本稿では,有限木幅と深さを仮定したVB法を用いて,ガウスのTS-SBP混合に対する計算コストの少ない学習アルゴリズムを提案する。
このようなVB法を構築する際には、可能なすべての木に対する和の効率的な計算が主な課題である。
この問題を解決するために,ベイズ符号化アルゴリズムのサブルーチンをコンテキストツリーモデルに用いる。
ベンチマークデータセットを用いた実験により,VB法の計算効率を検証した。
関連論文リスト
- LLaMA-Berry: Pairwise Optimization for O1-like Olympiad-Level Mathematical Reasoning [56.273799410256075]
このフレームワークはMonte Carlo Tree Search (MCTS)と反復的なSelf-Refineを組み合わせて推論パスを最適化する。
このフレームワークは、一般的なベンチマークと高度なベンチマークでテストされており、探索効率と問題解決能力の点で優れた性能を示している。
論文 参考訳（メタデータ） (2024-10-03T18:12:29Z) - Unmasking Trees for Tabular Data [0.0]
勾配型決定木を用いた表計算(および生成)の簡易な方法であるUnmaskingTreesを提案する。
条件生成サブプロブレムを解決するために,木分類器のバランス木に適合するBaltoBotを提案する。
従来の方法とは異なり、条件分布のパラメトリックな仮定は必要とせず、多重モーダル分布を持つ特徴を収容する。
我々はついに2つのアプローチをメタアルゴリズムとみなし、TabPFNを用いた文脈内学習に基づく生成モデリングを実証した。
論文 参考訳（メタデータ） (2024-07-08T04:15:43Z) - A Unified Approach to Extract Interpretable Rules from Tree Ensembles via Integer Programming [2.1408617023874443]
木アンサンブル法は、教師付き分類と回帰タスクにおいて有効であることが知られている。
我々の研究は、訓練された木アンサンブルから最適化されたルールのリストを抽出することを目的としており、利用者に凝縮された解釈可能なモデルを提供する。
論文 参考訳（メタデータ） (2024-06-30T22:33:47Z) - Learning accurate and interpretable decision trees [27.203303726977616]
我々は、同じドメインから繰り返しデータにアクセスして決定木学習アルゴリズムを設計するためのアプローチを開発する。
本研究では,ベイズ決定木学習における事前パラメータのチューニングの複雑さについて検討し,その結果を決定木回帰に拡張する。
また、学習した決定木の解釈可能性について検討し、決定木を用いた説明可能性と精度のトレードオフを最適化するためのデータ駆動型アプローチを提案する。
論文 参考訳（メタデータ） (2024-05-24T20:10:10Z) - RJHMC-Tree for Exploration of the Bayesian Decision Tree Posterior [1.3351610617039973]
本論文はベイジアンアプローチを用いてデータから決定木を学習することを目的としている。
ハミルトンモンテカルロ (HMC) アプローチを用いてベイズ決定木の後方をより効率的に探索する。
論文 参考訳（メタデータ） (2023-12-04T02:23:32Z) - Multi-rules mining algorithm for combinatorially exploded decision trees
with modified Aitchison-Aitken function-based Bayesian optimization [0.0]
推定性能の高い木を戦略的に構築する"MAABO-MT"と"GS-MRM"アルゴリズム。
提案手法の有効性を解析するために,複数のオープンデータセットを用いて実験を行った。
論文 参考訳（メタデータ） (2023-10-04T07:55:51Z) - An Efficient Algorithm for Clustered Multi-Task Compressive Sensing [60.70532293880842]
クラスタ化マルチタスク圧縮センシングは、複数の圧縮センシングタスクを解決する階層モデルである。
このモデルに対する既存の推論アルゴリズムは計算コストが高く、高次元ではうまくスケールしない。
本稿では,これらの共分散行列を明示的に計算する必要をなくし,モデル推論を大幅に高速化するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-09-30T15:57:14Z) - TreeDQN: Learning to minimize Branch-and-Bound tree [78.52895577861327]
Branch-and-Boundは、Mixed Linear Programsという形で最適化タスクを解決するための便利なアプローチである。
解法の効率は、分割する変数を選択するのに使用される分岐に依存する。
分岐を効率的に学習できる強化学習法を提案する。
論文 参考訳（メタデータ） (2023-06-09T14:01:26Z) - Bayesian Decision Trees Inspired from Evolutionary Algorithms [64.80360020499555]
我々は、マルコフ連鎖モンテカルロ(MCMC)を本質的に並列なアルゴリズムであるシーケンシャルモンテカルロ(SMC)に置き換えることを提案する。
実験により、SMCと進化的アルゴリズム(EA)を組み合わせることで、MCMCの100倍のイテレーションでより正確な結果が得られることが示された。
論文 参考訳（メタデータ） (2023-05-30T06:17:35Z) - Continual Learning using a Bayesian Nonparametric Dictionary of Weight
Factors [75.58555462743585]
訓練されたニューラルネットワークは、シーケンシャルなタスク設定で破滅的な忘れを経験する傾向がある。
Indian Buffet Process (IBP) に基づく原則的非パラメトリック手法を提案する。
連続学習ベンチマークにおける本手法の有効性を実証し、トレーニングを通して重み要因の配分と再利用方法を分析する。
論文 参考訳（メタデータ） (2020-04-21T15:20:19Z) - Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。
このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる
このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
論文 参考訳（メタデータ） (2020-03-13T13:11:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。