論文の概要: Unsupervised tree boosting for learning probability distributions
- arxiv url: http://arxiv.org/abs/2101.11083v7
- Date: Fri, 7 Jul 2023 21:42:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-11 23:04:11.492162
- Title: Unsupervised tree boosting for learning probability distributions
- Title（参考訳）: 学習確率分布のための教師なし木ブースティング
- Authors: Naoki Awaya and Li Ma
- Abstract要約: 加法木アンサンブルの適合に基づく 教師なしツリーブースティングアルゴリズム
アルゴリズムへの積分は「残留化」という新しい概念であり、すなわち、観測から確率分布を減じて、後者のサンプリング分布から分布構造を除去する。
- 参考スコア（独自算出の注目度）: 2.8444868155827634
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose an unsupervised tree boosting algorithm for inferring the
underlying sampling distribution of an i.i.d. sample based on fitting additive
tree ensembles in a fashion analogous to supervised tree boosting. Integral to
the algorithm is a new notion of "addition" on probability distributions that
leads to a coherent notion of "residualization", i.e., subtracting a
probability distribution from an observation to remove the distributional
structure from the sampling distribution of the latter. We show that these
notions arise naturally for univariate distributions through cumulative
distribution function (CDF) transforms and compositions due to several
"group-like" properties of univariate CDFs. While the traditional multivariate
CDF does not preserve these properties, a new definition of multivariate CDF
can restore these properties, thereby allowing the notions of "addition" and
"residualization" to be formulated for multivariate settings as well. This then
gives rise to the unsupervised boosting algorithm based on forward-stagewise
fitting of an additive tree ensemble, which sequentially reduces the
Kullback-Leibler divergence from the truth. The algorithm allows analytic
evaluation of the fitted density and outputs a generative model that can be
readily sampled from. We enhance the algorithm with scale-dependent shrinkage
and a two-stage strategy that separately fits the marginals and the copula. The
algorithm then performs competitively to state-of-the-art deep-learning
approaches in multivariate density estimation on multiple benchmark data sets.
- Abstract（参考訳）: そこで本研究では,補助木アンサンブルの適合に基づく試料のサンプリング分布を教師あり木ブースティングに類似した方法で推定する教師なし木ブースティングアルゴリズムを提案する。
アルゴリズムへの積分は、確率分布に対する新たな「付加」の概念であり、「残留化」というコヒーレントな概念、すなわち、観測から確率分布を減じて、後者のサンプリング分布から分布構造を除去するものである。
これらの概念は, 累積分布関数 (CDF) 変換や構成を通じて, 単変量分布に対して自然に現れることを示す。
従来の多変量CDFはこれらの性質を保存しないが、新しい多変量CDFの定義はこれらの特性を復元することができ、「付加」と「残留化」の概念を多変量設定にも定式化することができる。
これにより、加法木アンサンブルの前方段階のフィッティングに基づく教師なしブースティングアルゴリズムが生まれ、クルバック・リーブラーの真相への分岐を逐次減少させる。
このアルゴリズムは適合密度の解析的評価を可能にし、容易にサンプルできる生成モデルを出力する。
我々は,スケール依存の縮小と,限界とコプラを個別に適合させる2段階戦略でアルゴリズムを強化した。
このアルゴリズムは、複数のベンチマークデータセット上の多変量密度推定において、最先端のディープラーニングアプローチと競合して動作する。
関連論文リスト
- On Policy Evaluation Algorithms in Distributional Reinforcement Learning [0.0]
分散強化学習(DRL)による政策評価問題における未知の回帰分布を効率的に近似する新しいアルゴリズムのクラスを導入する。
提案したアルゴリズムの単純な例では、ワッサーシュタインとコルモゴロフ-スミルノフ距離の両方において誤差境界を証明する。
確率密度関数を持つ戻り分布の場合、アルゴリズムはこれらの密度を近似し、誤差境界は上限ノルム内で与えられる。
論文 参考訳（メタデータ） (2024-07-19T10:06:01Z) - Generative modeling of density regression through tree flows [3.0262553206264893]
本稿では,表データの密度回帰タスクに適したフローベース生成モデルを提案する。
本稿では,木質変換を分割・対数戦略を用いて適合させる学習アルゴリズムを提案する。
本手法は, トレーニングおよびサンプリング予算のごく一部において, 同等あるいは優れた性能を継続的に達成する。
論文 参考訳（メタデータ） (2024-06-07T21:07:35Z) - Distributed Bayesian Estimation in Sensor Networks: Consensus on
Marginal Densities [15.038649101409804]
連続変数上の確率分布の関数空間において、確率的確率的アルゴリズムを導出する。
これらの結果を利用して、個々のエージェントが観測する変数のサブセットに制限された新しい分散推定器を得る。
これは、協調的なローカライゼーションやフェデレートドラーニングのような応用に関係しており、任意のエージェントで収集されたデータは、関心のあるすべての変数のサブセットに依存する。
論文 参考訳（メタデータ） (2023-12-02T21:10:06Z) - Delta-AI: Local objectives for amortized inference in sparse graphical models [64.5938437823851]
スパース確率的グラフィカルモデル(PGM)における補正推論のための新しいアルゴリズムを提案する。
提案手法は, PGMにおける変数のサンプリングをエージェントが行う一連の行動とみなす場合, エージェントのポリシー学習目的において, PGMの疎結合が局所的な信用割当を可能にするという観察に基づいている。
合成PGMからサンプリングし、スパース因子構造を持つ潜在変数モデルを訓練するための$Delta$-AIの有効性について説明する。
論文 参考訳（メタデータ） (2023-10-03T20:37:03Z) - Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。
本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文 参考訳（メタデータ） (2023-06-27T08:15:28Z) - Ensemble Multi-Quantiles: Adaptively Flexible Distribution Prediction
for Uncertainty Quantification [4.728311759896569]
本稿では,機械学習における不確実性を定量化するために,分布予測の新しい,簡潔かつ効果的な手法を提案する。
これは回帰タスクにおいて$mathbbP(mathbfy|mathbfX=x)$の適応的に柔軟な分布予測を組み込む。
UCIデータセットからの大規模な回帰タスクでは、EMQが最先端のパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2022-11-26T11:45:32Z) - Distributional Gradient Boosting Machines [77.34726150561087]
私たちのフレームワークはXGBoostとLightGBMをベースにしています。
我々は,このフレームワークが最先端の予測精度を実現することを示す。
論文 参考訳（メタデータ） (2022-04-02T06:32:19Z) - A Unified Framework for Multi-distribution Density Ratio Estimation [101.67420298343512]
バイナリ密度比推定(DRE)は多くの最先端の機械学習アルゴリズムの基礎を提供する。
ブレグマン最小化の発散の観点から一般的な枠組みを開発する。
我々のフレームワークはバイナリDREでそれらのフレームワークを厳格に一般化する手法に導かれることを示す。
論文 参考訳（メタデータ） (2021-12-07T01:23:20Z) - Distributional Reinforcement Learning with Unconstrained Monotonic
Neural Networks [7.907645828535088]
本稿では,ランダムリターン分布の異なる表現を学習するための方法論を提案する。
制約のない単調深Q-network (UMDQN) と呼ばれる新しい分布RLアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-06-06T20:03:50Z) - Implicit Distributional Reinforcement Learning [61.166030238490634]
2つのディープジェネレータネットワーク(DGN)上に構築された暗黙の分布型アクター批判(IDAC)
半単純アクター (SIA) は、フレキシブルなポリシー分布を利用する。
我々は,代表的OpenAI Gym環境において,IDACが最先端のアルゴリズムより優れていることを観察する。
論文 参考訳（メタデータ） (2020-07-13T02:52:18Z) - A Distributional Analysis of Sampling-Based Reinforcement Learning
Algorithms [67.67377846416106]
定常ステップサイズに対する強化学習アルゴリズムの理論解析に対する分布的アプローチを提案する。
本稿では,TD($lambda$)や$Q$-Learningのような値ベースの手法が,関数の分布空間で制約のある更新ルールを持つことを示す。
論文 参考訳（メタデータ） (2020-03-27T05:13:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。