論文の概要: Tree boosting for learning probability measures
- arxiv url: http://arxiv.org/abs/2101.11083v2
- Date: Thu, 18 Feb 2021 19:41:48 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-13 19:36:53.467161
- Title: Tree boosting for learning probability measures
- Title（参考訳）: 学習確率測定のためのツリーブースト
- Authors: Naoki Awaya and Li Ma
- Abstract要約: 本研究では,高次元確率分布学習のための木強化手法を提案する。
確率分布における「付加」と「残留」の概念を定式化する。
FSアルゴリズムの出力は、適合した分布の確率密度関数の解析計算を可能にする。
- 参考スコア（独自算出の注目度）: 3.960875974762257
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning probability measures based on an i.i.d. sample is a fundamental
inference task, but is challenging when the sample space is high-dimensional.
Inspired by the success of tree boosting in high-dimensional classification and
regression, we propose a tree boosting method for learning high-dimensional
probability distributions. We formulate concepts of "addition'' and
"residuals'' on probability distributions in terms of compositions of a new,
more general notion of multivariate cumulative distribution functions (CDFs)
than classical CDFs. This then gives rise to a simple boosting algorithm based
on forward-stagewise (FS) fitting of an additive ensemble of measures. The
output of the FS algorithm allows analytic computation of the probability
density function for the fitted distribution. It also provides an exact
simulator for drawing independent Monte Carlo samples from the fitted measure.
Typical considerations in applying boosting -- namely choosing the number of
trees, setting the appropriate level of shrinkage/regularization in the weak
learner, and the evaluation of variable importance -- can be accomplished in an
analogous fashion to traditional boosting in supervised learning. Numerical
experiments confirm that boosting can substantially improve the fit to
multivariate distributions compared to the state-of-the-art single-tree learner
and is computationally efficient. We illustrate through an application to a
data set from mass cytometry how the simulator can be used to investigate
various aspects of the underlying distribution.
- Abstract（参考訳）: i.i.dに基づく学習確率測定
サンプルは基本的な推論タスクですが、サンプル空間が高次元である場合には困難です。
高次元分類と回帰におけるツリーブーストの成功に触発され、高次元確率分布を学習するためのツリーブースト法を提案する。
我々は、古典CDFよりも多変量累積分布関数(CDF)のより一般的な概念の合成の観点から、確率分布に関する「付加」と「残留」の概念を定式化する。
これにより、測定の付加アンサンブルの前方段階(FS)フィッティングに基づく単純なブーストアルゴリズムが生まれます。
FSアルゴリズムの出力は、適合した分布の確率密度関数の解析計算を可能にする。
また、測定値から独立したモンテカルロサンプルを描くための正確なシミュレータも提供する。
木数の選択、弱い学習者における縮小/正規化の適切なレベルの設定、変数重要度の評価など、強化の適用に関する典型的な考察は、教師あり学習における従来の強化と同じような方法で達成できる。
数値実験により, ブーピングは, 最先端の単木学習者と比較して, 多変量分布の適合性を大幅に改善し, 計算効率が向上することが確認された。
本研究では,マスサイトメトリーによるデータセットの応用を通じて,シミュレーションを用いて分布の様々な側面を調査する方法を解説する。
関連論文リスト
- On Policy Evaluation Algorithms in Distributional Reinforcement Learning [0.0]
分散強化学習(DRL)による政策評価問題における未知の回帰分布を効率的に近似する新しいアルゴリズムのクラスを導入する。
提案したアルゴリズムの単純な例では、ワッサーシュタインとコルモゴロフ-スミルノフ距離の両方において誤差境界を証明する。
確率密度関数を持つ戻り分布の場合、アルゴリズムはこれらの密度を近似し、誤差境界は上限ノルム内で与えられる。
論文 参考訳（メタデータ） (2024-07-19T10:06:01Z) - Generative modeling of density regression through tree flows [3.0262553206264893]
本稿では,表データの密度回帰タスクに適したフローベース生成モデルを提案する。
本稿では,木質変換を分割・対数戦略を用いて適合させる学習アルゴリズムを提案する。
本手法は, トレーニングおよびサンプリング予算のごく一部において, 同等あるいは優れた性能を継続的に達成する。
論文 参考訳（メタデータ） (2024-06-07T21:07:35Z) - Distributed Bayesian Estimation in Sensor Networks: Consensus on
Marginal Densities [15.038649101409804]
連続変数上の確率分布の関数空間において、確率的確率的アルゴリズムを導出する。
これらの結果を利用して、個々のエージェントが観測する変数のサブセットに制限された新しい分散推定器を得る。
これは、協調的なローカライゼーションやフェデレートドラーニングのような応用に関係しており、任意のエージェントで収集されたデータは、関心のあるすべての変数のサブセットに依存する。
論文 参考訳（メタデータ） (2023-12-02T21:10:06Z) - Delta-AI: Local objectives for amortized inference in sparse graphical models [64.5938437823851]
スパース確率的グラフィカルモデル(PGM)における補正推論のための新しいアルゴリズムを提案する。
提案手法は, PGMにおける変数のサンプリングをエージェントが行う一連の行動とみなす場合, エージェントのポリシー学習目的において, PGMの疎結合が局所的な信用割当を可能にするという観察に基づいている。
合成PGMからサンプリングし、スパース因子構造を持つ潜在変数モデルを訓練するための$Delta$-AIの有効性について説明する。
論文 参考訳（メタデータ） (2023-10-03T20:37:03Z) - Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。
本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文 参考訳（メタデータ） (2023-06-27T08:15:28Z) - Ensemble Multi-Quantiles: Adaptively Flexible Distribution Prediction
for Uncertainty Quantification [4.728311759896569]
本稿では,機械学習における不確実性を定量化するために,分布予測の新しい,簡潔かつ効果的な手法を提案する。
これは回帰タスクにおいて$mathbbP(mathbfy|mathbfX=x)$の適応的に柔軟な分布予測を組み込む。
UCIデータセットからの大規模な回帰タスクでは、EMQが最先端のパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2022-11-26T11:45:32Z) - Distributional Gradient Boosting Machines [77.34726150561087]
私たちのフレームワークはXGBoostとLightGBMをベースにしています。
我々は,このフレームワークが最先端の予測精度を実現することを示す。
論文 参考訳（メタデータ） (2022-04-02T06:32:19Z) - A Unified Framework for Multi-distribution Density Ratio Estimation [101.67420298343512]
バイナリ密度比推定(DRE)は多くの最先端の機械学習アルゴリズムの基礎を提供する。
ブレグマン最小化の発散の観点から一般的な枠組みを開発する。
我々のフレームワークはバイナリDREでそれらのフレームワークを厳格に一般化する手法に導かれることを示す。
論文 参考訳（メタデータ） (2021-12-07T01:23:20Z) - Distributional Reinforcement Learning with Unconstrained Monotonic
Neural Networks [7.907645828535088]
本稿では,ランダムリターン分布の異なる表現を学習するための方法論を提案する。
制約のない単調深Q-network (UMDQN) と呼ばれる新しい分布RLアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-06-06T20:03:50Z) - Implicit Distributional Reinforcement Learning [61.166030238490634]
2つのディープジェネレータネットワーク(DGN)上に構築された暗黙の分布型アクター批判(IDAC)
半単純アクター (SIA) は、フレキシブルなポリシー分布を利用する。
我々は,代表的OpenAI Gym環境において,IDACが最先端のアルゴリズムより優れていることを観察する。
論文 参考訳（メタデータ） (2020-07-13T02:52:18Z) - A Distributional Analysis of Sampling-Based Reinforcement Learning
Algorithms [67.67377846416106]
定常ステップサイズに対する強化学習アルゴリズムの理論解析に対する分布的アプローチを提案する。
本稿では,TD($lambda$)や$Q$-Learningのような値ベースの手法が,関数の分布空間で制約のある更新ルールを持つことを示す。
論文 参考訳（メタデータ） (2020-03-27T05:13:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。