論文の概要: SoftBart: Soft Bayesian Additive Regression Trees
- arxiv url: http://arxiv.org/abs/2210.16375v1
- Date: Fri, 28 Oct 2022 19:25:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-01 19:03:53.477002
- Title: SoftBart: Soft Bayesian Additive Regression Trees
- Title(参考訳): ソフトバート:ソフトベイズ添加回帰木
- Authors: Antonio R. Linero
- Abstract要約: 本稿では,LineroとYangのSoft BARTアルゴリズムに適合するSoftBartパッケージを提案する。
このパッケージの主な目標は、より大きなモデルにBARTを組み込むことである。
標準的な予測タスクにこのパッケージを使う方法と、より大きなモデルにBARTモデルを組み込む方法の両方を示します。
- 参考スコア(独自算出の注目度): 2.969705152497174
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Bayesian additive regression tree (BART) models have seen increased attention
in recent years as a general-purpose nonparametric modeling technique. BART
combines the flexibility of modern machine learning techniques with the
principled uncertainty quantification of Bayesian inference, and it has been
shown to be uniquely appropriate for addressing the high-noise problems that
occur commonly in many areas of science, including medicine and the social
sciences. This paper introduces the SoftBart package for fitting the Soft BART
algorithm of Linero and Yang (2018). In addition to improving upon the
predictive performance of other BART packages, a major goal of this package has
been to facilitate the inclusion of BART in larger models, making it ideal for
researchers in Bayesian statistics. I show both how to use this package for
standard prediction tasks and how to embed BART models in larger models; I
illustrate by using SoftBart to implement a nonparametric probit regression
model, a semiparametric varying coefficient model, and a partial linear model.
- Abstract(参考訳): ベイズ加法回帰木(BART)モデルは近年,汎用的非パラメトリックモデリング技術として注目されている。
bartは、現代の機械学習技術の柔軟性とベイズ推論の原理的不確実性定量化を組み合わせることで、医学や社会科学など、科学の多くの領域で一般的に発生する高ノイズ問題に一意的に対応できることが示されている。
本稿では,Linero and Yang (2018)のSoft BARTアルゴリズムに適合するSoftBartパッケージを紹介する。
他のBARTパッケージの予測性能の改善に加えて、このパッケージの主な目標は、より大きなモデルへのBARTの導入を促進することであり、ベイズ統計学の研究者にとって理想的である。
非パラメトリックなプロビット回帰モデル、半パラメトリックな可変係数モデル、偏線形モデルを実装するために、SoftBartを用いて、このパッケージを一般的な予測タスクにどのように使うか、BARTモデルをより大きなモデルに組み込む方法について説明する。
関連論文リスト
- Margin Matching Preference Optimization: Enhanced Model Alignment with Granular Feedback [64.67540769692074]
人間のフィードバックからの強化学習など、アライメント技術で微調整された大規模言語モデル(LLM)は、これまでで最も有能なAIシステムの開発に役立っている。
マージンマッチング選好最適化(MMPO)と呼ばれる手法を導入し、相対的な品質マージンを最適化し、LLMポリシーと報酬モデルを改善する。
人間とAIの両方のフィードバックデータによる実験によると、MMPOはMT-benchやRewardBenchといった一般的なベンチマークにおいて、ベースラインメソッドよりも一貫してパフォーマンスが向上している。
論文 参考訳(メタデータ) (2024-10-04T04:56:11Z) - ASBART:Accelerated Soft Bayes Additive Regression Trees [8.476756500467689]
ソフトBARTは既存のベイジアン・サマー・オブ・ツリー(英語版)モデルにおいて実用的にもヒート的にも改善する。
BARTと比較すると、デフォルト設定で計算を完了するのに約20回以上使用される。
我々は,アクセラレーションソフトBART(ASBART)と呼ばれるBARTの変種を提案した。
論文 参考訳(メタデータ) (2023-10-21T11:27:42Z) - Quasi Black-Box Variational Inference with Natural Gradients for
Bayesian Learning [84.90242084523565]
複素モデルにおけるベイズ学習に適した最適化アルゴリズムを開発した。
我々のアプローチは、モデル固有導出に制限のある効率的なトレーニングのための一般的なブラックボックスフレームワーク内の自然な勾配更新に依存している。
論文 参考訳(メタデータ) (2022-05-23T18:54:27Z) - Hierarchical Embedded Bayesian Additive Regression Trees [0.0]
HE-BARTは、レグレッションツリーのセットの終端ノードレベルにランダムエフェクトを含めることができる。
シミュレーションおよび実世界の例を用いて、HE-BARTは標準的な混合効果モデルのサンプルデータセットの多くに対して優れた予測が得られることを示した。
この論文の今後のバージョンでは、より大きく、より高度なデータセットと構造での使用について概説する。
論文 参考訳(メタデータ) (2022-04-14T19:56:03Z) - GP-BART: a novel Bayesian additive regression trees approach using
Gaussian processes [1.03590082373586]
GP-BARTモデル(GP-BART model)は、すべての木間の各終端ノードの予測にGP先行を仮定することで制限に対処するBARTの拡張である。
モデルの有効性は、シミュレーションおよび実世界のデータへの応用を通じて実証され、様々なシナリオにおける従来のモデリング手法のパフォーマンスを上回る。
論文 参考訳(メタデータ) (2022-04-05T11:18:44Z) - Generalized Bayesian Additive Regression Trees Models: Beyond
Conditional Conjugacy [2.969705152497174]
本稿では,BARTの適用範囲を任意の一般化BARTモデルに拡大する。
我々のアルゴリズムは、ユーザがその勾配とフィッシャー情報を(任意に)計算できることのみを要求する。
我々は生存分析、構造化ヘテロスケダスティック回帰、ガンマ形状回帰の例を考察する。
論文 参考訳(メタデータ) (2022-02-20T22:52:07Z) - Accounting for shared covariates in semi-parametric Bayesian additive regression trees [0.0]
ベイズ加法回帰木(BART)に基づく半パラメトリックモデルの拡張を提案する。
このアプローチの主な斬新さは、このバイアスに対処するために、BARTのツリージェネレーションの動きを変える方法にあります。
回帰モデル、半パラメトリックBARTの代替定式化、その他の木に基づく手法と比較した場合の競合性能を示す。
論文 参考訳(メタデータ) (2021-08-17T13:58:44Z) - Nonparametric Estimation in the Dynamic Bradley-Terry Model [69.70604365861121]
カーネルのスムース化に依存する新しい推定器を開発し、時間とともにペア比較を前処理する。
モデルに依存しない設定における推定誤差と余剰リスクの両方について時間変化のオラクル境界を導出する。
論文 参考訳(メタデータ) (2020-02-28T21:52:49Z) - Learnable Bernoulli Dropout for Bayesian Deep Learning [53.79615543862426]
Learnable Bernoulli Dropout (LBD) は、他のモデルパラメータと共に最適化されたパラメータとしてドロップアウト率を考慮する新しいモデルに依存しないドロップアウトスキームである。
LBDは画像分類とセマンティックセグメンテーションにおける精度と不確実性の推定を改善する。
論文 参考訳(メタデータ) (2020-02-12T18:57:14Z) - Particle-Gibbs Sampling For Bayesian Feature Allocation Models [77.57285768500225]
最も広く使われているMCMC戦略は、特徴割り当て行列のギブス更新に頼っている。
単一移動で特徴割り当て行列の全行を更新できるギブスサンプリング器を開発した。
このサンプルは、計算複雑性が特徴数で指数関数的にスケールするにつれて、多数の特徴を持つモデルにとって実用的ではない。
我々は,行ワイズギブズ更新と同じ分布を目標としたパーティクルギブズサンプルの開発を行うが,特徴数でのみ線形に増大する計算複雑性を有する。
論文 参考訳(メタデータ) (2020-01-25T22:11:51Z) - AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。
最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。
第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。
3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
論文 参考訳(メタデータ) (2020-01-15T18:32:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。