Fugu-MT 論文翻訳(概要): Monotone Tree-Based GAMI Models by Adapting XGBoost

論文の概要: Monotone Tree-Based GAMI Models by Adapting XGBoost

arxiv url: http://arxiv.org/abs/2309.02426v1
Date: Tue, 5 Sep 2023 17:54:37 GMT
ステータス: 処理完了
システム内更新日: 2023-09-06 13:33:56.003721
Title: Monotone Tree-Based GAMI Models by Adapting XGBoost
Title（参考訳）: XGBoost 適応による単調木に基づくGAMIモデル
Authors: Linwei Hu, Soroush Aramideh, Jie Chen, Vijayan N. Nair
Abstract要約: 本稿では、$f(x)=sum_j,kf_j,k(x_j,x_k)$という形のモデルを検討し、モノトンGAMI-Treeと呼ばれるモノトンツリーベースのGAMIモデルを開発する。 XGBoostのオプションを使って、モノトーンモデルを$f(x)$に適合させることは簡単である。 i) 重要な相互作用を決定するためにフィルタリング手法を使用し、(i) 選択した相互作用にモノトーンXGBoostアルゴリズムを適合させる。
参考スコア（独自算出の注目度）: 4.566028525473582
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recent papers have used machine learning architecture to fit low-order functional ANOVA models with main effects and second-order interactions. These GAMI (GAM + Interaction) models are directly interpretable as the functional main effects and interactions can be easily plotted and visualized. Unfortunately, it is not easy to incorporate the monotonicity requirement into the existing GAMI models based on boosted trees, such as EBM (Lou et al. 2013) and GAMI-Lin-T (Hu et al. 2022). This paper considers models of the form $f(x)=\sum_{j,k}f_{j,k}(x_j, x_k)$ and develops monotone tree-based GAMI models, called monotone GAMI-Tree, by adapting the XGBoost algorithm. It is straightforward to fit a monotone model to $f(x)$ using the options in XGBoost. However, the fitted model is still a black box. We take a different approach: i) use a filtering technique to determine the important interactions, ii) fit a monotone XGBoost algorithm with the selected interactions, and finally iii) parse and purify the results to get a monotone GAMI model. Simulated datasets are used to demonstrate the behaviors of mono-GAMI-Tree and EBM, both of which use piecewise constant fits. Note that the monotonicity requirement is for the full model. Under certain situations, the main effects will also be monotone. But, as seen in the examples, the interactions will not be monotone.
Abstract（参考訳）: 近年の研究では、機械学習アーキテクチャを用いて、低階関数型ANOVAモデルに主効果と二階相互作用を適合させる。これらのGAM(GAM + Interaction)モデルは、機能的な主要な効果として直接解釈可能であり、相互作用を簡単にプロットして視覚化することができる。残念なことに、ESM(Lou et al. 2013)やGAMI-Lin-T(Hu et al. 2022)のような強化木に基づく既存のGAMIモデルにモノトニック性要件を組み込むのは容易ではない。本稿では,f(x)=\sum_{j,k}f_{j,k}(x_j,x_k) という形式のモデルを検討し,xgboost アルゴリズムを適用し,単調木ベースの gami モデルを開発した。 XGBoostのオプションを使って、モノトーンモデルを$f(x)$に適合させることは簡単である。しかし、このモデルはまだブラックボックスである。異なるアプローチをとります一フィルター技術を用いて重要な相互作用を決定すること。二モノトーンXGBoostアルゴリズムを選択された相互作用に適合させ、最後に三モノトーンGAMIモデルを得るために結果を解析し、浄化すること。シミュレーションされたデータセットは、mono-gami-treeとebmの振る舞いを示すために使われます。単調性要件はモデル全体に対するものであることに注意。特定の状況下では、主な効果は単調である。しかし、例に示すように、相互作用は単調ではない。

関連論文リスト

PanGu-$\pi$: Enhancing Language Model Architectures via Nonlinearity Compensation [97.78045712375047]
大規模言語モデル(LLM)のための新しい効率的なモデルアーキテクチャを提案する。そこで,PanGu-$pi$-7Bは,約10%の推論速度を持つベンチマークに匹敵する性能が得られることを示す。さらに,PanGu-$pi$-7Bを金融法と法律の高価値領域に導入し,実践的応用のためにYunShanというLLMを開発した。
論文参考訳（メタデータ） (2023-12-27T11:49:24Z)
Single-Stage Visual Relationship Learning using Conditional Queries [60.90880759475021]
TraCQは、マルチタスク学習問題とエンティティペアの分布を回避する、シーングラフ生成の新しい定式化である。我々は,DETRをベースとしたエンコーダ-デコーダ条件付きクエリを用いて,エンティティラベル空間を大幅に削減する。実験結果から、TraCQは既存のシングルステージシーングラフ生成法よりも優れており、Visual Genomeデータセットの最先端の2段階メソッドを多く上回っていることがわかった。
論文参考訳（メタデータ） (2023-06-09T06:02:01Z)
Mixtures of All Trees [28.972995038976745]
我々は、すべての木の混合と呼ばれる新しい生成モデルのクラスを提案し、すなわち、$n$変数上のすべての可能な(nn-2$)木形のグラフィカルモデルに混合する。我々は,この混合木モデル(MoAT)をコンパクトにパラメータ化することで,勾配勾配勾配による抽出可能な可能性と最適化を可能にすることを示す。
論文参考訳（メタデータ） (2023-02-27T23:37:03Z)
On marginal feature attributions of tree-based models [0.11184789007828977]
辺縁的なシャプリー、オーウェンまたはバンジャフの値など、辺縁的な期待に基づく局所的な特徴属性を用いることができる。パス依存(path-dependent)のTreeSHAPが特徴のランク付けを行うのと全く同じ関数を計算する2つの(統計的に類似した)決定木を提示する。我々は、CataBoostモデルの余剰Shapley(およびBanzhafとOwen)値についてのみ、複雑さを改善し、内部モデルパラメータの観点からのみ、明示的な式を導出するために対称性を利用する。
論文参考訳（メタデータ） (2023-02-16T17:18:03Z)
Artificial Benchmark for Community Detection with Outliers (ABCD+o) [5.8010446129208155]
ABCDモデルを拡張して、潜在的な外れ値を含める。我々はABCD+oモデルと実世界のネットワークの両方で探索実験を行い、外れ値が所望の特性を持つことを示す。
論文参考訳（メタデータ） (2023-01-13T20:14:44Z)
Using Model-Based Trees with Boosting to Fit Low-Order Functional ANOVA Models [5.131758478675364]
低次関数型ANOVAモデルは、本質的に解釈可能な機械学習の目的のもと、機械学習(ML)コミュニティで再発見された。我々は,EMMに類似する新しいアルゴリズムであるGAMI-Treeを提案する。我々は、シミュレーションと実データを用いて、GAMI-Treeの性能と解釈可能性をEMMとGAMI-Netと比較する。
論文参考訳（メタデータ） (2022-07-14T14:23:14Z)
On the Generative Utility of Cyclic Conditionals [103.1624347008042]
2つの条件付きモデル$p(x|z)$を用いて、共同分布$p(x,z)$をモデル化できるかどうか、また、どのようにしてサイクルを形成するかを検討する。本稿では,周期条件生成モデリングのためのCyGenフレームワークを提案する。
論文参考訳（メタデータ） (2021-06-30T10:23:45Z)
GraphFM: Graph Factorization Machines for Feature Interaction Modeling [27.307086868266012]
本稿では,グラフ構造の特徴を自然に表現し,グラフ因子化マシン(GraphFM)を提案する。特に,有用な特徴間相互作用を選択し,特徴間のエッジとして定式化する機構を設計する。提案モデルでは, FMの相互作用関数をグラフニューラルネットワーク(GNN)の特徴集約戦略に統合する。
論文参考訳（メタデータ） (2021-05-25T12:10:54Z)
On the Discrepancy between Density Estimation and Sequence Generation [92.70116082182076]
log-likelihoodは、同じファミリー内のモデルを考えるとき、BLEUと非常に相関している。異なる家族間でのモデルランキングの相関はみられない。
論文参考訳（メタデータ） (2020-02-17T20:13:35Z)
Revisiting Graph based Collaborative Filtering: A Linear Residual Graph Convolutional Network Approach [55.44107800525776]
グラフ畳み込みネットワーク(GCN)は、最先端のグラフベースの表現学習モデルである。本稿では、GCNベースの協調フィルタリング(CF)ベースのレコメンダシステム(RS)について再検討する。単純なグラフ畳み込みネットワークの理論と整合して,非線形性を取り除くことで推奨性能が向上することを示す。本稿では,ユーザ・イテム相互作用モデリングを用いたCF用に特別に設計された残差ネットワーク構造を提案する。
論文参考訳（メタデータ） (2020-01-28T04:41:25Z)
Particle-Gibbs Sampling For Bayesian Feature Allocation Models [77.57285768500225]
最も広く使われているMCMC戦略は、特徴割り当て行列のギブス更新に頼っている。単一移動で特徴割り当て行列の全行を更新できるギブスサンプリング器を開発した。このサンプルは、計算複雑性が特徴数で指数関数的にスケールするにつれて、多数の特徴を持つモデルにとって実用的ではない。我々は,行ワイズギブズ更新と同じ分布を目標としたパーティクルギブズサンプルの開発を行うが,特徴数でのみ線形に増大する計算複雑性を有する。
論文参考訳（メタデータ） (2020-01-25T22:11:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。