Fugu-MT 論文翻訳(概要): Generalizing Gain Penalization for Feature Selection in Tree-based Models

論文の概要: Generalizing Gain Penalization for Feature Selection in Tree-based Models

arxiv url: http://arxiv.org/abs/2006.07515v1
Date: Fri, 12 Jun 2020 23:55:52 GMT
ステータス: 処理完了
システム内更新日: 2022-11-22 04:00:48.001384
Title: Generalizing Gain Penalization for Feature Selection in Tree-based Models
Title（参考訳）: 木型モデルにおける特徴選択のためのゲインペナリゼーションの一般化
Authors: Bruna Wundervald, Andrew Parnell and Katarina Domijan
Abstract要約: 従来の手法は十分な正規化を行なわず、しばしばサンプル外の準最適性能を示すことを示す。我々は,木系モデルの局所正規化を一般化した新たなゲインペナライズ手法を開発した。シミュレーションデータと実データの両方で本手法を検証し,Rパッケージレンジャーの拡張として実装する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We develop a new approach for feature selection via gain penalization in tree-based models. First, we show that previous methods do not perform sufficient regularization and often exhibit sub-optimal out-of-sample performance, especially when correlated features are present. Instead, we develop a new gain penalization idea that exhibits a general local-global regularization for tree-based models. The new method allows for more flexibility in the choice of feature-specific importance weights. We validate our method on both simulated and real data and implement itas an extension of the popular R package ranger.
Abstract（参考訳）: 木モデルにおけるゲインペナル化による特徴選択のための新しい手法を開発した。まず,従来の手法では十分な正規化が行えず,特に相関特性が存在する場合,しばしば準最適オフ・オブ・サンプル性能を示すことを示す。その代わり、木ベースのモデルに対する一般的な局所的グローバル正規化を示す新しいゲインペナルゼーションアイデアを開発する。この新しい方法により、機能固有の重み付けの選択の柔軟性が向上する。シミュレーションデータと実データの両方で本手法を検証し,Rパッケージレンジャーの拡張として実装する。

関連論文リスト

General Preference Modeling with Preference Representations for Aligning Language Models [51.14207112118503]
我々は、複雑な嗜好構造を効率的に捉えるために、応答を潜在空間に埋め込んだ選好表現学習を導入する。また、人間からのフィードバックから報酬に基づく強化学習を一般化する嗜好スコアに基づく一般選好最適化(GPO)を提案する。提案手法は,基礎モデルの微妙な人的価値との整合性を高めることができる。
論文参考訳（メタデータ） (2024-10-03T04:22:55Z)
Conditional expectation network for SHAP [0.0]
ニューラルネットワークと他の回帰モデルの両方の条件付きバージョンを効率的に計算できる(代理的な)ニューラルネットワークアプローチを提供する。この提案は、一般化線形モデル(GLM)に類似した複雑な回帰モデルにおいて、ドロップ1とアノバ分析を提供するのにも有用である。
論文参考訳（メタデータ） (2023-07-20T07:35:15Z)
Precision-Recall Divergence Optimization for Generative Modeling with GANs and Normalizing Flows [54.050498411883495]
本研究では,ジェネレーティブ・アドバイサル・ネットワークや正規化フローなどの生成モデルのための新しいトレーニング手法を開発した。指定された精度-リコールトレードオフを達成することは、textitPR-divergencesと呼ぶ家族からのユニークな$f$-divergenceを最小化することを意味する。当社のアプローチは,ImageNetなどのデータセットでテストした場合の精度とリコールの両面で,BigGANのような既存の最先端モデルの性能を向上させる。
論文参考訳（メタデータ） (2023-05-30T10:07:17Z)
Investigating Ensemble Methods for Model Robustness Improvement of Text Classifiers [66.36045164286854]
既存のバイアス機能を分析し、すべてのケースに最適なモデルが存在しないことを実証します。適切なバイアスモデルを選択することで、より洗練されたモデル設計でベースラインよりもロバスト性が得られる。
論文参考訳（メタデータ） (2022-10-28T17:52:10Z)
Distributional Adaptive Soft Regression Trees [0.0]
本稿では,多変量ソフトスプリットルールを用いた分布回帰木の新しいタイプを提案する。ソフトスプリットの大きな利点の1つは、滑らかな高次元函数を1つの木で見積もることができることである。シミュレーションにより,アルゴリズムは優れた特性を有し,様々なベンチマーク手法より優れていることを示す。
論文参考訳（メタデータ） (2022-10-19T08:59:02Z)
HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文参考訳（メタデータ） (2022-06-15T19:10:35Z)
A cautionary tale on fitting decision trees to data from additive models: generalization lower bounds [9.546094657606178]
本研究では,異なる回帰モデルに対する決定木の一般化性能について検討する。これにより、アルゴリズムが新しいデータに一般化するために(あるいは作らない)仮定する帰納的バイアスが引き起こされる。スパース加法モデルに適合する大規模な決定木アルゴリズムに対して、シャープな2乗誤差一般化を低い境界で証明する。
論文参考訳（メタデータ） (2021-10-18T21:22:40Z)
Squared $\ell_2$ Norm as Consistency Loss for Leveraging Augmented Data to Learn Robust and Invariant Representations [76.85274970052762]
元のサンプルと拡張されたサンプルの埋め込み/表現の距離を規則化することは、ニューラルネットワークの堅牢性を改善するための一般的なテクニックである。本稿では、これらの様々な正規化選択について検討し、埋め込みの正規化方法の理解を深める。私たちが特定したジェネリックアプローチ(squared $ell$ regularized augmentation)は、それぞれ1つのタスクのために特別に設計されたいくつかの手法より優れていることを示す。
論文参考訳（メタデータ） (2020-11-25T22:40:09Z)
A Span-based Linearization for Constituent Trees [26.012755379130844]
我々のモデルは、その分割点で終わるすべてのスパン上の正規化子を計算し、それからそれらから伸びる木を予測する。グローバルモデルと比較すると,我々のモデルは高速かつ並列化可能である。
論文参考訳（メタデータ） (2020-04-30T11:36:33Z)
Stochastic tree ensembles for regularized nonlinear regression [0.913755431537592]
本稿では,非線形回帰のための新しいツリーアンサンブル法を開発し,これをXBARTと呼ぶ。ベイズモデルからの正規化と探索戦略と計算効率のよい手法を組み合わせることで、新しい手法は最先端の性能を達成できる。
論文参考訳（メタデータ） (2020-02-09T14:37:02Z)
Particle-Gibbs Sampling For Bayesian Feature Allocation Models [77.57285768500225]
最も広く使われているMCMC戦略は、特徴割り当て行列のギブス更新に頼っている。単一移動で特徴割り当て行列の全行を更新できるギブスサンプリング器を開発した。このサンプルは、計算複雑性が特徴数で指数関数的にスケールするにつれて、多数の特徴を持つモデルにとって実用的ではない。我々は,行ワイズギブズ更新と同じ分布を目標としたパーティクルギブズサンプルの開発を行うが,特徴数でのみ線形に増大する計算複雑性を有する。
論文参考訳（メタデータ） (2020-01-25T22:11:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。