論文の概要: NRGBoost: Energy-Based Generative Boosted Trees
- arxiv url: http://arxiv.org/abs/2410.03535v1
- Date: Fri, 4 Oct 2024 15:54:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-02 21:39:44.750185
- Title: NRGBoost: Energy-Based Generative Boosted Trees
- Title(参考訳): NRGBoost:エネルギーベースで生長する高木
- Authors: João Bravo,
- Abstract要約: 本稿では,XGBoostのような人気パッケージに実装された第2次ブースティングに類似したエネルギーベース生成促進アルゴリズムを提案する。
提案アルゴリズムは,任意の入力変数に対して推論タスクを処理可能な生成モデルを生成する一方で,複数の実世界のデータセット上でGBDTと類似の識別性能を実現できることを示す。
- 参考スコア(独自算出の注目度): 1.0878040851638
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite the rise to dominance of deep learning in unstructured data domains, tree-based methods such as Random Forests (RF) and Gradient Boosted Decision Trees (GBDT) are still the workhorses for handling discriminative tasks on tabular data. We explore generative extensions of these popular algorithms with a focus on explicitly modeling the data density (up to a normalization constant), thus enabling other applications besides sampling. As our main contribution we propose an energy-based generative boosting algorithm that is analogous to the second order boosting implemented in popular packages like XGBoost. We show that, despite producing a generative model capable of handling inference tasks over any input variable, our proposed algorithm can achieve similar discriminative performance to GBDT on a number of real world tabular datasets, outperforming alternative generative approaches. At the same time, we show that it is also competitive with neural network based models for sampling.
- Abstract(参考訳): 非構造データ領域におけるディープラーニングの優位性の高まりにもかかわらず、ランダムフォレスト(RF)やグラディエントブースト決定木(GBDT)のような木に基づく手法は、表層データにおける差別的タスクを扱うための作業場である。
我々は、データ密度(正規化定数まで)を明示的にモデル化することに焦点を当て、これらの人気アルゴリズムの生成拡張を検討し、サンプリング以外のアプリケーションを可能にする。
本研究の主な貢献として,XGBoost などの人気パッケージに実装された第2次ブースティングに類似したエネルギーベース生成促進アルゴリズムを提案する。
提案アルゴリズムは,任意の入力変数に対して推論タスクを処理可能な生成モデルを生成する一方で,実世界のグラフデータセットにおいて,GBDTと類似の識別性能を実現し,代替生成手法よりも優れていることを示す。
同時に、サンプリングのためのニューラルネットワークベースのモデルとも競合することを示した。
関連論文リスト
- Binary Classification: Is Boosting stronger than Bagging? [5.877778007271621]
本稿では,バニラ・ランダム・フォレストの拡張である拡張ランダム・フォレストを紹介し,付加機能と適応サンプルおよびモデル重み付けについて述べる。
トレーニングサンプルの重み付けを適応するための反復アルゴリズムを開発し、最も難しい例を選好し、新しいサンプルごとに個別の木の重み付け手法を見つけるためのアプローチを開発した。
本手法は15の異なる二分分類データセットにまたがる通常のランダムフォレストを著しく改善し,XGBoostを含む他の木法よりも優れていた。
論文 参考訳(メタデータ) (2024-10-24T23:22:33Z) - A generalized decision tree ensemble based on the NeuralNetworks
architecture: Distributed Gradient Boosting Forest (DGBF) [0.0]
本稿では,木間の分散表現学習を自然に行うグラフ構造木アンサンブルアルゴリズムを提案する。
我々は、この新しいアプローチを分散グラディエントブースティングフォレスト(DGBF)と呼び、RandomForestとGradientBoostingの両方がDGBFの特定のグラフアーキテクチャとして表現できることを実証する。
最後に、分散学習は、9つのデータセットのうち7つでRandomForestとGradientBoostingの両方に優れています。
論文 参考訳(メタデータ) (2024-02-04T09:22:52Z) - GE-AdvGAN: Improving the transferability of adversarial samples by
gradient editing-based adversarial generative model [69.71629949747884]
GAN(Generative Adversarial Networks)のような逆生成モデルは、様々な種類のデータを生成するために広く応用されている。
本研究では, GE-AdvGAN という新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-01-11T16:43:16Z) - Improving Out-of-Distribution Robustness of Classifiers via Generative
Interpolation [56.620403243640396]
ディープニューラルネットワークは、独立かつ同一に分散されたデータ(すなわち、d)から学習する上で、優れたパフォーマンスを達成する。
しかし、アウト・オブ・ディストリビューション(OoD)データを扱う場合、その性能は著しく低下する。
多様なOoDサンプルを合成するために,複数のドメインから学習した生成モデルを融合するための生成補間法(Generative Interpolation)を開発した。
論文 参考訳(メタデータ) (2023-07-23T03:53:53Z) - Enhancing Few-shot NER with Prompt Ordering based Data Augmentation [59.69108119752584]
本稿では,PODA(Prompt Ordering Based Data Augmentation)手法を提案する。
3つのパブリックNERデータセットの実験結果とさらなる分析により,本手法の有効性が示された。
論文 参考訳(メタデータ) (2023-05-19T16:25:43Z) - Generative Trees: Adversarial and Copycat [26.09279398946235]
我々は、DT誘導のための教師付きタスクの最高のコンポーネントについての数十年前からの理解を活用している。
木に基づく生成モデル, テクスト生成木(GT)を紹介する。
我々は、フェイク/現実の区別、フェイクデータからのトレーニング、欠落データ計算などのタスクでアルゴリズムをテストする。
論文 参考訳(メタデータ) (2022-01-26T22:02:43Z) - Convergent Boosted Smoothing for Modeling Graph Data with Tabular Node
Features [46.052312251801]
本稿では,グラフ伝播ステップでブースティングを反復するフレームワークを提案する。
我々のアプローチは、原則化されたメタロス関数に固定されている。
様々な非イドグラフデータセットに対して,本手法は同等あるいは優れた性能を実現する。
論文 参考訳(メタデータ) (2021-10-26T04:53:12Z) - Local Augmentation for Graph Neural Networks [78.48812244668017]
本稿では,局所的な部分グラフ構造によりノード特性を向上する局所拡張を提案する。
局所的な拡張に基づいて、プラグイン・アンド・プレイ方式で任意のGNNモデルに適用可能な、LA-GNNという新しいフレームワークをさらに設計する。
論文 参考訳(メタデータ) (2021-09-08T18:10:08Z) - Boost-R: Gradient Boosted Trees for Recurrence Data [13.40931458200203]
本稿では,静的および動的両方の特徴を持つイベントデータに対して,Boost-R(Boosting for Recurrence Data)と呼ばれる付加木に基づくアプローチを検討する。
Boost-Rは、繰り返しイベントプロセスの累積強度関数を推定するために、勾配増進付加木の集合を構成する。
論文 参考訳(メタデータ) (2021-07-03T02:44:09Z) - Robust Optimization as Data Augmentation for Large-scale Graphs [117.2376815614148]
学習中に勾配に基づく逆方向摂動を伴うノード特徴を反復的に拡張するFLAG(Free Large-scale Adversarial Augmentation on Graphs)を提案する。
FLAGはグラフデータに対する汎用的なアプローチであり、ノード分類、リンク予測、グラフ分類タスクで普遍的に機能する。
論文 参考訳(メタデータ) (2020-10-19T21:51:47Z) - Supervised Learning for Non-Sequential Data: A Canonical Polyadic
Decomposition Approach [85.12934750565971]
特徴相互作用の効率的なモデリングは、非順序的タスクに対する教師あり学習の基盤となる。
この問題を緩和するため、モデルパラメータをテンソルとして暗黙的に表現することが提案されている。
表現性を向上するため,任意の高次元特徴ベクトルに特徴写像を適用できるようにフレームワークを一般化する。
論文 参考訳(メタデータ) (2020-01-27T22:38:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。