論文の概要: Transformers Boost the Performance of Decision Trees on Tabular Data across Sample Sizes

• arxiv url: http://arxiv.org/abs/2502.02672v2
• Date: Thu, 06 Feb 2025 02:39:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-07 10:50:09.314303
• Title: Transformers Boost the Performance of Decision Trees on Tabular Data across Sample Sizes
• Title（参考訳）: 変圧器はサンプルサイズをまたいだ接尾辞データ上の決定木の性能を高める
• Authors: Mayuka Jayawardhana, Renbo, Samuel Dooley, Valeriia Cherepanova, Andrew Gordon Wilson, Frank Hutter, Colin White, Tom Goldstein, Micah Goldblum,
• Abstract要約: 本稿では,大規模言語モデルと勾配ブースト決定木を融合させる,シンプルで軽量な手法を提案する。 融合法を LLM-Boost と PFN-Boost と命名した。 多数のベースラインとアンサンブルアルゴリズムに対して最先端の性能を示す。
• 参考スコア（独自算出の注目度）: 135.68092471784516
• License:
• Abstract: Large language models (LLMs) perform remarkably well on tabular datasets in zero- and few-shot settings, since they can extract meaning from natural language column headers that describe features and labels. Similarly, TabPFN, a recent non-LLM transformer pretrained on numerous tables for in-context learning, has demonstrated excellent performance for dataset sizes up to a thousand samples. In contrast, gradient-boosted decision trees (GBDTs) are typically trained from scratch on each dataset without benefiting from pretraining data and must learn the relationships between columns from their entries alone since they lack natural language understanding. LLMs and TabPFN excel on small tabular datasets where a strong prior is essential, yet they are not competitive with GBDTs on medium or large datasets, since their context lengths are limited. In this paper, we propose a simple and lightweight approach for fusing large language models and TabPFN with gradient-boosted decision trees, which allows scalable GBDTs to benefit from the natural language capabilities and pretraining of transformers. We name our fusion methods LLM-Boost and PFN-Boost, respectively. While matching or surpassing the performance of the transformer at sufficiently small dataset sizes and GBDTs at sufficiently large sizes, LLM-Boost and PFN-Boost outperform both standalone components on a wide range of dataset sizes in between. We demonstrate state-of-the-art performance against numerous baselines and ensembling algorithms. We find that PFN-Boost achieves the best average performance among all methods we test for all but very small dataset sizes. We release our code at http://github.com/MayukaJ/LLM-Boost .
• Abstract（参考訳）: 大規模言語モデル(LLM)は、特徴やラベルを記述する自然言語列ヘッダーから意味を抽出できるため、ゼロおよび少数ショット設定の表形式のデータセットで驚くほどよく機能する。 同様に、コンテキスト内学習のために多数のテーブルで事前訓練された最近の非LLMトランスフォーマーであるTabPFNも、1000サンプルまでのデータセットサイズで優れたパフォーマンスを示している。 対照的に、勾配ブースト決定木(GBDT)は、通常、事前トレーニングデータの恩恵を受けずにデータセットのスクラッチからトレーニングされ、自然言語の理解が欠如しているため、エントリのみから列間の関係を学ばなければならない。 LLMとTabPFNは、強い事前が不可欠である小さな表形式のデータセットで優れているが、コンテキスト長が制限されているため、中規模または大規模なデータセットではGBDTと競合しない。 本稿では,大規模言語モデルとTabPFNを勾配ブースト決定木で融合する簡易かつ軽量な手法を提案する。 融合法を LLM-Boost と PFN-Boost と命名した。 LLM-BoostとPFN-Boostは、十分なサイズのデータセットサイズと十分なサイズのGBDTでトランスフォーマーのパフォーマンスをマッチングまたは上回る一方で、その間に広範囲のデータセットサイズで、両方のスタンドアロンコンポーネントを上回ります。 多数のベースラインとアンサンブルアルゴリズムに対して最先端の性能を示す。 PFN-Boostは、非常に小さなデータセットサイズでテストするすべてのメソッドの中で、最高の平均パフォーマンスを達成する。 コードについてはhttp://github.com/MayukaJ/LLM-Boost で公開しています。

関連論文リスト

• A Framework for Fine-Tuning LLMs using Heterogeneous Feedback [69.51729152929413]
  ヘテロジニアスフィードバックを用いた大規模言語モデル(LLM)の微調整フレームワークを提案する。 まず、不均一なフィードバックデータをSFTやRLHFなどの手法と互換性のある単一の監視形式にまとめる。 次に、この統合されたフィードバックデータセットから、性能向上を得るために高品質で多様なサブセットを抽出する。
  論文  参考訳（メタデータ） (2024-08-05T23:20:32Z)
• Retrieval & Fine-Tuning for In-Context Tabular Models [16.668695961462827]
  トランスフォーマーベースのインコンテキスト学習を用いた最近の進歩は、より小さく、より複雑でないデータセットを約束しているが、より大きく、より複雑なデータセットにスケールするのに苦労している。 検索と微調整の組み合わせを提案する: 近接する近隣住民を収集することで、変換器をデータの局所的なサブセットに適応させ、その周辺住民の状況に応じてタスク固有の微調整を行うことができる。 テキスト内モデルと比較すると,性能が大幅に向上した。
  論文  参考訳（メタデータ） (2024-06-07T18:43:33Z)
• Making Pre-trained Language Models Great on Tabular Prediction [50.70574370855663]
  ディープニューラルネットワーク(DNN)の転送性は、画像および言語処理において著しく進歩している。 本稿では,表型データ予測のための訓練済みLMであるTP-BERTaを提案する。 新たな相対等級トークン化では、スカラー数値の特徴値を細分化した高次元トークンに変換し、特徴値と対応する特徴名を統合する。
  論文  参考訳（メタデータ） (2024-03-04T08:38:56Z)
• TuneTables: Context Optimization for Scalable Prior-Data Fitted Networks [90.00817095558094]
  事前データ対応ネットワーク(PFN)は、事前学習とコンテキスト内学習を利用して、1つのフォワードパスで新しいタスクの強力なパフォーマンスを実現する。 我々は、大規模なデータセットをより小さな学習コンテキストに圧縮するPFNのパラメータ効率の良い微調整戦略であるTuneTablesを紹介した。 我々は、TuneTablesを解釈可能性ツールとして使用することができ、公平性目標を最適化することでバイアスを軽減することができることを示した。
  論文  参考訳（メタデータ） (2024-02-17T00:02:23Z)
• In-Context Data Distillation with TabPFN [11.553950697974825]
  In-context data distillation (ICD) は、TabPFNのコンテキストを最適化することでこれらの制約を効果的に除去する新しい手法である。 ICDにより、TabPFNは固定メモリ予算ではるかに大きなデータセットを処理でき、TabPFNの二次メモリの複雑さは向上するが、多くのチューニングステップのコストがかかる。
  論文  参考訳（メタデータ） (2024-02-10T15:23:45Z)
• M-Tuning: Prompt Tuning with Mitigated Label Bias in Open-Set Scenarios [58.617025733655005]
  緩和ラベルバイアス(M-Tuning)を用いた視覚言語プロンプトチューニング手法を提案する。 これはWordNetからのオープンワードを導入し、クローズドセットラベルワードのみからもっと多くのプロンプトテキストを形成する単語の範囲を広げ、シミュレートされたオープンセットシナリオでプロンプトをチューニングする。 提案手法は,様々なスケールのデータセット上で最高の性能を達成し,広範囲にわたるアブレーション研究もその有効性を検証した。
  論文  参考訳（メタデータ） (2023-03-09T09:05:47Z)
• TabPFN: A Transformer That Solves Small Tabular Classification Problems in a Second [48.87527918630822]
  トレーニングされたトランスフォーマーであるTabPFNは、小さなデータセットの教師付き分類を1秒以内で行うことができる。 TabPFNはコンテキスト内学習(ICL)を行い、ラベル付きサンプルのシーケンスを使用して予測を行う。 提案手法は, 強化木よりも明らかに優れており, 230$times$ Speedupの複雑なAutoMLシステムと同等性能を示す。
  論文  参考訳（メタデータ） (2022-07-05T07:17:43Z)
• Parsing with Pretrained Language Models, Multiple Datasets, and Dataset Embeddings [13.097523786733872]
  変換器に基づく多言語依存にデータセットを埋め込む2つの手法を比較する。 ベースラインスコアが低い小さなデータセットやデータセットでは,パフォーマンスの向上が最も高いことを確認します。 すべてのデータセットの組み合わせによるトレーニングは、言語関連性に基づいてより小さなクラスタを設計するのと同様である。
  論文  参考訳（メタデータ） (2021-12-07T10:47:07Z)
• Enhancing Transformers with Gradient Boosted Decision Trees for NLI Fine-Tuning [7.906608953906889]
  ニューラルネットワークによる余分な計算を行なわずに性能を向上させるために、微調整中に計算された機能にGBDTヘッドを装着するFreeGBDTを導入する。 強力なベースラインモデルを用いて,複数のNLIデータセットに対して提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2021-05-08T22:31:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。