論文の概要: Enriching Tabular Data with Contextual LLM Embeddings: A Comprehensive Ablation Study for Ensemble Classifiers

• arxiv url: http://arxiv.org/abs/2411.01645v2
• Date: Tue, 05 Nov 2024 21:02:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-07 11:17:54.548359
• Title: Enriching Tabular Data with Contextual LLM Embeddings: A Comprehensive Ablation Study for Ensemble Classifiers
• Title（参考訳）: 文脈LLM埋め込みを用いた語彙データ強化:アンサンブル分類器の包括的アブレーション研究
• Authors: Gjergji Kasneci, Enkelejda Kasneci,
• Abstract要約: 本研究では,大規模言語モデルの埋め込みから派生した特徴を持つデータセットを豊かにするための体系的アプローチを提案する。 我々はRoBERTaとGPT-2の埋め込みがランダムフォレスト、XGBoost、CatBoostなどのアンサンブル分類器に与える影響を評価する。 その結果,埋め込みと従来の数値的特徴とカテゴリー的特徴を統合することで,予測性能が向上することが示唆された。
• 参考スコア（独自算出の注目度）: 20.46918103875102
• License:
• Abstract: Feature engineering is crucial for optimizing machine learning model performance, particularly in tabular data classification tasks. Leveraging advancements in natural language processing, this study presents a systematic approach to enrich tabular datasets with features derived from large language model embeddings. Through a comprehensive ablation study on diverse datasets, we assess the impact of RoBERTa and GPT-2 embeddings on ensemble classifiers, including Random Forest, XGBoost, and CatBoost. Results indicate that integrating embeddings with traditional numerical and categorical features often enhances predictive performance, especially on datasets with class imbalance or limited features and samples, such as UCI Adult, Heart Disease, Titanic, and Pima Indian Diabetes, with improvements particularly notable in XGBoost and CatBoost classifiers. Additionally, feature importance analysis reveals that LLM-derived features frequently rank among the most impactful for the predictions. This study provides a structured approach to embedding-based feature enrichment and illustrates its benefits in ensemble learning for tabular data.
• Abstract（参考訳）: 特徴工学は、特に表形式のデータ分類タスクにおいて、機械学習モデルのパフォーマンスの最適化に不可欠である。 本研究は,自然言語処理の進歩を生かして,大規模言語モデル埋め込みから派生した特徴を持つ表層データセットを拡張化するための体系的アプローチを提案する。 多様なデータセットに対する包括的アブレーション研究を通じて、ランダムフォレスト、XGBoost、CatBoostなどのアンサンブル分類器に対するRoBERTaとGPT-2の埋め込みの影響を評価する。 以上の結果から,組込みを従来の数値的特徴と分類的特徴と組み合わせることで,特にUCIアダルト,ハート病,タイタニック,ピマ・インディアン糖尿病など,クラス不均衡や限られた特徴やサンプルのデータセットにおいて,予測性能が向上することが示唆された。 さらに、特徴重要度分析により、LLMに由来する特徴が予測に最も影響のあるものの中でしばしばランク付けされていることが明らかとなった。 本研究は,組込み型特徴量豊か化のための構造化されたアプローチを提供し,表データに対するアンサンブル学習の利点を示す。

関連論文リスト

• Granularity Matters in Long-Tail Learning [62.30734737735273]
  より粒度の細かいデータセットは、データの不均衡の影響を受けにくい傾向があります。 既存のクラスと視覚的に類似したオープンセット補助クラスを導入し、頭と尾の両方の表現学習を強化することを目的とした。 補助授業の圧倒的な存在がトレーニングを混乱させるのを防ぐために,近隣のサイレンシング障害を導入する。
  論文  参考訳（メタデータ） (2024-10-21T13:06:21Z)
• TabSeq: A Framework for Deep Learning on Tabular Data via Sequential Ordering [5.946579489162407]
  この作業では、機能のシーケンシャルな順序付けのための新しいフレームワークであるTabSeqを紹介している。 このような機能の最適なシーケンス順序を見つけることで、ディープラーニングモデルの学習プロセスを改善することができる。
  論文  参考訳（メタデータ） (2024-10-17T04:10:36Z)
• Distributionally robust self-supervised learning for tabular data [2.942619386779508]
  エラースライスの存在下での堅牢な表現の学習は、高い濃度特徴とエラーセットの構築の複雑さのために困難である。 従来の堅牢な表現学習手法は、コンピュータビジョンにおける教師付き設定における最悪のグループパフォーマンスの改善に主に焦点をあてている。 提案手法は,Masked Language Modeling (MLM) の損失を学習したエンコーダ・デコーダモデルを用いて,頑健な潜在表現を学習する。
  論文  参考訳（メタデータ） (2024-10-11T04:23:56Z)
• From Text to Treatment Effects: A Meta-Learning Approach to Handling Text-Based Confounding [7.5348062792]
  本稿では,共起変数をテキストで表現する場合のメタラーナーの性能について検討する。 共同創設者の事前学習したテキスト表現を用いた学習者は,CATE推定精度の向上を図っている。 テキスト埋め込みの絡み合った性質のため、これらのモデルは、完全な共同創設者の知識を持つメタ学習者のパフォーマンスと完全には一致しない。
  論文  参考訳（メタデータ） (2024-09-23T19:46:19Z)
• LLM-Select: Feature Selection with Large Language Models [64.5099482021597]
  大規模言語モデル(LLM)は、データサイエンスの標準ツールに匹敵するパフォーマンスで、最も予測可能な機能を選択することができる。 以上の結果から,LSMはトレーニングに最適な機能を選択するだけでなく,そもそもどの機能を収集すべきかを判断する上でも有用である可能性が示唆された。
  論文  参考訳（メタデータ） (2024-07-02T22:23:40Z)
• Enriched BERT Embeddings for Scholarly Publication Classification [0.13654846342364302]
  NSLP 2024 FoRC Task Iは、競争として組織されたこの課題に対処する。 目的は、ある論文に対する研究分野の分類法であるOpen Research Knowledge Graph (ORKG) から、123の事前定義されたクラスのうちの1つを予測することができる分類器を開発することである。
  論文  参考訳（メタデータ） (2024-05-07T09:05:20Z)
• Feature graphs for interpretable unsupervised tree ensembles: centrality, interaction, and application in disease subtyping [0.24578723416255746]
  特徴の選択は、モデルの解釈可能性を高める上で重要な役割を担います。 決定木を集約することで得られる精度は、解釈可能性の犠牲となる。 この研究では、教師なしランダムな森林から特徴グラフを構築するための新しい手法を紹介した。
  論文  参考訳（メタデータ） (2024-04-27T12:47:37Z)
• On the Trade-off of Intra-/Inter-class Diversity for Supervised Pre-training [72.8087629914444]
  教師付き事前学習データセットのクラス内多様性(クラス毎のサンプル数)とクラス間多様性(クラス数)とのトレードオフの影響について検討した。 トレーニング前のデータセットのサイズが固定された場合、最高のダウンストリームのパフォーマンスは、クラス内/クラス間の多様性のバランスがとれる。
  論文  参考訳（メタデータ） (2023-05-20T16:23:50Z)
• An Empirical Investigation of Commonsense Self-Supervision with Knowledge Graphs [67.23285413610243]
  大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。 本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
  論文  参考訳（メタデータ） (2022-05-21T19:49:04Z)
• Towards Open-World Feature Extrapolation: An Inductive Graph Learning Approach [80.8446673089281]
  グラフ表現と学習を伴う新しい学習パラダイムを提案する。 本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
  論文  参考訳（メタデータ） (2021-10-09T09:02:45Z)
• Representation Matters: Assessing the Importance of Subgroup Allocations in Training Data [85.43008636875345]
  訓練データにおける多様な表現は,サブグループのパフォーマンス向上と集団レベルの目標達成の鍵である。 分析と実験は、データセット構成がパフォーマンスにどのように影響するかを説明し、既存のデータにおけるトレンドとドメイン知識を用いて、意図的かつ客観的なデータセット設計を導くのに役立つ構成結果を提供する。
  論文  参考訳（メタデータ） (2021-03-05T00:27:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。