論文の概要: ELF-Gym: Evaluating Large Language Models Generated Features for Tabular Prediction

• arxiv url: http://arxiv.org/abs/2410.12865v1
• Date: Sun, 13 Oct 2024 13:59:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:23:03.715657
• Title: ELF-Gym: Evaluating Large Language Models Generated Features for Tabular Prediction
• Title（参考訳）: ELF-Gym: 語彙予測のための大規模言語モデルの評価
• Authors: Yanlin Zhang, Ning Li, Quan Gan, Weinan Zhang, David Wipf, Minjie Wang,
• Abstract要約: 大規模言語モデル(LLM)を評価するためのフレームワークであるELF-Gymを提案する。 私たちは、トップパフォーマンスチームによって使用される251の"ゴールド"機能を含む、歴史的なKaggleコンペティションから、新たなデータセットをキュレートしました。 ベストケースのシナリオでは、LLMがゴールデン機能の約56%を意味的にキャプチャできるが、より要求の高い実装レベルでは、オーバーラップは13%に減少する。
• 参考スコア（独自算出の注目度）: 33.03433653251314
• License:
• Abstract: Crafting effective features is a crucial yet labor-intensive and domain-specific task within machine learning pipelines. Fortunately, recent advancements in Large Language Models (LLMs) have shown promise in automating various data science tasks, including feature engineering. But despite this potential, evaluations thus far are primarily based on the end performance of a complete ML pipeline, providing limited insight into precisely how LLMs behave relative to human experts in feature engineering. To address this gap, we propose ELF-Gym, a framework for Evaluating LLM-generated Features. We curated a new dataset from historical Kaggle competitions, including 251 "golden" features used by top-performing teams. ELF-Gym then quantitatively evaluates LLM-generated features by measuring their impact on downstream model performance as well as their alignment with expert-crafted features through semantic and functional similarity assessments. This approach provides a more comprehensive evaluation of disparities between LLMs and human experts, while offering valuable insights into specific areas where LLMs may have room for improvement. For example, using ELF-Gym we empirically demonstrate that, in the best-case scenario, LLMs can semantically capture approximately 56% of the golden features, but at the more demanding implementation level this overlap drops to 13%. Moreover, in other cases LLMs may fail completely, particularly on datasets that require complex features, indicating broad potential pathways for improvement.
• Abstract（参考訳）: 効果的な機能の構築は、マシンラーニングパイプライン内の労働集約的かつドメイン固有のタスクである。 幸いなことに、LLM(Large Language Models)の最近の進歩は、機能エンジニアリングを含むさまざまなデータサイエンスタスクを自動化することを約束している。 しかし、この可能性にもかかわらず、これまでの評価は主に完全なMLパイプラインのエンドパフォーマンスに基づいており、LLMが機能工学の専門家に対してどのように振る舞うかを正確に把握している。 このギャップに対処するため,LLM生成機能評価フレームワークであるELF-Gymを提案する。 私たちは、トップパフォーマンスチームによって使用される251の"ゴールド"機能を含む、歴史的なKaggleコンペティションから、新たなデータセットをキュレートしました。 ELF-Gymは,LLMが生成する特徴が下流モデルの性能に与える影響を定量的に評価し,意味的および機能的類似性評価を通じて専門家による特徴との整合性を評価する。 このアプローチは、LLMと人間の専門家の相違をより包括的に評価すると同時に、LLMが改善の余地のある特定の領域に関する貴重な洞察を提供する。 例えば、ELF-Gymを使って、ベストケースのシナリオでは、LLMは金色の機能の約56%を意味的にキャプチャできるが、より要求の高い実装レベルでは、このオーバーラップは13%に減少する。 さらに、他のケースでは、LSMは完全に失敗する可能性がある。特に複雑な特徴を必要とするデータセットでは、改善のための幅広い潜在的な経路が示される。

関連論文リスト

• Probing Ranking LLMs: Mechanistic Interpretability in Information Retrieval [22.875174888476295]
  我々は最先端の微調整型変圧器ネットワークの動作について検討する。 我々のアプローチは、LLM内のニューロンの探索に基づく層間層解析である。 ネットワークのアクティベーションの中で、既知の人間工学的・意味的な特徴の個人またはグループを特定する。
  論文  参考訳（メタデータ） (2024-10-24T08:20:10Z)
• Performance Law of Large Language Models [58.32539851241063]
  性能法則は、LLMアーキテクチャの選択と計算資源の効率的な割り当てを導くために用いられる。 性能法則は、LLMアーキテクチャの選択と計算資源の効率的な割り当てを広範な実験なしで導くのに利用できる。
  論文  参考訳（メタデータ） (2024-08-19T11:09:12Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• Automated Commit Message Generation with Large Language Models: An Empirical Study and Beyond [24.151927600694066]
  コミットメッセージ生成(CMG)アプローチは、与えられたコード差分に基づいてコミットメッセージを自動的に生成することを目的としている。 本稿では,Large Language Models (LLMs) を用いて高品質なコミットメッセージの生成にどの程度の期間を費やしてきたかを調べるための,最初の包括的な実験を行う。
  論文  参考訳（メタデータ） (2024-04-23T08:24:43Z)
• Evaluating the Factuality of Large Language Models using Large-Scale Knowledge Graphs [30.179703001666173]
  大規模言語モデル(LLM)にとって、ファクチュアリティの問題は重要な問題である 我々は,かなり大きなテストデータセットを用いて,LLMの性能を評価するためにGraphEvalを提案する。 テストデータセットは、高価な人的努力なしで1000万以上の事実を持つ大規模な知識グラフから取得される。
  論文  参考訳（メタデータ） (2024-04-01T06:01:17Z)
• FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
  大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。 FAC$2$E, FAC$2$Eについて述べる。
  論文  参考訳（メタデータ） (2024-02-29T21:05:37Z)
• PiCO: Peer Review in LLMs based on the Consistency Optimization [19.130941716491716]
  ピアレビュー機構を用いて,大規模言語モデル(LLM)を自動的に測定する。 制約付き最適化問題として定式化し、各LLMの能力とスコアの一貫性を最大化することを目的としている。 我々はPEN, CIN, LISという3つの指標を提案し, ランク付けのギャップを評価する。
  論文  参考訳（メタデータ） (2024-02-02T18:49:26Z)
• Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
  本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。 SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。 このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
  論文  参考訳（メタデータ） (2024-01-02T18:53:13Z)
• T-Eval: Evaluating the Tool Utilization Capability of Large Language Models Step by Step [69.64348626180623]
  大規模言語モデル (LLM) は様々なNLPタスクにおいて顕著な性能を達成した。 LLMのツール活用能力の評価と分析方法はまだ未検討である。 ツール利用能力を段階的に評価するためにT-Evalを導入する。
  論文  参考訳（メタデータ） (2023-12-21T17:02:06Z)
• FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large Language Models in Federated Learning [70.38817963253034]
  本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。 我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。 本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
  論文  参考訳（メタデータ） (2023-09-01T09:40:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。