論文の概要: Large Language Models Engineer Too Many Simple Features For Tabular Data

• arxiv url: http://arxiv.org/abs/2410.17787v1
• Date: Wed, 23 Oct 2024 11:37:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-24 13:56:52.354239
• Title: Large Language Models Engineer Too Many Simple Features For Tabular Data
• Title（参考訳）: 大規模言語モデルエンジニアが多すぎるタブラルデータのためのシンプルな機能
• Authors: Jaris Küken, Lennart Purucker, Frank Hutter,
• Abstract要約: 大規模言語モデル (LLM) が機能工学のパフォーマンスに悪影響を及ぼすバイアスを示すかどうかを検討する。 LLMによって提案される演算子の周波数の異常を検出することにより,潜在的なバイアスを検出する手法を提案する。 以上の結果から,LSMは加法などの単純な演算子に偏りがあり,グループ化やアグリゲーションなどの複雑な演算子を利用できないことが示唆された。
• 参考スコア（独自算出の注目度）: 40.5799600333219
• License:
• Abstract: Tabular machine learning problems often require time-consuming and labor-intensive feature engineering. Recent efforts have focused on using large language models (LLMs) to capitalize on their potential domain knowledge. At the same time, researchers have observed ethically concerning negative biases in other LLM-related use cases, such as text generation. These developments motivated us to investigate whether LLMs exhibit a bias that negatively impacts the performance of feature engineering. While not ethically concerning, such a bias could hinder practitioners from fully utilizing LLMs for automated data science. Therefore, we propose a method to detect potential biases by detecting anomalies in the frequency of operators (e.g., adding two features) suggested by LLMs when engineering new features. Our experiments evaluate the bias of four LLMs, two big frontier and two small open-source models, across 27 tabular datasets. Our results indicate that LLMs are biased toward simple operators, such as addition, and can fail to utilize more complex operators, such as grouping followed by aggregations. Furthermore, the bias can negatively impact the predictive performance when using LLM-generated features. Our results call for mitigating bias when using LLMs for feature engineering.
• Abstract（参考訳）: タブラル機械学習の問題は、しばしば時間と労働集約的な特徴工学を必要とする。 近年の取り組みは、大きな言語モデル(LLM)を使用して、潜在的なドメイン知識を活用することに重点を置いている。 同時に、研究者はテキスト生成などの他のLSM関連ユースケースにおけるネガティブなバイアスについて倫理的に観察している。 これらの発展は、LLMが機能工学のパフォーマンスに悪影響を及ぼすバイアスを示すかどうかを調査する動機となった。 倫理的には関係しないが、そのようなバイアスは、実践者がLLMを自動化データサイエンスに完全に活用することを妨げる可能性がある。 そこで本研究では,LLMが提案する演算子の周波数の異常(例:2つの特徴)を検出することにより,潜在的なバイアスを検出する手法を提案する。 実験では,27のグラフデータセットに対して,4つのLDM,2つの大きなフロンティア,2つの小さなオープンソースモデルのバイアスを評価した。 以上の結果から,LSMは加法などの単純な演算子に偏りがあり,グループ化やアグリゲーションなどの複雑な演算子を利用できないことが示唆された。 さらに、LCM生成機能を使用する場合、バイアスが予測性能に悪影響を及ぼす可能性がある。 この結果から,LLMを機能工学に用いた場合のバイアス軽減が望まれる。

関連論文リスト

• Causal-Guided Active Learning for Debiasing Large Language Models [40.853803921563596]
  現在の生成型大規模言語モデル(LLM)は、それでもデータセットバイアスを捕捉し、生成に利用することができる。 従来の知識に基づくデバイアス法や微調整に基づくデバイアス法は、現在のLCMには適さない可能性がある。 LLM自体を利用して情報バイアスされたサンプルを自動かつ自律的に識別し,バイアスパターンを誘導する,カジュアル誘導型アクティブラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-23T09:46:15Z)
• Unboxing Occupational Bias: Grounded Debiasing of LLMs with U.S. Labor Data [9.90951705988724]
  大規模言語モデル(LLM)は、社会的バイアスを継承し増幅する傾向がある。 LLMバイアスは、不公平な慣行をもたらし、社会的不平等を悪化させる。
  論文  参考訳（メタデータ） (2024-08-20T23:54:26Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• Anomaly Detection of Tabular Data Using LLMs [54.470648484612866]
  我々は,事前訓練された大規模言語モデル (LLM) がゼロショットバッチレベルの異常検出器であることを示す。 本稿では,実異常検出におけるLCMの潜在性を明らかにするために,エンドツーエンドの微調整手法を提案する。
  論文  参考訳（メタデータ） (2024-06-24T04:17:03Z)
• ChatGPT Based Data Augmentation for Improved Parameter-Efficient Debiasing of LLMs [65.9625653425636]
  大型言語モデル(LLM)は有害な社会的バイアスを示す。 そこで本研究では,ChatGPTを用いて合成学習データを生成する手法を提案する。
  論文  参考訳（メタデータ） (2024-02-19T01:28:48Z)
• Pride and Prejudice: LLM Amplifies Self-Bias in Self-Refinement [75.7148545929689]
  大規模言語モデル(LLM)は、特定のタスクの自己フィードバックを通じてパフォーマンスを向上し、他のタスクを劣化させる。 我々は、LSMの自己バイアス(自称世代を好む傾向)を正式に定義する。 我々は、翻訳、制約付きテキスト生成、数学的推論の6つのLCMを解析する。
  論文  参考訳（メタデータ） (2024-02-18T03:10:39Z)
• Large Language Model (LLM) Bias Index -- LLMBI [0.0]
  LLMBI(Large Language Model Bias Index)は、大規模言語モデル(LLM)に固有のバイアスを定量化し、対処するための先駆的なアプローチである。 年齢,性別,人種的偏見に限らず,多次元の偏見を取り入れた複合スコアリングシステムを用いたLLMBIの定式化を行った。 OpenAIのAPIからの応答を用いた実証分析では,バイアス検出の代表的な方法として,高度な感情分析を採用している。
  論文  参考訳（メタデータ） (2023-12-22T15:38:13Z)
• TRACE: A Comprehensive Benchmark for Continual Learning in Large Language Models [52.734140807634624]
  調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。 既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。 LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
  論文  参考訳（メタデータ） (2023-10-10T16:38:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。