論文の概要: LLM-Select: Feature Selection with Large Language Models

• arxiv url: http://arxiv.org/abs/2407.02694v1
• Date: Tue, 2 Jul 2024 22:23:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 18:04:33.723350
• Title: LLM-Select: Feature Selection with Large Language Models
• Title（参考訳）: LLM-Select:大規模言語モデルによる特徴選択
• Authors: Daniel P. Jeong, Zachary C. Lipton, Pradeep Ravikumar,
• Abstract要約: 大規模言語モデル(LLM)は、データサイエンスの標準ツールに匹敵するパフォーマンスで、最も予測可能な機能を選択することができる。 以上の結果から,LSMはトレーニングに最適な機能を選択するだけでなく,そもそもどの機能を収集すべきかを判断する上でも有用である可能性が示唆された。
• 参考スコア（独自算出の注目度）: 64.5099482021597
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we demonstrate a surprising capability of large language models (LLMs): given only input feature names and a description of a prediction task, they are capable of selecting the most predictive features, with performance rivaling the standard tools of data science. Remarkably, these models exhibit this capacity across various query mechanisms. For example, we zero-shot prompt an LLM to output a numerical importance score for a feature (e.g., "blood pressure") in predicting an outcome of interest (e.g., "heart failure"), with no additional context. In particular, we find that the latest models, such as GPT-4, can consistently identify the most predictive features regardless of the query mechanism and across various prompting strategies. We illustrate these findings through extensive experiments on real-world data, where we show that LLM-based feature selection consistently achieves strong performance competitive with data-driven methods such as the LASSO, despite never having looked at the downstream training data. Our findings suggest that LLMs may be useful not only for selecting the best features for training but also for deciding which features to collect in the first place. This could potentially benefit practitioners in domains like healthcare, where collecting high-quality data comes at a high cost.
• Abstract（参考訳）: 本稿では,大言語モデル(LLM)の驚くべき機能を示す。入力特徴名と予測タスクの記述のみを与えられた場合,データサイエンスの標準ツールに匹敵する性能で,最も予測可能な特徴を選択することができる。 注目すべきは、これらのモデルは、様々なクエリメカニズムにまたがって、この能力を示すことだ。 例えば、ゼロショットはLCMに対して、追加の文脈なしで興味の結果(例えば「ハート障害」)を予測する際に特徴(例えば「血液圧」)の数値的重要性スコアを出力するように促します。 特に、GPT-4のような最新のモデルでは、クエリメカニズムや様々なプロンプト戦略によらず、常に最も予測可能な特徴を識別できることがわかった。 そこで,LLMに基づく特徴選択は,下流のトレーニングデータを見たことがなくとも,LASSOのようなデータ駆動手法と競合する強力な性能を実現することを示す。 以上の結果から,LSMはトレーニングに最適な機能を選択するだけでなく,そもそもどの機能を収集すべきかを判断する上でも有用である可能性が示唆された。 これは、高品質なデータを収集する医療などの分野の実践者にとって、高いコストがかかる可能性がある。

関連論文リスト

• Exploring Large Language Models for Feature Selection: A Data-centric Perspective [17.99621520553622]
  大規模言語モデル(LLM)は様々なドメインに影響を与え、例外的な少数ショットとゼロショットの学習機能を活用している。 我々は,データ中心の観点からLLMに基づく特徴選択手法を探求し,理解することを目指している。 本研究は,テキストベースの特徴選択手法の有効性とロバスト性を強調し,実世界の医療応用を用いてその可能性を示す。
  論文  参考訳（メタデータ） (2024-08-21T22:35:19Z)
• Rethinking Pre-trained Feature Extractor Selection in Multiple Instance Learning for Whole Slide Image Classification [2.6703221234079946]
  複数インスタンス学習(MIL)は、パッチレベルのアノテーションを必要とせずに、ギガピクセル全体のスライド画像(WSI)分類に好まれる方法となっている。 本研究では,3次元のMIL特徴抽出器(事前学習データセット,バックボーンモデル,事前学習手法)を体系的に評価する。 この結果から,堅牢な自己教師付き学習(SSL)手法の選択は,ドメイン内事前学習データセットのみに依存するよりも,パフォーマンスに大きな影響を与えることが明らかとなった。
  論文  参考訳（メタデータ） (2024-08-02T10:34:23Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• Large Language Models Can Automatically Engineer Features for Few-Shot Tabular Learning [35.03338699349037]
  本稿では,機能エンジニアとして大規模言語モデルを用いる新しい文脈内学習フレームワークFeatLLMを提案する。 FeatLLMは高品質なルールを生成し、TabLLMやSTUNTなどよりも大幅に(平均で10%)優れている。
  論文  参考訳（メタデータ） (2024-04-15T06:26:08Z)
• LESS: Selecting Influential Data for Targeted Instruction Tuning [64.78894228923619]
  本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。 LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。 我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
  論文  参考訳（メタデータ） (2024-02-06T19:18:04Z)
• Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
  本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。 SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。 このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
  論文  参考訳（メタデータ） (2024-01-02T18:53:13Z)
• From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
  本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。 我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
  論文  参考訳（メタデータ） (2023-08-23T09:45:29Z)
• Utilizing Semantic Textual Similarity for Clinical Survey Data Feature Selection [4.5574502769585745]
  調査データから結果を予測する機械学習モデルは、過度に適合し、結果として一般化性が低下する可能性がある。 この機能の選択は、学習する機能の最適なサブセットを選択しようとするものだ。 特徴名と対象名の関係を言語モデル(LM)を用いて評価し,意味的テキスト類似度(STS)スコアを生成する。 STSを用いて最小冗長-最大関連性(mRMR)アルゴリズムで特徴を直接選択する性能について検討する。
  論文  参考訳（メタデータ） (2023-08-19T03:10:51Z)
• Large Language Model as Attributed Training Data Generator: A Tale of Diversity and Bias [92.41919689753051]
  大規模言語モデル(LLM)は、最近、様々な自然言語処理(NLP)タスクのためのトレーニングデータジェネレータとして活用されている。 本稿では,多様な属性を持つプロンプトを用いたトレーニングデータ生成について検討する。 属性付きプロンプトは、結果のモデルの性能の観点から、単純なクラス条件プロンプトより優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-28T03:31:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。