論文の概要: Transfer Learning of Tabular Data by Finetuning Large Language Models

• arxiv url: http://arxiv.org/abs/2501.06863v1
• Date: Sun, 12 Jan 2025 16:23:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-14 14:29:40.945388
• Title: Transfer Learning of Tabular Data by Finetuning Large Language Models
• Title（参考訳）: 大規模言語モデルの微調整による語彙データの伝達学習
• Authors: Shourav B. Rabbani, Ibna Kowsar, Manar D. Samad,
• Abstract要約: 本稿では,アプリケーションプログラミングインタフェース(API)の有効性と大規模言語モデル(LLM)の伝達学習について検討する。 LLM APIは、トークン化されたデータと命令で入力テキストプロンプトに応答するが、転送学習は、目標の分類タスクのためにLLMを微調整する。 本稿では,10個のベンチマークデータセット上でのクロスデータ転送学習を実証するために,LLMのエンドツーエンドの微調整を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Despite the artificial intelligence (AI) revolution, deep learning has yet to achieve much success with tabular data due to heterogeneous feature space and limited sample sizes without viable transfer learning. The new era of generative AI, powered by large language models (LLM), brings unprecedented learning opportunities to diverse data and domains. This paper investigates the effectiveness of an LLM application programming interface (API) and transfer learning of LLM in tabular data classification. LLM APIs respond to input text prompts with tokenized data and instructions, whereas transfer learning finetunes an LLM for a target classification task. This paper proposes an end-to-end finetuning of LLM to demonstrate cross-data transfer learning on ten benchmark data sets when large pre-trained tabular data models do not exist to facilitate transfer learning. The proposed LLM finetuning method outperforms state-of-the-art machine and deep learning methods on tabular data with less than ten features - a standard feature size for tabular data sets. The transfer learning approach uses a fraction of the computational cost of other deep learning or API-based solutions while ensuring competitive or superior classification performance.
• Abstract（参考訳）: 人工知能(AI)革命にもかかわらず、ヘテロジニアスな特徴空間と限られたサンプルサイズのため、ディープラーニングは表計算データではまだ成功していない。 大規模言語モデル(LLM)を活用した新しい生成AIの時代は、さまざまなデータやドメインに前例のない学習機会をもたらす。 本稿では LLM アプリケーションプログラミングインタフェース (API) の有効性と表型データ分類における LLM の伝達学習について検討する。 LLM APIは、トークン化されたデータと命令で入力テキストプロンプトに応答するが、転送学習は、目標の分類タスクのためにLLMを微調整する。 本稿では,10個のベンチマークデータセットに対して,大きな事前学習された表型データモデルが存在しない場合に,データ転送学習を行うためのLLMのエンドツーエンドの微調整を提案する。 提案手法は,10機能未満の表層データに対して,最先端マシンや深層学習よりも優れ,表層データセットの標準的な特徴量である。 トランスファーラーニングアプローチは、競合性や優れた分類性能を確保しつつ、他のディープラーニングやAPIベースのソリューションの計算コストの一部を使用します。

関連論文リスト

• Scalable In-Context Learning on Tabular Data via Retrieval-Augmented Large Language Models [15.603556124006479]
  拡張性のあるTabICLのための検索拡張言語モデルを提案する。 提案手法では,LLMのための検索誘導型命令チューニングと合わせて,検索モジュールをカスタマイズする。 これにより、LLMはより大きなデータセットを効果的に活用することができ、69の広く認識されているデータセット間での大幅なパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2025-02-05T13:16:41Z)
• Learning with Less: Knowledge Distillation from Large Language Models via Unlabeled Data [54.934578742209716]
  現実世界のNLPアプリケーションでは、Large Language Models (LLMs) は巨大なデータセットの広範なトレーニングのために、有望なソリューションを提供する。 LLKDは、教師と学生の両方の信号を組み込んだ適応的なサンプル選択法である。 総合的な実験により,LLKDは高いデータ効率で,様々なデータセットで優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-11-12T18:57:59Z)
• Tabular Transfer Learning via Prompting LLMs [52.96022335067357]
  大規模言語モデル(LLM)を用いたラベル付き(あるいは異種)ソースデータを利用した新しいフレームワークPrompt to Transfer (P2T)を提案する。 P2Tは、ターゲットタスク機能と強く相関しているソースデータセットの列の特徴を特定し、ターゲットタスクに関連する例を作成し、プロンプトの擬似宣言を生成する。
  論文  参考訳（メタデータ） (2024-08-09T11:30:52Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• Large Language Models Can Automatically Engineer Features for Few-Shot Tabular Learning [35.03338699349037]
  本稿では,機能エンジニアとして大規模言語モデルを用いる新しい文脈内学習フレームワークFeatLLMを提案する。 FeatLLMは高品質なルールを生成し、TabLLMやSTUNTなどよりも大幅に(平均で10%)優れている。
  論文  参考訳（メタデータ） (2024-04-15T06:26:08Z)
• Elephants Never Forget: Memorization and Learning of Tabular Data in Large Language Models [21.10890310571397]
  大規模言語モデル (LLM) は様々なタスクに適用できるが、データ汚染と記憶の重大な問題はしばしば誇張される。 この研究は、トレーニング中に言語モデルがデータセットを見たかどうかを評価するためのさまざまなテクニックを導入している。 次に、トレーニング中に見られたデータセット上でのLLMの数発の学習性能と、トレーニング後にリリースされたデータセットのパフォーマンスを比較した。
  論文  参考訳（メタデータ） (2024-04-09T10:58:21Z)
• Unlearn What You Want to Forget: Efficient Unlearning for LLMs [92.51670143929056]
  大規模言語モデル(LLM)は、幅広いテキストデータを事前学習し記憶することで大きな進歩を遂げた。 このプロセスはプライバシー問題やデータ保護規則違反に悩まされる可能性がある。 データ削除後のモデル全体を再トレーニングすることなく、LLMを効率的に更新できる効率的なアンラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-31T03:35:59Z)
• MLLM-DataEngine: An Iterative Refinement Approach for MLLM [62.30753425449056]
  本稿では,データ生成,モデルトレーニング,評価を橋渡しする新しいクローズドループシステムを提案する。 各ループ内で、MLLM-DataEngineはまず評価結果に基づいてモデルの弱点を分析する。 ターゲットとして,異なる種類のデータの比率を調整する適応型バッドケースサンプリングモジュールを提案する。 品質については、GPT-4を用いて、各データタイプで高品質なデータを生成する。
  論文  参考訳（メタデータ） (2023-08-25T01:41:04Z)
• From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
  本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。 我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
  論文  参考訳（メタデータ） (2023-08-23T09:45:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。