論文の概要: LLM Attention Transplant for Transfer Learning of Tabular Data Across Disparate Domains

• arxiv url: http://arxiv.org/abs/2511.06161v1
• Date: Sat, 08 Nov 2025 23:05:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-11 21:18:44.785539
• Title: LLM Attention Transplant for Transfer Learning of Tabular Data Across Disparate Domains
• Title（参考訳）: 異なる領域にまたがる語彙データの伝達学習のためのLLM注意移植
• Authors: Ibna Kowsar, Kazi F. Akhter, Manar D. Samad,
• Abstract要約: 本稿では,テーブルに構造化された混合データ型の学習を伝達するための軽量な伝達学習フレームワークを提案する。 10組のソース・ターゲット・データセットと12のベースラインを用いた実験により,トランスファー学習におけるLLM-アテンション・トランスポーテーションの優位性を実証した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Transfer learning of tabular data is non-trivial due to heterogeneity in the feature space across disparate domains. The limited success of traditional deep learning in tabular knowledge transfer can be advanced by leveraging large language models (LLMs). However, the efficacy of LLMs often stagnates for mixed data types structured in tables due to the limitations of text prompts and in-context learning. We propose a lightweight transfer learning framework that fine-tunes an LLM using source tabular data and transplants the LLM's selective $key$ and $value$ projection weights into a gated feature tokenized transformer (gFTT) built for tabular data. The gFTT model with cross-domain attention is fine-tuned using target tabular data for transfer learning, eliminating the need for shared features, LLM prompt engineering, and large-scale pretrained models. Our experiments using ten pairs of source-target data sets and 12 baselines demonstrate the superiority of the proposed LLM-attention transplant for transfer learning (LATTLE) method over traditional ML models, state-of-the-art deep tabular architectures, and transfer learning models trained on thousands to billions of tabular samples. The proposed attention transfer demonstrates an effective solution to learning relationships between data tables using an LLM in a low-resource learning environment. The source code for the proposed method is publicly available.
• Abstract（参考訳）: 表形式のデータの転送学習は、異なる領域にまたがる特徴空間における不均一性のため、非自明である。 表の知識伝達における伝統的なディープラーニングの限られた成功は、大きな言語モデル(LLMs)を活用することで前進することができる。 しかし、テキストプロンプトやテキスト内学習の制限により、表に構造化された混合データ型に対してLLMの有効性は停滞することが多い。 そこで本稿では,LLMが選択した$key$と$value$のプロジェクション重みを,グラフデータ用に構築したゲート機能トークン化トランスフォーマ(gFTT)に移植する,軽量な転送学習フレームワークを提案する。 ドメイン間関心を持つgFTTモデルは、伝達学習のためのターゲット表データを用いて微調整され、共有機能、LLMプロンプトエンジニアリング、大規模事前訓練モデルの必要性がなくなる。 10組のソース・ターゲット・データセットと12のベースラインを用いた実験により,従来のMLモデル,最先端の深い表層構造,数千から数十億の表層サンプルで訓練された伝達学習モデルよりも,LATTLE法の方が優れていることが示された。 提案手法は,低リソース学習環境におけるLLMを用いたデータテーブル間の関係の学習に有効な手法であることを示す。 提案手法のソースコードが公開されている。

関連論文リスト

• Distilling Transitional Pattern to Large Language Models for Multimodal Session-based Recommendation [67.84581846180458]
  セッションベースのレコメンデーション(SBR)は、匿名セッションに基づいて次の項目を予測する。 近年のMultimodal SBR法は、モダリティ学習に単純化された事前学習モデルを用いるが、セマンティック・リッチネスに制限がある。 蒸留パラダイムを拡張し,MSBRの促進のための遷移パターンを分離・整合させる多モードLCM拡張フレームワークTPADを提案する。
  論文  参考訳（メタデータ） (2025-04-13T07:49:08Z)
• LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
  LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
  論文  参考訳（メタデータ） (2025-02-15T02:55:22Z)
• Scalable In-Context Learning on Tabular Data via Retrieval-Augmented Large Language Models [15.603556124006479]
  拡張性のあるTabICLのための検索拡張言語モデルを提案する。 提案手法では,LLMのための検索誘導型命令チューニングと合わせて,検索モジュールをカスタマイズする。 これにより、LLMはより大きなデータセットを効果的に活用することができ、69の広く認識されているデータセット間での大幅なパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2025-02-05T13:16:41Z)
• Transfer Learning of Tabular Data by Finetuning Large Language Models [0.0]
  本稿では,アプリケーションプログラミングインタフェース(API)の有効性と大規模言語モデル(LLM)の伝達学習について検討する。 LLM APIは、トークン化されたデータと命令で入力テキストプロンプトに応答するが、転送学習は、目標の分類タスクのためにLLMを微調整する。 本稿では,10個のベンチマークデータセット上でのクロスデータ転送学習を実証するために,LLMのエンドツーエンドの微調整を提案する。
  論文  参考訳（メタデータ） (2025-01-12T16:23:18Z)
• Tabular Transfer Learning via Prompting LLMs [52.96022335067357]
  大規模言語モデル(LLM)を用いたラベル付き(あるいは異種)ソースデータを利用した新しいフレームワークPrompt to Transfer (P2T)を提案する。 P2Tは、ターゲットタスク機能と強く相関しているソースデータセットの列の特徴を特定し、ターゲットタスクに関連する例を作成し、プロンプトの擬似宣言を生成する。
  論文  参考訳（メタデータ） (2024-08-09T11:30:52Z)
• Large Language Models Can Automatically Engineer Features for Few-Shot Tabular Learning [35.03338699349037]
  本稿では,機能エンジニアとして大規模言語モデルを用いる新しい文脈内学習フレームワークFeatLLMを提案する。 FeatLLMは高品質なルールを生成し、TabLLMやSTUNTなどよりも大幅に(平均で10%)優れている。
  論文  参考訳（メタデータ） (2024-04-15T06:26:08Z)
• Curated LLM: Synergy of LLMs and Data Curation for tabular augmentation in low-data regimes [57.62036621319563]
  本稿では,Large Language Models (LLMs) の知識を低データ構造におけるデータ拡張に活用したCLLMを紹介する。 従来のジェネレータと比較して,低データ方式におけるCLLMの優れた性能を示す。
  論文  参考訳（メタデータ） (2023-12-19T12:34:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。