論文の概要: Robust LLM-based Column Type Annotation via Prompt Augmentation with LoRA Tuning

• arxiv url: http://arxiv.org/abs/2512.22742v1
• Date: Sun, 28 Dec 2025 02:04:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-30 22:37:30.200081
• Title: Robust LLM-based Column Type Annotation via Prompt Augmentation with LoRA Tuning
• Title（参考訳）: LoRAチューニングによるPrompt AugmentationによるロバストLCM型カラム型アノテーション
• Authors: Hanze Meng, Jianhao Cao, Rachel Pottinger,
• Abstract要約: カラムタイプ。 CTAはスキーマアライメントとセマンティック理解を実現するための基本的なステップです。 既存のエンコーダのみの言語モデルでは,ラベル付き列を微調整すると高い精度が得られる。 本稿では,CTAのパラメータ効率向上のためのフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 0.749377967268953
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Column Type Annotation (CTA) is a fundamental step towards enabling schema alignment and semantic understanding of tabular data. Existing encoder-only language models achieve high accuracy when fine-tuned on labeled columns, but their applicability is limited to in-domain settings, as distribution shifts in tables or label spaces require costly re-training from scratch. Recent work has explored prompting generative large language models (LLMs) by framing CTA as a multiple-choice task, but these approaches face two key challenges: (1) model performance is highly sensitive to subtle changes in prompt wording and structure, and (2) annotation F1 scores remain modest. A natural extension is to fine-tune large language models. However, fully fine-tuning these models incurs prohibitive computational costs due to their scale, and the sensitivity to prompts is not eliminated. In this paper, we present a parameter-efficient framework for CTA that trains models over prompt-augmented data via Low-Rank Adaptation (LoRA). Our approach mitigates sensitivity to prompt variations while drastically reducing the number of necessary trainable parameters, achieving robust performance across datasets and templates. Experimental results on recent benchmarks demonstrate that models fine-tuned with our prompt augmentation strategy maintain stable performance across diverse prompt patterns during inference and yield higher weighted F1 scores than those fine-tuned on a single prompt template. These results highlight the effectiveness of parameter-efficient training and augmentation strategies in developing practical and adaptable CTA systems.
• Abstract（参考訳）: カラム型アノテーション(CTA)は、表データのスキーマアライメントとセマンティック理解を可能にするための基本的なステップである。 既存のエンコーダのみの言語モデルは、ラベル付きコラムで微調整された場合、高い精度を達成するが、それらの適用性は、テーブルやラベル空間における分散シフトがスクラッチからコストがかかるため、ドメイン内の設定に限られる。 最近の研究は、CTAを多重選択タスクとしてフレーミングすることで、生成可能な大規模言語モデル(LLM)の促進を検討しているが、これらのアプローチは、2つの大きな課題に直面している:(1)モデル性能は、素早い単語や構造における微妙な変化に対して非常に敏感であり、(2)アノテーションF1スコアは、控えめなままである。 自然な拡張は、大きな言語モデルを微調整することである。 しかし、これらのモデルを完全に微調整すると、スケールによって計算コストが禁止され、プロンプトに対する感度は排除されない。 本稿では,Low-Rank Adaptation (LoRA) を用いて,プロンプト拡張データ上でモデルを訓練する CTA のパラメータ効率フレームワークを提案する。 当社のアプローチは、必要なトレーニング可能なパラメータの数を劇的に削減し、データセットやテンプレート間で堅牢なパフォーマンスを実現しながら、変更を誘発する感度を軽減します。 最近のベンチマークでの実験結果から,提案手法により微調整されたモデルでは,推論中に多種多様なプロンプトパターンにまたがって安定した性能を維持し,単一のプロンプトテンプレート上で微調整されたモデルよりも高い重み付きF1スコアが得られることが示された。 これらの結果は,実用的で適応可能なCTAシステムの開発において,パラメータ効率のトレーニングと拡張戦略の有効性を強調した。

関連論文リスト

• Towards Generalizable Trajectory Prediction Using Dual-Level Representation Learning And Adaptive Prompting [107.4034346788744]
  既存の車両軌道予測モデルは、一般化可能性、予測の不確実性、複雑な相互作用を扱う。 本研究では,(1)自己拡張(SD)とマスドレコンストラクション(MR)による二重レベル表現学習,グローバルコンテキストと細部の詳細の収集,(2)レジスタベースのクエリと事前学習の強化,クラスタリングと抑圧の必要性の排除,(3)微調整中の適応型プロンプトチューニング,メインアーキテクチャの凍結,および少数のプロンプトの最適化といった,新たなトラジェクタ予測フレームワークであるPerceiverを提案する。
  論文  参考訳（メタデータ） (2025-01-08T20:11:09Z)
• Towards Efficient Vision-Language Tuning: More Information Density, More Generalizability [73.34532767873785]
  本稿では,行列が特定の特徴空間に強く属しているかを示すために,情報密度(ID)の概念を提案する。 Dense Information Prompt (DIP)を導入し、情報密度を高め、一般化を改善する。 DIPは、調整可能なパラメータの数と必要なストレージスペースを大幅に減らし、リソース制約のある設定で特に有利になる。
  論文  参考訳（メタデータ） (2023-12-17T20:42:43Z)
• Quantifying Language Models' Sensitivity to Spurious Features in Prompt Design or: How I learned to start worrying about prompt formatting [68.19544657508509]
  言語モデル(LLM)は、言語技術の基本コンポーネントとして採用されている。 いくつかの広く使われているオープンソースLLMは、数ショット設定でプロンプトフォーマットの微妙な変更に対して非常に敏感であることがわかった。 本稿では,与えられたタスクに対して有効なプロンプトフォーマットのサンプルセットを迅速に評価するアルゴリズムを提案し,モデル重み付けにアクセスせずに期待性能の間隔を報告する。
  論文  参考訳（メタデータ） (2023-10-17T15:03:30Z)
• Sorted LLaMA: Unlocking the Potential of Intermediate Layers of Large Language Models for Dynamic Inference [32.62084449979531]
  SortedNet を Sorted Fine-Tuning (SoFT) に置き換えることで生成 NLP タスクに拡張する。 我々のアプローチはモデル効率を向上し、推論中に様々なシナリオに対する複数のモデルの必要性を排除します。 以上の結果から,SFT+ICT(Early-Exit)と標準ファインチューニング(SFT+ICT)と比較して,サブモデルの優れた性能を示す。
  論文  参考訳（メタデータ） (2023-09-16T11:58:34Z)
• DSEE: Dually Sparsity-embedded Efficient Tuning of Pre-trained Language Models [152.29364079385635]
  事前訓練されたモデルが大きくなればなるほど、微調整のプロセスは時間がかかり、計算コストがかかる可能性がある。 本稿では,重み更新と最終モデルの重み付けに先立って,疎度を活用することで,資源・パラメータ効率の微調整を行うフレームワークを提案する。 提案するフレームワークは,Dually Sparsity-Embeded Efficient Tuning (DSEE)と呼ばれ,パラメータ効率のよい微調整とリソース効率の推論という2つの重要な目標を達成することを目的としている。
  論文  参考訳（メタデータ） (2021-10-30T03:29:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。