論文の概要: Robust LLM-based Column Type Annotation via Prompt Augmentation with LoRA Tuning

• arxiv url: http://arxiv.org/abs/2512.22742v1
• Date: Sun, 28 Dec 2025 02:04:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-30 22:37:30.200081
• Title: Robust LLM-based Column Type Annotation via Prompt Augmentation with LoRA Tuning
• Title（参考訳）: LoRAチューニングによるPrompt AugmentationによるロバストLCM型カラム型アノテーション
• Authors: Hanze Meng, Jianhao Cao, Rachel Pottinger,
• Abstract要約: カラムタイプ。 CTAはスキーマアライメントとセマンティック理解を実現するための基本的なステップです。 既存のエンコーダのみの言語モデルでは,ラベル付き列を微調整すると高い精度が得られる。 本稿では,CTAのパラメータ効率向上のためのフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 0.749377967268953
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Column Type Annotation (CTA) is a fundamental step towards enabling schema alignment and semantic understanding of tabular data. Existing encoder-only language models achieve high accuracy when fine-tuned on labeled columns, but their applicability is limited to in-domain settings, as distribution shifts in tables or label spaces require costly re-training from scratch. Recent work has explored prompting generative large language models (LLMs) by framing CTA as a multiple-choice task, but these approaches face two key challenges: (1) model performance is highly sensitive to subtle changes in prompt wording and structure, and (2) annotation F1 scores remain modest. A natural extension is to fine-tune large language models. However, fully fine-tuning these models incurs prohibitive computational costs due to their scale, and the sensitivity to prompts is not eliminated. In this paper, we present a parameter-efficient framework for CTA that trains models over prompt-augmented data via Low-Rank Adaptation (LoRA). Our approach mitigates sensitivity to prompt variations while drastically reducing the number of necessary trainable parameters, achieving robust performance across datasets and templates. Experimental results on recent benchmarks demonstrate that models fine-tuned with our prompt augmentation strategy maintain stable performance across diverse prompt patterns during inference and yield higher weighted F1 scores than those fine-tuned on a single prompt template. These results highlight the effectiveness of parameter-efficient training and augmentation strategies in developing practical and adaptable CTA systems.
• Abstract（参考訳）: カラム型アノテーション(CTA)は、表データのスキーマアライメントとセマンティック理解を可能にするための基本的なステップである。 既存のエンコーダのみの言語モデルは、ラベル付きコラムで微調整された場合、高い精度を達成するが、それらの適用性は、テーブルやラベル空間における分散シフトがスクラッチからコストがかかるため、ドメイン内の設定に限られる。 最近の研究は、CTAを多重選択タスクとしてフレーミングすることで、生成可能な大規模言語モデル(LLM)の促進を検討しているが、これらのアプローチは、2つの大きな課題に直面している:(1)モデル性能は、素早い単語や構造における微妙な変化に対して非常に敏感であり、(2)アノテーションF1スコアは、控えめなままである。 自然な拡張は、大きな言語モデルを微調整することである。 しかし、これらのモデルを完全に微調整すると、スケールによって計算コストが禁止され、プロンプトに対する感度は排除されない。 本稿では,Low-Rank Adaptation (LoRA) を用いて,プロンプト拡張データ上でモデルを訓練する CTA のパラメータ効率フレームワークを提案する。 当社のアプローチは、必要なトレーニング可能なパラメータの数を劇的に削減し、データセットやテンプレート間で堅牢なパフォーマンスを実現しながら、変更を誘発する感度を軽減します。 最近のベンチマークでの実験結果から,提案手法により微調整されたモデルでは,推論中に多種多様なプロンプトパターンにまたがって安定した性能を維持し,単一のプロンプトテンプレート上で微調整されたモデルよりも高い重み付きF1スコアが得られることが示された。 これらの結果は,実用的で適応可能なCTAシステムの開発において,パラメータ効率のトレーニングと拡張戦略の有効性を強調した。

関連論文リスト

• High-Rank Structured Modulation for Parameter-Efficient Fine-Tuning [57.85676271833619]
  低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。 textbfStructured textbfMOdulation textbfAdapterは、より高いランクを維持しながらトレーニング可能なパラメータを少なくする。
  論文  参考訳（メタデータ） (2026-01-12T13:06:17Z)
• TsqLoRA: Towards Sensitivity and Quality Low-Rank Adaptation for Efficient Fine-Tuning [8.738094135297786]
  ダウンストリームタスクのための微調整済みの大規模な事前学習モデルは、計算コストが高く、メモリ集約的である。 TsqLoRAは、データ品質駆動選択と感度認識低ランク適応を統合した新しい手法である。 実験の結果、TsqLoRAは様々なNLPタスクの性能を維持したり改善したりしながら、微調整効率を向上することが示された。
  論文  参考訳（メタデータ） (2025-09-23T03:10:41Z)
• Towards Generalizable Trajectory Prediction Using Dual-Level Representation Learning And Adaptive Prompting [107.4034346788744]
  既存の車両軌道予測モデルは、一般化可能性、予測の不確実性、複雑な相互作用を扱う。 本研究では,(1)自己拡張(SD)とマスドレコンストラクション(MR)による二重レベル表現学習,グローバルコンテキストと細部の詳細の収集,(2)レジスタベースのクエリと事前学習の強化,クラスタリングと抑圧の必要性の排除,(3)微調整中の適応型プロンプトチューニング,メインアーキテクチャの凍結,および少数のプロンプトの最適化といった,新たなトラジェクタ予測フレームワークであるPerceiverを提案する。
  論文  参考訳（メタデータ） (2025-01-08T20:11:09Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• Accelerating Large Language Model Pretraining via LFR Pedagogy: Learn, Focus, and Review [50.78587571704713]
  Learn-Focus-Review(LFR)は、モデルの学習進捗に適応する動的トレーニングアプローチである。 LFRは、データブロック(トークンのシーケンス)にわたるモデルの学習パフォーマンスを追跡し、データセットの困難な領域を再検討する。 フルデータセットでトレーニングされたベースラインモデルと比較して、LFRは一貫して低いパープレキシティと高い精度を達成した。
  論文  参考訳（メタデータ） (2024-09-10T00:59:18Z)
• Towards Efficient Vision-Language Tuning: More Information Density, More Generalizability [73.34532767873785]
  本稿では,行列が特定の特徴空間に強く属しているかを示すために,情報密度(ID)の概念を提案する。 Dense Information Prompt (DIP)を導入し、情報密度を高め、一般化を改善する。 DIPは、調整可能なパラメータの数と必要なストレージスペースを大幅に減らし、リソース制約のある設定で特に有利になる。
  論文  参考訳（メタデータ） (2023-12-17T20:42:43Z)
• Uncertainty-aware Parameter-Efficient Self-training for Semi-supervised Language Understanding [38.11411155621616]
  我々は,主に半教師あり学習の手法として,自己学習について研究している。 我々は,新しい不確かさを意識した自己学習フレームワークであるUPETを紹介する。 UPETは性能と効率の面で大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2023-10-19T02:18:29Z)
• Quantifying Language Models' Sensitivity to Spurious Features in Prompt Design or: How I learned to start worrying about prompt formatting [68.19544657508509]
  言語モデル(LLM)は、言語技術の基本コンポーネントとして採用されている。 いくつかの広く使われているオープンソースLLMは、数ショット設定でプロンプトフォーマットの微妙な変更に対して非常に敏感であることがわかった。 本稿では,与えられたタスクに対して有効なプロンプトフォーマットのサンプルセットを迅速に評価するアルゴリズムを提案し,モデル重み付けにアクセスせずに期待性能の間隔を報告する。
  論文  参考訳（メタデータ） (2023-10-17T15:03:30Z)
• Sorted LLaMA: Unlocking the Potential of Intermediate Layers of Large Language Models for Dynamic Inference [32.62084449979531]
  SortedNet を Sorted Fine-Tuning (SoFT) に置き換えることで生成 NLP タスクに拡張する。 我々のアプローチはモデル効率を向上し、推論中に様々なシナリオに対する複数のモデルの必要性を排除します。 以上の結果から,SFT+ICT(Early-Exit)と標準ファインチューニング(SFT+ICT)と比較して,サブモデルの優れた性能を示す。
  論文  参考訳（メタデータ） (2023-09-16T11:58:34Z)
• DSEE: Dually Sparsity-embedded Efficient Tuning of Pre-trained Language Models [152.29364079385635]
  事前訓練されたモデルが大きくなればなるほど、微調整のプロセスは時間がかかり、計算コストがかかる可能性がある。 本稿では,重み更新と最終モデルの重み付けに先立って,疎度を活用することで,資源・パラメータ効率の微調整を行うフレームワークを提案する。 提案するフレームワークは,Dually Sparsity-Embeded Efficient Tuning (DSEE)と呼ばれ,パラメータ効率のよい微調整とリソース効率の推論という2つの重要な目標を達成することを目的としている。
  論文  参考訳（メタデータ） (2021-10-30T03:29:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。