論文の概要: Evaluating Knowledge Generation and Self-Refinement Strategies for LLM-based Column Type Annotation

• arxiv url: http://arxiv.org/abs/2503.02718v1
• Date: Tue, 04 Mar 2025 15:32:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:19:54.486869
• Title: Evaluating Knowledge Generation and Self-Refinement Strategies for LLM-based Column Type Annotation
• Title（参考訳）: LLM型カラム型アノテーションにおける知識生成と自己精製戦略の評価
• Authors: Keti Korini, Christian Bizer,
• Abstract要約: 本稿では,コラム型アノテーションの知識生成と自己補充戦略を実験的に比較する。 トークン使用量とコストの両面から,F1の性能と効率の両面から,これらの戦略を評価する。
• 参考スコア（独自算出の注目度）: 2.5782420501870296
• License:
• Abstract: Understanding the semantics of columns in relational tables is an important pre-processing step for indexing data lakes in order to provide rich data search. An approach to establishing such understanding is column type annotation (CTA) where the goal is to annotate table columns with terms from a given vocabulary. This paper experimentally compares different knowledge generation and self-refinement strategies for LLM-based column type annotation. The strategies include using LLMs to generate term definitions, error-based refinement of term definitions, self-correction, and fine-tuning using examples and term definitions. We evaluate these strategies along two dimensions: effectiveness measured as F1 performance and efficiency measured in terms of token usage and cost. Our experiments show that the best performing strategy depends on the model/dataset combination. We find that using training data to generate label definitions outperforms using the same data as demonstrations for in-context learning for two out of three datasets using OpenAI models. The experiments further show that using the LLMs to refine label definitions brings an average increase of 3.9% F1 in 10 out of 12 setups compared to the performance of the non-refined definitions. Combining fine-tuned models with self-refined term definitions results in the overall highest performance, outperforming zero-shot prompting fine-tuned models by at least 3% in F1 score. The costs analysis shows that while reaching similar F1 score, self-refinement via prompting is more cost efficient for use cases requiring smaller amounts of tables to be annotated while fine-tuning is more efficient for large amounts of tables.
• Abstract（参考訳）: リレーショナルテーブルにおける列の意味を理解することは、リッチなデータ検索を提供するために、データレイクをインデックス化するための重要な前処理ステップである。 このような理解を確立するためのアプローチとして、列型アノテーション(CTA)がある。 本稿では,LLMに基づくコラム型アノテーションの知識生成と自己補充戦略を実験的に比較する。 戦略には、項定義の生成にLLMを使うこと、項定義のエラーベースの洗練、自己補正、例と項定義を用いた微調整が含まれる。 トークン使用量とコストの両面から,F1の性能と効率の両面から,これらの戦略を評価する。 我々の実験によると、最高のパフォーマンス戦略はモデル/データセットの組み合わせに依存している。 トレーニングデータを使用してラベル定義を生成すれば,OpenAIモデルを使用した3つのデータセットのうち2つに対して,コンテキスト内学習のデモとして,同じデータを使用したラベル定義のパフォーマンスが向上することがわかった。 実験により、ラベル定義の洗練にLLMを用いることで、12のセットアップ中10の10で平均3.9%のF1が増加し、非修正定義のパフォーマンスが向上することが示された。 細調整されたモデルと自己修正項の定義を組み合わせることで、全体的なパフォーマンスが向上し、F1スコアの少なくとも3%以上の微調整されたモデルがゼロショットよりも優れている。 コスト分析では、同様のF1スコアに達する一方で、プロンプトによる自己抑制は、少量のテーブルに注釈を付ける必要のあるユースケースではコスト効率が良く、大量のテーブルでは微調整の方が効率的であることが示されている。

関連論文リスト

• Column Vocabulary Association (CVA): semantic interpretation of dataless tables [0.6466206145151129]
  カラム語彙協会(英語: Column Vocabulary Association, CVA)は、メタデータ情報のみに基づく列ヘッダのセマンティックアノテーションのタスクを指す。 我々は,大規模言語モデル (LLM) や検索拡張生成 (RAG) など,CVAタスクの実行における各種手法の性能を評価する。
  論文  参考訳（メタデータ） (2024-09-06T14:58:30Z)
• AnnotatedTables: A Large Tabular Dataset with Language Model Annotations [8.602181445598776]
  本稿では,多種多様な表データのアノテーションを機械学習で自動生成する方法を示す。 LLM生成アノテーションを備えた32,119のデータベースのコレクションであるAnnotatedTablesをリリースしました。 LLMによって同定された入力ターゲット列を持つ2,720のテーブル上で,ベイジアン事前訓練を行った最近のニューラルネットワーク分類器であるTabPFNの性能評価を行った。
  論文  参考訳（メタデータ） (2024-06-24T06:44:14Z)
• TableLLM: Enabling Tabular Data Manipulation by LLMs in Real Office Usage Scenarios [51.66718740300016]
  TableLLMは80億のパラメータを持つ堅牢な大規模言語モデル(LLM)である。 TableLLMはデータ操作タスクを巧みに扱うために構築されている。 我々は、ユーザインタラクションのためのモデルチェックポイント、ソースコード、ベンチマーク、Webアプリケーションをリリースした。
  論文  参考訳（メタデータ） (2024-03-28T11:21:12Z)
• Contextual Biasing of Named-Entities with Large Language Models [12.396054621526643]
  本稿では,Large Language Models (LLM) を用いた文脈バイアスについて検討する。 LLMに追加のコンテキスト情報を提供して、自動音声認識(ASR)性能を向上する。 本稿では, バイアスリストと少数ショット例を組み込んだ再描画時に, 微調整を行なわずに, LLMのプロンプトを活用することを提案する。
  論文  参考訳（メタデータ） (2023-09-01T20:15:48Z)
• From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
  本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。 我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
  論文  参考訳（メタデータ） (2023-08-23T09:45:29Z)
• Language models are weak learners [71.33837923104808]
  本研究では,プロンプトベースの大規模言語モデルは弱い学習者として効果的に動作可能であることを示す。 これらのモデルをブースティングアプローチに組み込むことで、モデル内の知識を活用して、従来のツリーベースのブースティングよりも優れています。 結果は、プロンプトベースのLLMが、少数の学習者だけでなく、より大きな機械学習パイプラインのコンポーネントとして機能する可能性を示している。
  論文  参考訳（メタデータ） (2023-06-25T02:39:19Z)
• M-Tuning: Prompt Tuning with Mitigated Label Bias in Open-Set Scenarios [58.617025733655005]
  緩和ラベルバイアス(M-Tuning)を用いた視覚言語プロンプトチューニング手法を提案する。 これはWordNetからのオープンワードを導入し、クローズドセットラベルワードのみからもっと多くのプロンプトテキストを形成する単語の範囲を広げ、シミュレートされたオープンセットシナリオでプロンプトをチューニングする。 提案手法は,様々なスケールのデータセット上で最高の性能を達成し,広範囲にわたるアブレーション研究もその有効性を検証した。
  論文  参考訳（メタデータ） (2023-03-09T09:05:47Z)
• Ground Truth Inference for Weakly Supervised Entity Matching [76.6732856489872]
  弱監督タスクのための単純だが強力なラベル付けモデルを提案する。 次に、エンティティマッチングのタスクに特化してラベルモデルを調整します。 その結果,従来の手法よりもF1スコアが9%高い結果が得られた。
  論文  参考訳（メタデータ） (2022-11-13T17:57:07Z)
• Exploring and Evaluating Attributes, Values, and Structures for Entity Alignment [100.19568734815732]
  エンティティアライメント(EA)は、さまざまなKGから等価なエンティティをリンクすることで、リッチコンテンツの統合知識グラフ(KG)を構築することを目的としている。 属性・トリプルは重要なアライメント信号も提供できますが、まだ十分に調査されていません。 本稿では,属性値エンコーダを用いてKGをサブグラフに分割し,属性の様々なタイプを効率的にモデル化することを提案する。
  論文  参考訳（メタデータ） (2020-10-07T08:03:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。