論文の概要: Evaluating Language Models on Entity Disambiguation in Tables
- arxiv url: http://arxiv.org/abs/2408.06423v1
- Date: Mon, 12 Aug 2024 18:01:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-14 19:38:59.928784
- Title: Evaluating Language Models on Entity Disambiguation in Tables
- Title(参考訳): テーブルにおけるエンティティの曖昧さに基づく言語モデルの評価
- Authors: Federico Belotti, Fabio Dadda, Marco Cremaschi, Roberto Avogadro, Riccardo Pozzi, Matteo Palmonari,
- Abstract要約: 本研究は,意味表解釈(STI)に対する4つのSOTA(State-of-the-art)アプローチの広範な評価を提案する。
最初の2つはアルゴリズムのファミリーに属し、もう1つはエンコーダのみのLLMとデコーダのみのLLMである。
主な目的は、分野における新たな研究パスをチャート化することを目的として、エンティティの曖昧さを解消するためのこれらのアプローチの能力を測定することである。
- 参考スコア(独自算出の注目度): 0.923607423080658
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Tables are crucial containers of information, but understanding their meaning may be challenging. Indeed, recently, there has been a focus on Semantic Table Interpretation (STI), i.e., the task that involves the semantic annotation of tabular data to disambiguate their meaning. Over the years, there has been a surge in interest in data-driven approaches based on deep learning that have increasingly been combined with heuristic-based approaches. In the last period, the advent of Large Language Models (LLMs) has led to a new category of approaches for table annotation. The interest in this research field, characterised by multiple challenges, has led to a proliferation of approaches employing different techniques. However, these approaches have not been consistently evaluated on a common ground, making evaluation and comparison difficult. This work proposes an extensive evaluation of four state-of-the-art (SOTA) approaches - Alligator (formerly s-elBat), Dagobah, TURL, and TableLlama; the first two belong to the family of heuristic-based algorithms, while the others are respectively encoder-only and decoder-only LLMs. The primary objective is to measure the ability of these approaches to solve the entity disambiguation task, with the ultimate aim of charting new research paths in the field.
- Abstract(参考訳): テーブルは情報の重要なコンテナだが、その意味を理解することは難しいかもしれない。
実際、最近ではセマンティックテーブル解釈(STI:Semantic Table Interpretation)に焦点が当てられている。
長年にわたって、深層学習に基づくデータ駆動アプローチへの関心が高まってきた。
最終時代において、LLM(Large Language Models)の出現は、テーブルアノテーションのための新しいカテゴリのアプローチにつながった。
この研究分野への関心は、複数の課題によって特徴づけられ、異なる手法を用いたアプローチの急増につながっている。
しかし、これらのアプローチは共通の根拠で一貫して評価されておらず、評価と比較が困難である。
本研究は、アリゲータ(元s-elBat)、ダゴバ、TURL、TableLlamaの4つの最先端(SOTA)アプローチを広範囲に評価することを提案する。
主な目的は、分野における新たな研究パスをチャート化することを目的として、エンティティの曖昧さを解消するためのこれらのアプローチの能力を測定することである。
関連論文リスト
- H-STAR: LLM-driven Hybrid SQL-Text Adaptive Reasoning on Tables [56.73919743039263]
タブラル推論では、構造化テーブルに対して非構造化クエリを解釈する。
文的推論は意味論的解釈では優れているが、数学的推論では不足する。
本稿では,テーブル抽出と適応推論を含む新しいアルゴリズムH-STARを提案する。
論文 参考訳(メタデータ) (2024-06-29T21:24:19Z) - Interpetable Target-Feature Aggregation for Multi-Task Learning based on Bias-Variance Analysis [53.38518232934096]
マルチタスク学習(MTL)は、タスク間の共有知識を活用し、一般化とパフォーマンスを改善するために設計された強力な機械学習パラダイムである。
本稿では,タスククラスタリングと特徴変換の交点におけるMTL手法を提案する。
両段階において、鍵となる側面は減った目標と特徴の解釈可能性を維持することである。
論文 参考訳(メタデータ) (2024-06-12T08:30:16Z) - Frequency-based Matcher for Long-tailed Semantic Segmentation [22.199174076366003]
我々は、比較的未探索なタスク設定、長い尾のセマンティックセマンティックセグメンテーション(LTSS)に焦点を当てる。
本稿では,セマンティックセグメンテーション手法と長鎖解の性能を示すために,二値評価システムを提案し,LTSSベンチマークを構築した。
また,1対1のマッチングによって過剰な圧縮問題を解決する周波数ベースのマーカであるLTSSを改善するトランスフォーマーベースのアルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-06-06T09:57:56Z) - Deep Learning-Based Object Pose Estimation: A Comprehensive Survey [73.74933379151419]
ディープラーニングに基づくオブジェクトポーズ推定の最近の進歩について論じる。
また、複数の入力データモダリティ、出力ポーズの自由度、オブジェクト特性、下流タスクについても調査した。
論文 参考訳(メタデータ) (2024-05-13T14:44:22Z) - Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
本稿では,新しい評価手法SQC-Scoreを提案する。
主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。
3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
論文 参考訳(メタデータ) (2024-04-04T15:36:53Z) - Wiki-TabNER:Advancing Table Interpretation Through Named Entity
Recognition [19.423556742293762]
TIタスクの評価に広く用いられているベンチマークデータセットを分析した。
この欠点を克服するため、我々はより困難なデータセットを構築し、注釈付けします。
本稿では,新たに開発された大規模言語モデルを評価するためのプロンプトフレームワークを提案する。
論文 参考訳(メタデータ) (2024-03-07T15:22:07Z) - Low-shot Object Learning with Mutual Exclusivity Bias [27.67152913041082]
本稿では,相互排他バイアスの計算フレーミングであるLSME(Low-shot Object Learning with Mutual Exclusivity Bias)を紹介する。
我々は、MLコミュニティがこの挑戦的な学習課題に対処できるように、新しいデータセット、包括的なベースライン、最先端の手法を提供する。
論文 参考訳(メタデータ) (2023-12-06T14:54:10Z) - A Critical Re-evaluation of Benchmark Datasets for (Deep) Learning-Based
Matching Algorithms [11.264467955516706]
確立された13のデータセットの難易度と適切性を評価するための4つの手法を提案する。
一般的なデータセットの多くは、かなり簡単な分類タスクを処理している。
ベンチマークデータセットを得るための新しい手法を提案する。
論文 参考訳(メタデータ) (2023-07-03T07:54:54Z) - Recent Few-Shot Object Detection Algorithms: A Survey with Performance
Comparison [54.357707168883024]
Few-Shot Object Detection (FSOD)は、人間の学習能力を模倣する。
FSODは、学習した汎用オブジェクトの知識を共通のヘビーテールから新しいロングテールオブジェクトクラスにインテリジェントに転送する。
本稿では,問題定義,共通データセット,評価プロトコルなどを含むFSODの概要を紹介する。
論文 参考訳(メタデータ) (2022-03-27T04:11:28Z) - Multitask Learning for Class-Imbalanced Discourse Classification [74.41900374452472]
マルチタスクアプローチは,現在のベンチマークで7%のマイクロf1コアを改善できることを示す。
また,NLPにおける資源不足問題に対処するための追加手法の比較検討を行った。
論文 参考訳(メタデータ) (2021-01-02T07:13:41Z) - Unsupervised Domain Adaptation in Semantic Segmentation: a Review [22.366638308792734]
本研究の目的は, セマンティックセグメンテーションのための深層ネットワークのUnsupervised Domain Adaptation (UDA) の最近の進歩について概説することである。
論文 参考訳(メタデータ) (2020-05-21T20:10:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。