論文の概要: Wiki-TabNER:Advancing Table Interpretation Through Named Entity
Recognition
- arxiv url: http://arxiv.org/abs/2403.04577v1
- Date: Thu, 7 Mar 2024 15:22:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-08 13:32:16.240756
- Title: Wiki-TabNER:Advancing Table Interpretation Through Named Entity
Recognition
- Title(参考訳): Wiki-TabNER:名前付きエンティティ認識によるテーブル解釈の改善
- Authors: Aneta Koleva, Martin Ringsquandl, Ahmed Hatem, Thomas Runkler, Volker
Tresp
- Abstract要約: TIタスクの評価に広く用いられているベンチマークデータセットを分析した。
この欠点を克服するため、我々はより困難なデータセットを構築し、注釈付けします。
本稿では,新たに開発された大規模言語モデルを評価するためのプロンプトフレームワークを提案する。
- 参考スコア(独自算出の注目度): 19.423556742293762
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Web tables contain a large amount of valuable knowledge and have inspired
tabular language models aimed at tackling table interpretation (TI) tasks. In
this paper, we analyse a widely used benchmark dataset for evaluation of TI
tasks, particularly focusing on the entity linking task. Our analysis reveals
that this dataset is overly simplified, potentially reducing its effectiveness
for thorough evaluation and failing to accurately represent tables as they
appear in the real-world. To overcome this drawback, we construct and annotate
a new more challenging dataset. In addition to introducing the new dataset, we
also introduce a novel problem aimed at addressing the entity linking task:
named entity recognition within cells. Finally, we propose a prompting
framework for evaluating the newly developed large language models (LLMs) on
this novel TI task. We conduct experiments on prompting LLMs under various
settings, where we use both random and similarity-based selection to choose the
examples presented to the models. Our ablation study helps us gain insights
into the impact of the few-shot examples. Additionally, we perform qualitative
analysis to gain insights into the challenges encountered by the models and to
understand the limitations of the proposed dataset.
- Abstract(参考訳): Webテーブルには大量の貴重な知識が含まれており、テーブル解釈(TI)タスクに取り組むことを目的とした表言語モデルにインスピレーションを与えています。
本稿では,TIタスクの評価に広く用いられているベンチマークデータセットの解析を行い,特にエンティティリンクタスクに着目した。
分析の結果、このデータセットは単純化され、徹底的な評価の有効性が低下し、現実世界に現れるテーブルを正確に表現できない可能性が示唆された。
この欠点を克服するために、私たちは新しい挑戦的なデータセットを構築して注釈付けします。
また,新たなデータセットの導入に加えて,セル内の名前付きエンティティ認識という,エンティティリンクタスクに対処する新たな問題も導入する。
最後に,新たに開発された大規模言語モデル(LLM)を新しいTIタスクで評価するためのプロンプトフレームワークを提案する。
様々な設定下でllmを促す実験を行い,ランダム選択と類似性に基づく選択の両方を用いて,モデルに提示された例を選択する。
私たちのアブレーション研究は、わずかな例の影響についての洞察を得るのに役立ちます。
さらに,モデルが直面する課題を把握し,提案するデータセットの限界を理解するために,定性分析を実施している。
関連論文リスト
- Structured Entity Extraction Using Large Language Models [54.53348483973769]
大規模言語モデル(LLM)は、構造化されていないテキストから構造化された情報を抽出する上で重要な役割を果たす。
本稿では,構造化エンティティ抽出における現行手法の課題と限界について考察する。
本研究では,LLMのパワーを有効・効率的に活用する新しいモデルを提案する。
論文 参考訳(メタデータ) (2024-02-06T22:15:09Z) - Text2Analysis: A Benchmark of Table Question Answering with Advanced
Data Analysis and Unclear Queries [67.0083902913112]
高度な解析タスクを取り入れたText2Analysisベンチマークを開発した。
また,5つのイノベーティブかつ効果的なアノテーション手法を開発した。
3つの異なる指標を用いて5つの最先端モデルを評価する。
論文 参考訳(メタデータ) (2023-12-21T08:50:41Z) - Observatory: Characterizing Embeddings of Relational Tables [15.808819332614712]
研究者や実践者は、多くの新しいアプリケーションコンテキストにおいて、言語とテーブルの埋め込みモデルを活用することに熱心です。
下流利用における非効率性と失敗を最小限に抑えるために、これらのモデルの包括的な理解を得る必要がある。
本研究では,関係表の埋め込み表現を体系的に解析する公式なフレームワークであるObservatoryを提案する。
論文 参考訳(メタデータ) (2023-10-05T00:58:45Z) - Schema-Driven Information Extraction from Heterogeneous Tables [30.302982262763447]
本稿では、機械学習論文、化学文献、材料科学雑誌、ウェブページの4つの分野のテーブルからなるベンチマークを示す。
我々の実験は、タスク固有のパイプラインやラベルを必要とせずに、驚くほど競争力のあるパフォーマンスが達成できることを示した。
論文 参考訳(メタデータ) (2023-05-23T17:58:10Z) - QTSumm: Query-Focused Summarization over Tabular Data [58.62152746690958]
人々は主に、データ分析を行うか、特定の質問に答えるためにテーブルをコンサルティングします。
そこで本研究では,テキスト生成モデルに人間的な推論を行なわなければならない,クエリ中心のテーブル要約タスクを新たに定義する。
このタスクには,2,934テーブル上の7,111の人間注釈付きクエリ-サマリーペアを含む,QTSummという新しいベンチマークを導入する。
論文 参考訳(メタデータ) (2023-05-23T17:43:51Z) - GLUECons: A Generic Benchmark for Learning Under Constraints [102.78051169725455]
本研究では,自然言語処理とコンピュータビジョンの分野における9つのタスクの集合であるベンチマークを作成する。
外部知識を制約としてモデル化し、各タスクの制約のソースを特定し、これらの制約を使用するさまざまなモデルを実装します。
論文 参考訳(メタデータ) (2023-02-16T16:45:36Z) - Towards Complex Document Understanding By Discrete Reasoning [77.91722463958743]
VQA(Document Visual Question Answering)は、自然言語による質問に答えるために、視覚的に豊富なドキュメントを理解することを目的としている。
我々は3,067の文書ページと16,558の質問応答ペアからなる新しいドキュメントVQAデータセットTAT-DQAを紹介する。
我々は,テキスト,レイアウト,視覚画像など,多要素の情報を考慮に入れたMHSTという新しいモデルを開発し,異なるタイプの質問にインテリジェントに対処する。
論文 参考訳(メタデータ) (2022-07-25T01:43:19Z) - The Surprising Performance of Simple Baselines for Misinformation
Detection [4.060731229044571]
我々は、現代のトランスフォーマーベースの言語モデルの広いセットのパフォーマンスを調べます。
誤情報検出の新たな手法の創出と評価のベースラインとして,本フレームワークを提案する。
論文 参考訳(メタデータ) (2021-04-14T16:25:22Z) - Eliminating Catastrophic Interference with Biased Competition [0.0]
本稿では,複雑なデータセットのマルチタスク特性を活用するモデルを提案する。
このモデルは,新たに作成したデータセット上でのタスク間の破滅的な干渉を排除し,視覚質問応答空間における競合的な結果をもたらすことを実証する。
論文 参考訳(メタデータ) (2020-07-03T16:15:15Z) - A Revised Generative Evaluation of Visual Dialogue [80.17353102854405]
本稿では,VisDialデータセットの改訂評価手法を提案する。
モデルが生成した回答と関連する回答の集合のコンセンサスを測定する。
DenseVisDialとして改訂された評価スキームのこれらのセットとコードをリリースする。
論文 参考訳(メタデータ) (2020-04-20T13:26:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。