論文の概要: SemEval-2021 Task 9: Fact Verification and Evidence Finding for Tabular
Data in Scientific Documents (SEM-TAB-FACTS)
- arxiv url: http://arxiv.org/abs/2105.13995v1
- Date: Fri, 28 May 2021 17:21:11 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-31 14:56:59.224856
- Title: SemEval-2021 Task 9: Fact Verification and Evidence Finding for Tabular
Data in Scientific Documents (SEM-TAB-FACTS)
- Title（参考訳）: SemEval-2021 Task 9: Fact Verification and Evidence Finding for Tabular Data in Scientific Documents (SEM-TAB-FACTS)
- Authors: Nancy X. R. Wang, Diwakar Mahajan, Marina Danilevsk. Sara Rosenthal
- Abstract要約: SEM-TAB-FACTSは2つのサブタスクを備えていた。
サブタスクAでは、テーブルに関して文がサポートされているか、否定されているか、不明かを決定することが目標である。
サブタスクBでは、声明の証拠を提供するテーブルの特定の細胞を特定することに重点が置かれた。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Understanding tables is an important and relevant task that involves
understanding table structure as well as being able to compare and contrast
information within cells. In this paper, we address this challenge by
presenting a new dataset and tasks that addresses this goal in a shared task in
SemEval 2020 Task 9: Fact Verification and Evidence Finding for Tabular Data in
Scientific Documents (SEM-TAB-FACTS). Our dataset contains 981
manually-generated tables and an auto-generated dataset of 1980 tables
providing over 180K statement and over 16M evidence annotations. SEM-TAB-FACTS
featured two sub-tasks. In sub-task A, the goal was to determine if a statement
is supported, refuted or unknown in relation to a table. In sub-task B, the
focus was on identifying the specific cells of a table that provide evidence
for the statement. 69 teams signed up to participate in the task with 19
successful submissions to subtask A and 12 successful submissions to subtask B.
We present our results and main findings from the competition.
- Abstract（参考訳）: テーブルを理解することは、テーブル構造を理解することや、セル内の情報を比較およびコントラストすることができることを含む重要かつ関連するタスクである。
本稿では,SemEval 2020 Task 9: Fact Verification and Evidence Finding for Tabular Data in Scientific Documents (SEM-TAB-FACTS)において,この目標を共有タスクで処理する新たなデータセットとタスクを提示し,この問題に対処する。
データセットには、手動で作成した981のテーブルと、180K以上のステートメントと16M以上のエビデンスアノテーションを提供する1980のテーブルの自動生成データセットが含まれている。
SEM-TAB-FACTSは2つのサブタスクを備えていた。
サブタスクAでは、テーブルに関して文がサポートされているか、否定されているか、不明かを決定することが目標である。
サブタスクBでは、声明の証拠を提供するテーブルの特定の細胞を特定することに焦点を当てた。
69チームが参加し、サブタスクaへの19の応募、サブタスクbへの12の提出が成功した。
コンペの結果と主な成果を報告する。
関連論文リスト
- TabPedia: Towards Comprehensive Visual Table Understanding with Concept Synergy [81.76462101465354]
本稿では,概念相乗効果機構を備えた新しい大型視触覚モデルTabPediaを提案する。
この統合されたフレームワークにより、TabPediaはテーブル検出、テーブル構造認識、テーブルクエリ、テーブル質問応答などのVTUタスクをシームレスに統合できる。
実世界のシナリオにおけるVTUタスクをよりよく評価するために、新しい総合的なテーブルVQAベンチマークComTQAを構築した。
論文 参考訳（メタデータ） (2024-06-03T13:54:05Z) - TableLLM: Enabling Tabular Data Manipulation by LLMs in Real Office Usage Scenarios [52.73289223176475]
TableLLMは、13億のパラメータを持つ堅牢な大規模言語モデル(LLM)である。
TableLLMはデータ操作タスクを巧みに扱うために構築されている。
我々は、ユーザインタラクションのためのモデルチェックポイント、ソースコード、ベンチマーク、Webアプリケーションをリリースした。
論文 参考訳（メタデータ） (2024-03-28T11:21:12Z) - Wiki-TabNER:Advancing Table Interpretation Through Named Entity
Recognition [19.423556742293762]
TIタスクの評価に広く用いられているベンチマークデータセットを分析した。
この欠点を克服するため、我々はより困難なデータセットを構築し、注釈付けします。
本稿では,新たに開発された大規模言語モデルを評価するためのプロンプトフレームワークを提案する。
論文 参考訳（メタデータ） (2024-03-07T15:22:07Z) - Distribution Matching for Multi-Task Learning of Classification Tasks: a
Large-Scale Study on Faces & Beyond [62.406687088097605]
マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。
MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。
本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
論文 参考訳（メタデータ） (2024-01-02T14:18:11Z) - QTSumm: Query-Focused Summarization over Tabular Data [58.62152746690958]
人々は主に、データ分析を行うか、特定の質問に答えるためにテーブルをコンサルティングします。
そこで本研究では,テキスト生成モデルに人間的な推論を行なわなければならない,クエリ中心のテーブル要約タスクを新たに定義する。
このタスクには,2,934テーブル上の7,111の人間注釈付きクエリ-サマリーペアを含む,QTSummという新しいベンチマークを導入する。
論文 参考訳（メタデータ） (2023-05-23T17:43:51Z) - Relational Multi-Task Learning: Modeling Relations between Data and
Tasks [84.41620970886483]
マルチタスク学習における主要な前提は、推論時にモデルが与えられたデータポイントにのみアクセスできるが、他のタスクからのデータポイントのラベルにはアクセスできないことである。
ここでは、補助的なタスクからデータポイントラベルを活用してより正確な予測を行う、新しいリレーショナルマルチタスク学習環境を提案する。
私たちはMetaLinkを開発し、そこではデータポイントとタスクを接続するナレッジグラフを構築します。
論文 参考訳（メタデータ） (2023-03-14T07:15:41Z) - CTE: A Dataset for Contextualized Table Extraction [1.1859913430860336]
データセットは、35k以上のテーブルを含む、75kの完全な注釈付き科学論文で構成されている。
PubMed Centralから収集されたデータは、PubTables-1MとPubLayNetデータセットのアノテーションによって提供される情報をマージする。
生成されたアノテーションは、ドキュメントレイアウト分析、テーブル検出、構造認識、機能解析など、さまざまなタスクのためのエンドツーエンドパイプラインの開発に使用することができる。
論文 参考訳（メタデータ） (2023-02-02T22:38:23Z) - Zero-Shot Information Extraction as a Unified Text-to-Triple Translation [56.01830747416606]
我々は、テキストから3つの翻訳フレームワークに一連の情報抽出タスクを投入した。
タスク固有の入力テキストと出力トリプルの変換としてタスクを形式化する。
本稿では,オープン情報抽出におけるゼロショット性能について検討する。
論文 参考訳（メタデータ） (2021-09-23T06:54:19Z) - Volta at SemEval-2021 Task 9: Statement Verification and Evidence
Finding with Tables using TAPAS and Transfer Learning [19.286478269708592]
本稿では,SemEval-2021のタスク9:表によるステートメント検証とエビデンス検索を解くためのシステムを提案する。
タスクは2つのサブタスクから構成される: (A) テーブルとステートメントを付与し、テーブルがステートメントをサポートするかどうかを予測し、(B) テーブル内のどのセルがステートメントの証拠を提供するかを予測する。
サブタスクではF1スコアが67.34、サブタスクでは72.89、サブタスクBでは62.95である。
論文 参考訳（メタデータ） (2021-06-01T06:06:29Z) - Sattiy at SemEval-2021 Task 9: An Ensemble Solution for Statement
Verification and Evidence Finding with Tables [4.691435917434472]
本稿では,SemEval-2021 タスク 9: Statement Verification and Evidence Finding with Tables (SEM-TAB-FACT) における満足のいくチームのシステムについて述べる。
この競争は、声明の検証と科学論文の表から証拠を見つけることを目的としている。
本論文では、タスクAのテーブル、TaPas、TaBERT上の学習済み言語モデルのアンサンブルモデルを活用し、タスクBで抽出されたいくつかのルールに基づいて結果を調整する。
論文 参考訳（メタデータ） (2021-04-21T06:11:49Z) - BreakingBERT@IITK at SemEval-2021 Task 9 : Statement Verification and
Evidence Finding with Tables [1.78256232654567]
我々は,事実の検証と証拠発見の問題を表データ上で解決する。
与えられたSemTabFactデータセットのベースラインと最先端のアプローチを比較します。
また,自然言語推論タスクの一形態としてエビデンスを解くための新しいアプローチCellBERTを提案する。
論文 参考訳（メタデータ） (2021-04-07T11:41:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。