論文の概要: Sattiy at SemEval-2021 Task 9: An Ensemble Solution for Statement
Verification and Evidence Finding with Tables
- arxiv url: http://arxiv.org/abs/2104.10366v1
- Date: Wed, 21 Apr 2021 06:11:49 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-22 14:37:24.521810
- Title: Sattiy at SemEval-2021 Task 9: An Ensemble Solution for Statement
Verification and Evidence Finding with Tables
- Title(参考訳): SemEval-2021 Task 9: An Ensemble Solution for Statement Verification and Evidence Finding with Tables
- Authors: Xiaoyi Ruan, Meizhi Jin, Jian Ma, Haiqin Yang, Lianxin Jiang, Yang Mo,
Mengyuan Zhou
- Abstract要約: 本稿では,SemEval-2021 タスク 9: Statement Verification and Evidence Finding with Tables (SEM-TAB-FACT) における満足のいくチームのシステムについて述べる。
この競争は、声明の検証と科学論文の表から証拠を見つけることを目的としている。
本論文では、タスクAのテーブル、TaPas、TaBERT上の学習済み言語モデルのアンサンブルモデルを活用し、タスクBで抽出されたいくつかのルールに基づいて結果を調整する。
- 参考スコア(独自算出の注目度): 4.691435917434472
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Question answering from semi-structured tables can be seen as a semantic
parsing task and is significant and practical for pushing the boundary of
natural language understanding. Existing research mainly focuses on
understanding contents from unstructured evidence, e.g., news, natural language
sentences, and documents. The task of verification from structured evidence,
such as tables, charts, and databases, is still less explored. This paper
describes sattiy team's system in SemEval-2021 task 9: Statement Verification
and Evidence Finding with Tables (SEM-TAB-FACT). This competition aims to
verify statements and to find evidence from tables for scientific articles and
to promote the proper interpretation of the surrounding article. In this paper,
we exploited ensemble models of pre-trained language models over tables, TaPas
and TaBERT, for Task A and adjust the result based on some rules extracted for
Task B. Finally, in the leaderboard, we attain the F1 scores of 0.8496 and
0.7732 in Task A for the 2-way and 3-way evaluation, respectively, and the F1
score of 0.4856 in Task B.
- Abstract(参考訳): 半構造化テーブルからの質問応答は意味解析のタスクと見なすことができ、自然言語理解の境界を押し進めるために重要かつ実用的なものである。
既存の研究は主に、ニュース、自然言語文、文書など、構造化されていない証拠からの内容を理解することに焦点を当てている。
テーブル、チャート、データベースなどの構造化された証拠から検証する作業は、まだ調査されていない。
本稿では,SemEval-2021 Task 9: Statement Verification and Evidence Finding with Tables (SEM-TAB-FACT)における満足度チームのシステムについて述べる。
この競争は、科学的記事の表から証拠を見つけ、周囲の記事の適切な解釈を促進することを目的としている。
本稿では,タスクAに対して,テーブル上の事前学習された言語モデルのアンサンブルモデル(TaPasとTaBERT)を利用し,タスクBのために抽出されたルールに基づいて結果を調整する。
最後に,2方向評価と3方向評価でそれぞれF1スコアが0.8496点,0.7732点,タスクBでF1スコアが0.4856点を得た。
関連論文リスト
- TabPedia: Towards Comprehensive Visual Table Understanding with Concept Synergy [81.76462101465354]
本稿では,概念相乗効果機構を備えた新しい大型視触覚モデルTabPediaを提案する。
この統合されたフレームワークにより、TabPediaはテーブル検出、テーブル構造認識、テーブルクエリ、テーブル質問応答などのVTUタスクをシームレスに統合できる。
実世界のシナリオにおけるVTUタスクをよりよく評価するために、新しい総合的なテーブルVQAベンチマークComTQAを構築した。
論文 参考訳(メタデータ) (2024-06-03T13:54:05Z) - Bridging the Gap: Deciphering Tabular Data Using Large Language Model [4.711941969101732]
この研究は、テーブルベースの質問応答タスクへの大規模言語モデルの初めての応用である。
拡張言語モデルとのシームレスな統合のために,テーブルのシリアライズに特有なモジュールを設計しました。
論文 参考訳(メタデータ) (2023-08-23T03:38:21Z) - QTSumm: Query-Focused Summarization over Tabular Data [58.62152746690958]
人々は主に、データ分析を行うか、特定の質問に答えるためにテーブルをコンサルティングします。
そこで本研究では,テキスト生成モデルに人間的な推論を行なわなければならない,クエリ中心のテーブル要約タスクを新たに定義する。
このタスクには,2,934テーブル上の7,111の人間注釈付きクエリ-サマリーペアを含む,QTSummという新しいベンチマークを導入する。
論文 参考訳(メタデータ) (2023-05-23T17:43:51Z) - Doc2SoarGraph: Discrete Reasoning over Visually-Rich Table-Text
Documents via Semantic-Oriented Hierarchical Graphs [79.0426838808629]
視覚的にリッチなテーブルテキスト文書に答えるTAT-DQAを提案する。
具体的には、離散推論機能を強化した新しいDoc2SoarGraphフレームワークを提案する。
我々は,TAT-DQAデータセットに関する広範な実験を行い,提案したフレームワークは,テストセット上でのエクサクティマッチ(EM)とF1スコアでそれぞれ17.73%,F1スコアで16.91%の最高のベースラインモデルを上回る結果を得た。
論文 参考訳(メタデータ) (2023-05-03T07:30:32Z) - SemEval-2022 Task 2: Multilingual Idiomaticity Detection and Sentence
Embedding [12.843166994677286]
本稿では,多言語性検出と文埋め込みにおける共通課題について述べる。
a) 文が慣用的表現を含むかどうかを識別することを目的とした二項分類と、(b) モデルが文脈における潜在的慣用的表現を適切に表現することを要求する意味的テキスト類似性に基づくタスクである。
約100人の登録参加者が参加し、それぞれ650名と150名以上の応募を行った。
論文 参考訳(メタデータ) (2022-04-21T12:20:52Z) - Volta at SemEval-2021 Task 9: Statement Verification and Evidence
Finding with Tables using TAPAS and Transfer Learning [19.286478269708592]
本稿では,SemEval-2021のタスク9:表によるステートメント検証とエビデンス検索を解くためのシステムを提案する。
タスクは2つのサブタスクから構成される: (A) テーブルとステートメントを付与し、テーブルがステートメントをサポートするかどうかを予測し、(B) テーブル内のどのセルがステートメントの証拠を提供するかを予測する。
サブタスクではF1スコアが67.34、サブタスクでは72.89、サブタスクBでは62.95である。
論文 参考訳(メタデータ) (2021-06-01T06:06:29Z) - SemEval-2021 Task 9: Fact Verification and Evidence Finding for Tabular
Data in Scientific Documents (SEM-TAB-FACTS) [0.0]
SEM-TAB-FACTSは2つのサブタスクを備えていた。
サブタスクAでは、テーブルに関して文がサポートされているか、否定されているか、不明かを決定することが目標である。
サブタスクBでは、声明の証拠を提供するテーブルの特定の細胞を特定することに重点が置かれた。
論文 参考訳(メタデータ) (2021-05-28T17:21:11Z) - BreakingBERT@IITK at SemEval-2021 Task 9 : Statement Verification and
Evidence Finding with Tables [1.78256232654567]
我々は,事実の検証と証拠発見の問題を表データ上で解決する。
与えられたSemTabFactデータセットのベースラインと最先端のアプローチを比較します。
また,自然言語推論タスクの一形態としてエビデンスを解くための新しいアプローチCellBERTを提案する。
論文 参考訳(メタデータ) (2021-04-07T11:41:07Z) - A Graph Representation of Semi-structured Data for Web Question
Answering [96.46484690047491]
本稿では、半構造化データとそれらの関係の構成要素の体系的分類に基づいて、Webテーブルとリストのグラフ表現を提案する。
本手法は,最先端のベースラインに対してF1スコアを3.90ポイント向上させる。
論文 参考訳(メタデータ) (2020-10-14T04:01:54Z) - TaBERT: Pretraining for Joint Understanding of Textual and Tabular Data [113.29476656550342]
本研究では,NL文と表の表現を共同で学習する事前学習型LMであるTaBERTを提案する。
TaBERTは、600万のテーブルとその英語コンテキストからなる大規模なコーパスで訓練されている。
モデルの実装はhttp://fburl.com/TaBERT.comで公開される。
論文 参考訳(メタデータ) (2020-05-17T17:26:40Z) - ToTTo: A Controlled Table-To-Text Generation Dataset [61.83159452483026]
ToTToはオープンドメインの英語のテーブル・トゥ・テキストのデータセットで、12万以上のトレーニングサンプルがある。
本稿では、ウィキペディアから既存の候補文を直接修正するデータセット構築プロセスを紹介する。
通常流動的であるが、既存の方法は多くの場合、表がサポートしていないフレーズを幻覚させる。
論文 参考訳(メタデータ) (2020-04-29T17:53:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。