論文の概要: HoVer: A Dataset for Many-Hop Fact Extraction And Claim Verification
- arxiv url: http://arxiv.org/abs/2011.03088v2
- Date: Mon, 16 Nov 2020 01:57:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-29 11:22:56.094453
- Title: HoVer: A Dataset for Many-Hop Fact Extraction And Claim Verification
- Title(参考訳): HoVer:Multi-Hop Factの抽出とクレーム検証のためのデータセット
- Authors: Yichen Jiang, Shikha Bordia, Zheng Zhong, Charles Dognin, Maneesh
Singh, Mohit Bansal
- Abstract要約: HoVerはマルチホップエビデンス抽出と事実検証のためのデータセットである。
クレームに関連するいくつかのウィキペディア記事から事実を抽出するモデルに挑戦する。
3/4ホップのクレームのほとんどは複数の文で書かれており、長距離依存関係を理解する複雑さが増している。
- 参考スコア(独自算出の注目度): 74.66819506353086
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce HoVer (HOppy VERification), a dataset for many-hop evidence
extraction and fact verification. It challenges models to extract facts from
several Wikipedia articles that are relevant to a claim and classify whether
the claim is Supported or Not-Supported by the facts. In HoVer, the claims
require evidence to be extracted from as many as four English Wikipedia
articles and embody reasoning graphs of diverse shapes. Moreover, most of the
3/4-hop claims are written in multiple sentences, which adds to the complexity
of understanding long-range dependency relations such as coreference. We show
that the performance of an existing state-of-the-art semantic-matching model
degrades significantly on our dataset as the number of reasoning hops
increases, hence demonstrating the necessity of many-hop reasoning to achieve
strong results. We hope that the introduction of this challenging dataset and
the accompanying evaluation task will encourage research in many-hop fact
retrieval and information verification. We make the HoVer dataset publicly
available at https://hover-nlp.github.io
- Abstract(参考訳): マルチホップエビデンス抽出と事実検証のためのデータセットであるHoVer(Hoppy VERification)を紹介する。
それは、クレームに関連する複数のwikipedia記事から事実を抽出するモデルに挑戦し、そのクレームがその事実によって支持されているかどうかを分類する。
HoVerでは、4つのウィキペディア記事から証拠を抽出し、多様な形状の推論グラフを具現化する必要がある。
さらに、3/4ホップのクレームのほとんどは複数の文で書かれており、コア参照のような長距離依存関係を理解する複雑さが増している。
従来のセマンティックマッチングモデルの性能は、推論ホップの数が増えるにつれてデータセット上で著しく低下し、多くのホップ推論が強力な結果を得る必要があることを示す。
この挑戦的なデータセットの導入とそれに伴う評価タスクが,多項目事実検索と情報検証の研究を促進することを願っている。
HoVerデータセットをhttps://hover-nlp.github.ioで公開しています。
関連論文リスト
- Contrastive Learning to Improve Retrieval for Real-world Fact Checking [84.57583869042791]
ファクト・チェッキング・リランカ(Contrastive Fact-Checking Reranker, CFR)を提案する。
我々はAVeriTeCデータセットを活用し、証拠文書からの人間による回答とクレームのサブクエストを注釈付けする。
データセットの精度は6%向上した。
論文 参考訳(メタデータ) (2024-10-07T00:09:50Z) - EX-FEVER: A Dataset for Multi-hop Explainable Fact Verification [22.785622371421876]
マルチホップで説明可能な事実検証のための先駆的データセットを提案する。
2ホップと3ホップの推論を含む6万件以上の主張により、それぞれがハイパーリンクされたウィキペディア文書から情報を要約して修正することによって作成される。
提案するEX-FEVERデータセットをベースラインとして,文書検索,説明生成,クレーム検証を行う。
論文 参考訳(メタデータ) (2023-10-15T06:46:15Z) - Locate Then Ask: Interpretable Stepwise Reasoning for Multi-hop Question
Answering [71.49131159045811]
マルチホップ推論では、複雑な質問に答えるために複数の文書を集約する必要がある。
既存の方法は通常、マルチホップの質問を単純なシングルホップの質問に分解する。
そこで本研究では,単一ホップ支援文識別と単一ホップ質問生成の両方を組み込む,解釈可能な段階的推論フレームワークを提案する。
論文 参考訳(メタデータ) (2022-08-22T13:24:25Z) - Generating Literal and Implied Subquestions to Fact-check Complex Claims [64.81832149826035]
我々は、複雑なクレームを、そのクレームの正確性に影響を及ぼす「イエス・ノー・サブクエスト」の包括的集合に分解することに集中する。
我々は1000以上のクレームに対する分解のデータセットである ClaimDecomp を提示する。
これらのサブクエストは、関連する証拠を特定し、すべてのクレームを事実確認し、回答を通じて正確性を引き出すのに役立ちます。
論文 参考訳(メタデータ) (2022-05-14T00:40:57Z) - DialFact: A Benchmark for Fact-Checking in Dialogue [56.63709206232572]
われわれはDialFactという22,245の注釈付き会話クレームのベンチマークデータセットを構築し、ウィキペディアの証拠と組み合わせた。
FEVERのような非対話データでトレーニングされた既存のファクトチェックモデルは、我々のタスクでうまく機能しないことがわかった。
本稿では,対話におけるファクトチェック性能を効果的に向上する,シンプルなデータ効率のソリューションを提案する。
論文 参考訳(メタデータ) (2021-10-15T17:34:35Z) - Few Shot Learning for Information Verification [0.0]
ウィキペディアから取った記事のリストから選択された証拠に基づいて事実を検証することを目指しています。
本研究では,ウィキペディアの記事リストから選択された証拠に基づいて事実を検証することを目的とする。
論文 参考訳(メタデータ) (2021-02-22T12:56:12Z) - Constructing A Multi-hop QA Dataset for Comprehensive Evaluation of
Reasoning Steps [31.472490306390977]
マルチホップ質問応答データセットは、モデルが与えられた質問に答えるために複数の段落を読むことを要求することにより、推論と推論のスキルをテストすることを目的としている。
これまでの研究では、既存のマルチホップデータセットの多くの例は、質問に答えるためにマルチホップ推論を必要としないことが判明した。
構造化データと非構造化データを利用する2WikiMultiHopQAと呼ばれる新しいマルチホップQAデータセットを提案する。
論文 参考訳(メタデータ) (2020-11-02T15:42:40Z) - Multi-Hop Fact Checking of Political Claims [43.25708842000248]
相互接続された証拠チャンクよりも、複数のホップを持つ自然発生クレームのより複雑なクレーム検証について検討する。
クレーム検証のための証拠文の小さな注釈付きデータセットPolitHopを構築した。
タスクは複雑で、エビデンスを推論するアーキテクチャーで最高のパフォーマンスを達成するのに役立ちます。
論文 参考訳(メタデータ) (2020-09-10T13:54:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。