論文の概要: WiCE: Real-World Entailment for Claims in Wikipedia

• arxiv url: http://arxiv.org/abs/2303.01432v1
• Date: Thu, 2 Mar 2023 17:45:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-03 13:15:56.109663
• Title: WiCE: Real-World Entailment for Claims in Wikipedia
• Title（参考訳）: WiCE:ウィキペディアにおける主張の現実的エンターテイメント
• Authors: Ryo Kamoi, Tanya Goyal, Juan Diego Rodriguez, Greg Durrett
• Abstract要約: われわれは、Wikipediaの現実世界のクレームとエビデンスに基づく、テキストによるクレームの検証を中心にした、新たなデータセットを提案する。 われわれは、ウィキペディアに1つ以上のウェブページを引用する文を集め、それらのページのコンテンツがそれらの文を含んでいるかどうかを注釈する。 データセットの真のクレームは、検証の問題に挑戦することを示し、このデータセットに既存のアプローチをベンチマークします。
• 参考スコア（独自算出の注目度）: 45.62452843835158
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Models for textual entailment have increasingly been applied to settings like fact-checking, presupposition verification in question answering, and validating that generation models' outputs are faithful to a source. However, such applications are quite far from the settings that existing datasets are constructed in. We propose WiCE, a new textual entailment dataset centered around verifying claims in text, built on real-world claims and evidence in Wikipedia with fine-grained annotations. We collect sentences in Wikipedia that cite one or more webpages and annotate whether the content on those pages entails those sentences. Negative examples arise naturally, from slight misinterpretation of text to minor aspects of the sentence that are not attested in the evidence. Our annotations are over sub-sentence units of the hypothesis, decomposed automatically by GPT-3, each of which is labeled with a subset of evidence sentences from the source document. We show that real claims in our dataset involve challenging verification problems, and we benchmark existing approaches on this dataset. In addition, we show that reducing the complexity of claims by decomposing them by GPT-3 can improve entailment models' performance on various domains.
• Abstract（参考訳）: テキストによる補足のためのモデルは、ファクトチェック、質問応答における前提検証、生成モデルの出力がソースに忠実であることの検証といった設定にますます適用されている。 しかし、そのようなアプリケーションは既存のデータセットが構築されている設定からかなり遠い。 テキストによるクレームの検証を中心に,wikipedia上の実世界クレームとエビデンスに細かなアノテーションを付加した,新たなテキストインテリメントデータセットであるwiceを提案する。 ウィキペディアで1つ以上のウェブページを引用する文を収集し、そのページ上のコンテンツがそれらの文を含んでいるかどうかを注釈する。 否定的な例は、テキストのわずかな誤解から、証拠に証明されていない文の小さな側面まで自然に現れる。 我々のアノテーションは仮説のサブ文単位の上にあり、GPT-3によって自動的に分解され、それぞれに元文書からの証拠文のサブセットがラベル付けされる。 データセット内の実際のクレームには検証の問題が伴うことを示し、このデータセットに既存のアプローチをベンチマークします。 さらに, gpt-3 によるクレーム分解によるクレームの複雑さの低減は, 様々な領域におけるモデル追従性能を向上させることができることを示す。

関連論文リスト

• FactLens: Benchmarking Fine-Grained Fact Verification [6.814173254027381]
  我々は、複雑なクレームを個別の検証のためにより小さなサブステートに分割する、きめ細かい検証へのシフトを提唱する。 我々は,ファクトレンス(FactLens)という,ファクトレンス(FactLens)という,詳細な事実検証のベンチマークを紹介した。 この結果から,FactLens自動評価器と人的判断との整合性を示し,評価性能に対する準定値特性の影響について考察した。
  論文  参考訳（メタデータ） (2024-11-08T21:26:57Z)
• Contrastive Learning to Improve Retrieval for Real-world Fact Checking [84.57583869042791]
  ファクト・チェッキング・リランカ(Contrastive Fact-Checking Reranker, CFR)を提案する。 我々はAVeriTeCデータセットを活用し、証拠文書からの人間による回答とクレームのサブクエストを注釈付けする。 データセットの精度は6%向上した。
  論文  参考訳（メタデータ） (2024-10-07T00:09:50Z)
• From Chaos to Clarity: Claim Normalization to Empower Fact-Checking [57.024192702939736]
  Claim Normalization(別名 ClaimNorm)は、複雑でノイズの多いソーシャルメディア投稿を、より単純で分かりやすい形式に分解することを目的としている。 本稿では,チェーン・オブ・ソートとクレーム・チェック・バシネス推定を利用した先駆的アプローチであるCACNを提案する。 実験により, CACNは様々な評価尺度において, いくつかの基準値を上回る性能を示した。
  論文  参考訳（メタデータ） (2023-10-22T16:07:06Z)
• AVeriTeC: A Dataset for Real-world Claim Verification with Evidence from the Web [20.576644330553744]
  AVeriTeCは、50の異なる組織によるファクトチェックをカバーする4,568の現実世界のクレームの新しいデータセットである。 それぞれのクレームには、オンラインで利用可能な証拠によって支持される質問と回答のペアと、証拠がどのように組み合わさって判断を下すかを説明する文章の正当性が含まれている。
  論文  参考訳（メタデータ） (2023-05-22T15:17:18Z)
• Questioning the Validity of Summarization Datasets and Improving Their Factual Consistency [14.974996886744083]
  SummFCは,事実整合性を改善したフィルタされた要約データセットである。 我々は,データセットが要約システムの開発と評価のための有効なベンチマークとなるべきだと論じている。
  論文  参考訳（メタデータ） (2022-10-31T15:04:20Z)
• Generating Literal and Implied Subquestions to Fact-check Complex Claims [64.81832149826035]
  我々は、複雑なクレームを、そのクレームの正確性に影響を及ぼす「イエス・ノー・サブクエスト」の包括的集合に分解することに集中する。 我々は1000以上のクレームに対する分解のデータセットである ClaimDecomp を提示する。 これらのサブクエストは、関連する証拠を特定し、すべてのクレームを事実確認し、回答を通じて正確性を引き出すのに役立ちます。
  論文  参考訳（メタデータ） (2022-05-14T00:40:57Z)
• GERE: Generative Evidence Retrieval for Fact Verification [57.78768817972026]
  本稿では,ジェネレーション方式で証拠を検索する最初のシステムであるGEREを提案する。 FEVERデータセットの実験結果は、GEREが最先端のベースラインよりも大幅に改善されていることを示している。
  論文  参考訳（メタデータ） (2022-04-12T03:49:35Z)
• Zero-shot Fact Verification by Claim Generation [85.27523983027471]
  我々は,堅牢な事実検証モデルをトレーニングするフレームワークであるQACGを開発した。 われわれは自動的に生成されたクレームを使って、Wikipediaのエビデンスからサポートしたり、反論したり、検証したりできる。 ゼロショットシナリオでは、QACGはRoBERTaモデルのF1を50%から77%に改善し、パフォーマンスは2K以上の手作業による例に相当する。
  論文  参考訳（メタデータ） (2021-05-31T03:13:52Z)
• Hierarchical Evidence Set Modeling for Automated Fact Extraction and Verification [5.836068916903788]
  階層的エビデンス・セット・モデリング(Heerarchical Evidence Set Modeling, HESM)は、エビデンス・セットを抽出し、サポート対象のクレームを検証するためのフレームワークである。 実験の結果,HESMは事実抽出とクレーム検証の7つの最先端手法より優れていた。
  論文  参考訳（メタデータ） (2020-10-10T22:27:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。