論文の概要: WiCE: Real-World Entailment for Claims in Wikipedia

• arxiv url: http://arxiv.org/abs/2303.01432v2
• Date: Sun, 22 Oct 2023 18:11:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 13:24:39.708517
• Title: WiCE: Real-World Entailment for Claims in Wikipedia
• Title（参考訳）: WiCE:ウィキペディアにおける主張の現実的エンターテイメント
• Authors: Ryo Kamoi, Tanya Goyal, Juan Diego Rodriguez, Greg Durrett
• Abstract要約: We propose WiCE, a new fine-fine textual entailment dataset built on natural claim and evidence pairs from Wikipedia。 標準クレームレベルのエンターメントに加えて、WiCEはクレームのサブ文単位に対するエンターメント判断を提供する。 我々のデータセットの真のクレームは、既存のモデルで対処できない検証と検索の問題に挑戦することを含んでいる。
• 参考スコア（独自算出の注目度）: 63.234352061821625
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Textual entailment models are increasingly applied in settings like fact-checking, presupposition verification in question answering, or summary evaluation. However, these represent a significant domain shift from existing entailment datasets, and models underperform as a result. We propose WiCE, a new fine-grained textual entailment dataset built on natural claim and evidence pairs extracted from Wikipedia. In addition to standard claim-level entailment, WiCE provides entailment judgments over sub-sentence units of the claim, and a minimal subset of evidence sentences that support each subclaim. To support this, we propose an automatic claim decomposition strategy using GPT-3.5 which we show is also effective at improving entailment models' performance on multiple datasets at test time. Finally, we show that real claims in our dataset involve challenging verification and retrieval problems that existing models fail to address.
• Abstract（参考訳）: テキスト・エンテーメント・モデルは、事実チェック、質問応答における前提検証、要約評価といった設定にますます適用される。 しかしながら、これらは既存のエンテーメントデータセットから重要なドメインシフトであり、結果としてモデルの性能が低下している。 自然クレームとwikipediaから抽出したエビデンスペアに基づく,新しいきめ細かなテクストリテラルデータセットであるwiceを提案する。 標準的なクレームレベルの記述に加えて、wiceはクレームのサブセンテンス単位と各サブセンテンスを支持する証拠文の最小サブセットに関する詳細な判断を提供する。 そこで本研究では,GPT-3.5を用いた自動クレーム分解手法を提案する。 最後に、我々のデータセットにおける真のクレームは、既存のモデルで対処できない検証と検索の問題に挑戦するものであることを示す。

関連論文リスト

• FactIR: A Real-World Zero-shot Open-Domain Retrieval Benchmark for Fact-Checking [3.1537425078180625]
  自動化されたファクトチェックの分野は、現実のシナリオにおけるクレームの正確性を決定するために、Webベースの証拠を取得することにますます依存している。 従来の検索手法では、クレームに直接対処する文書を返したり、それらをサポートするために傾いたりすることができるが、間接的推論を必要とするより複雑なクレームに悩まされることがしばしばある。 人間のアノテーションで拡張されたFactiverseプロダクションログから派生した実世界のベンチマークFactIRを提案する。
  論文  参考訳（メタデータ） (2025-02-09T19:51:00Z)
• FactLens: Benchmarking Fine-Grained Fact Verification [6.814173254027381]
  我々は、複雑なクレームを個別の検証のためにより小さなサブステートに分割する、きめ細かい検証へのシフトを提唱する。 我々は,ファクトレンス(FactLens)という,ファクトレンス(FactLens)という,詳細な事実検証のベンチマークを紹介した。 この結果から,FactLens自動評価器と人的判断との整合性を示し,評価性能に対する準定値特性の影響について考察した。
  論文  参考訳（メタデータ） (2024-11-08T21:26:57Z)
• Contrastive Learning to Improve Retrieval for Real-world Fact Checking [84.57583869042791]
  ファクト・チェッキング・リランカ(Contrastive Fact-Checking Reranker, CFR)を提案する。 我々はAVeriTeCデータセットを活用し、証拠文書からの人間による回答とクレームのサブクエストを注釈付けする。 データセットの精度は6%向上した。
  論文  参考訳（メタデータ） (2024-10-07T00:09:50Z)
• From Chaos to Clarity: Claim Normalization to Empower Fact-Checking [57.024192702939736]
  Claim Normalization(別名 ClaimNorm)は、複雑でノイズの多いソーシャルメディア投稿を、より単純で分かりやすい形式に分解することを目的としている。 本稿では,チェーン・オブ・ソートとクレーム・チェック・バシネス推定を利用した先駆的アプローチであるCACNを提案する。 実験により, CACNは様々な評価尺度において, いくつかの基準値を上回る性能を示した。
  論文  参考訳（メタデータ） (2023-10-22T16:07:06Z)
• AVeriTeC: A Dataset for Real-world Claim Verification with Evidence from the Web [20.576644330553744]
  AVeriTeCは、50の異なる組織によるファクトチェックをカバーする4,568の現実世界のクレームの新しいデータセットである。 それぞれのクレームには、オンラインで利用可能な証拠によって支持される質問と回答のペアと、証拠がどのように組み合わさって判断を下すかを説明する文章の正当性が含まれている。
  論文  参考訳（メタデータ） (2023-05-22T15:17:18Z)
• Generating Literal and Implied Subquestions to Fact-check Complex Claims [64.81832149826035]
  我々は、複雑なクレームを、そのクレームの正確性に影響を及ぼす「イエス・ノー・サブクエスト」の包括的集合に分解することに集中する。 我々は1000以上のクレームに対する分解のデータセットである ClaimDecomp を提示する。 これらのサブクエストは、関連する証拠を特定し、すべてのクレームを事実確認し、回答を通じて正確性を引き出すのに役立ちます。
  論文  参考訳（メタデータ） (2022-05-14T00:40:57Z)
• GERE: Generative Evidence Retrieval for Fact Verification [57.78768817972026]
  本稿では,ジェネレーション方式で証拠を検索する最初のシステムであるGEREを提案する。 FEVERデータセットの実験結果は、GEREが最先端のベースラインよりも大幅に改善されていることを示している。
  論文  参考訳（メタデータ） (2022-04-12T03:49:35Z)
• Zero-shot Fact Verification by Claim Generation [85.27523983027471]
  我々は,堅牢な事実検証モデルをトレーニングするフレームワークであるQACGを開発した。 われわれは自動的に生成されたクレームを使って、Wikipediaのエビデンスからサポートしたり、反論したり、検証したりできる。 ゼロショットシナリオでは、QACGはRoBERTaモデルのF1を50%から77%に改善し、パフォーマンスは2K以上の手作業による例に相当する。
  論文  参考訳（メタデータ） (2021-05-31T03:13:52Z)
• Hierarchical Evidence Set Modeling for Automated Fact Extraction and Verification [5.836068916903788]
  階層的エビデンス・セット・モデリング(Heerarchical Evidence Set Modeling, HESM)は、エビデンス・セットを抽出し、サポート対象のクレームを検証するためのフレームワークである。 実験の結果,HESMは事実抽出とクレーム検証の7つの最先端手法より優れていた。
  論文  参考訳（メタデータ） (2020-10-10T22:27:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。