論文の概要: Navigating the Noisy Crowd: Finding Key Information for Claim Verification

• arxiv url: http://arxiv.org/abs/2407.12425v1
• Date: Wed, 17 Jul 2024 09:24:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-18 17:47:48.133092
• Title: Navigating the Noisy Crowd: Finding Key Information for Claim Verification
• Title（参考訳）: 騒々しい群衆をナビゲートする - クレーム検証のための重要な情報を見つける
• Authors: Haisong Gong, Huanhuan Ma, Qiang Liu, Shu Wu, Liang Wang,
• Abstract要約: EAConは,証拠の中から重要な情報を見つけ出し,請求項の各側面を個別に検証するフレームワークである。 Ecconはクレームからキーワードを見つけ出し、ファジィマッチングを使用して、生のエビデンスごとに関連するキーワードを選択する。 Ecconは、元の主張をサブステートに分解し、個別に抽象化された証拠と生の証拠の両方に対して検証される。
• 参考スコア（独自算出の注目度）: 19.769771741059408
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Claim verification is a task that involves assessing the truthfulness of a given claim based on multiple evidence pieces. Using large language models (LLMs) for claim verification is a promising way. However, simply feeding all the evidence pieces to an LLM and asking if the claim is factual does not yield good results. The challenge lies in the noisy nature of both the evidence and the claim: evidence passages typically contain irrelevant information, with the key facts hidden within the context, while claims often convey multiple aspects simultaneously. To navigate this "noisy crowd" of information, we propose EACon (Evidence Abstraction and Claim Deconstruction), a framework designed to find key information within evidence and verify each aspect of a claim separately. EACon first finds keywords from the claim and employs fuzzy matching to select relevant keywords for each raw evidence piece. These keywords serve as a guide to extract and summarize critical information into abstracted evidence. Subsequently, EACon deconstructs the original claim into subclaims, which are then verified against both abstracted and raw evidence individually. We evaluate EACon using two open-source LLMs on two challenging datasets. Results demonstrate that EACon consistently and substantially improve LLMs' performance in claim verification.
• Abstract（参考訳）: クレーム検証は、複数の証拠片に基づいて与えられたクレームの真偽を評価することを含むタスクである。 大きな言語モデル(LLM)をクレーム検証に使用することは、有望な方法である。 しかし、すべての証拠片をLSMに供給し、その主張が事実かどうかを問うだけでは良い結果が得られない。 証拠の通過は典型的に無関係な情報を含み、主要な事実は文脈内に隠され、クレームはしばしば複数の側面を同時に伝達する。 この「騒々しい群集」をナビゲートするために,証拠の中から重要な情報を見つけ出し,請求項の各側面を個別に検証するフレームワークEACon(Evidence Abstraction and Claim Deconstruction)を提案する。 EAConはまずクレームからキーワードを見つけ出し、ファジィマッチングを使用して、生のエビデンスごとに関連するキーワードを選択する。 これらのキーワードは、重要な情報を抽出し、抽象的な証拠にまとめるガイドとして機能する。 その後、EAConは元の主張をサブステートに分解し、個別に抽象化された証拠と生の証拠の両方に対して検証される。 2つの挑戦的データセット上で2つのオープンソースLCMを用いてEAConを評価する。 その結果, EACon は請求項検証における LLM の性能を一貫して, 実質的に向上することを示した。

関連論文リスト

• Explainable Claim Verification via Knowledge-Grounded Reasoning with Large Language Models [36.91218391728405]
  本稿では,FOLK(First-Order-Logic-Guided Knowledge-Grounded Reasoning)を提案する。 複雑なクレームを検証し、注釈付きエビデンスを必要とせずに説明を生成することができる。 実験の結果,FOLKは3つのデータセットに対して高いベースラインを達成できた。
  論文  参考訳（メタデータ） (2023-10-08T18:04:05Z)
• Give Me More Details: Improving Fact-Checking with Latent Retrieval [58.706972228039604]
  証拠は、自動化された事実チェックにおいて重要な役割を果たす。 既存のファクトチェックシステムは、エビデンス文が与えられたと仮定するか、検索エンジンが返した検索スニペットを使用する。 資料から得られた全文を証拠として組み込んで,2つの豊富なデータセットを導入することを提案する。
  論文  参考訳（メタデータ） (2023-05-25T15:01:19Z)
• Complex Claim Verification with Evidence Retrieved in the Wild [73.19998942259073]
  Webから生の証拠を取り出すことによって,実世界のクレームをチェックするための,最初の完全自動化パイプラインを提示する。 私たちのパイプラインには,クレーム分解,生文書検索,きめ細かい証拠検索,クレーム中心の要約,正確性判定という5つのコンポーネントが含まれています。
  論文  参考訳（メタデータ） (2023-05-19T17:49:19Z)
• Decker: Double Check with Heterogeneous Knowledge for Commonsense Fact Verification [80.31112722910787]
  異種知識をブリッジ可能な常識的事実検証モデルであるDeckerを提案する。 CSQA2.0とCREAKの2つのコモンセンス事実検証ベンチマークデータセットの実験結果から,Deckerの有効性が示された。
  論文  参考訳（メタデータ） (2023-05-10T06:28:16Z)
• Read it Twice: Towards Faithfully Interpretable Fact Verification by Revisiting Evidence [59.81749318292707]
  本稿では,証拠の検索とクレームの検証を行うためにReReadという名前の事実検証モデルを提案する。 提案システムは,異なる設定下での最良のレポートモデルに対して,大幅な改善を実現することができる。
  論文  参考訳（メタデータ） (2023-05-02T03:23:14Z)
• WiCE: Real-World Entailment for Claims in Wikipedia [63.234352061821625]
  We propose WiCE, a new fine-fine textual entailment dataset built on natural claim and evidence pairs from Wikipedia。 標準クレームレベルのエンターメントに加えて、WiCEはクレームのサブ文単位に対するエンターメント判断を提供する。 我々のデータセットの真のクレームは、既存のモデルで対処できない検証と検索の問題に挑戦することを含んでいる。
  論文  参考訳（メタデータ） (2023-03-02T17:45:32Z)
• Generating Literal and Implied Subquestions to Fact-check Complex Claims [64.81832149826035]
  我々は、複雑なクレームを、そのクレームの正確性に影響を及ぼす「イエス・ノー・サブクエスト」の包括的集合に分解することに集中する。 我々は1000以上のクレームに対する分解のデータセットである ClaimDecomp を提示する。 これらのサブクエストは、関連する証拠を特定し、すべてのクレームを事実確認し、回答を通じて正確性を引き出すのに役立ちます。
  論文  参考訳（メタデータ） (2022-05-14T00:40:57Z)
• Topic-Aware Evidence Reasoning and Stance-Aware Aggregation for Fact Verification [19.130541561303293]
  本稿では,事実検証のための新たな話題認識型証拠推論とスタンス認識型アグリゲーションモデルを提案する。 2つのベンチマークデータセットで実施されたテストは、事実検証のためのいくつかの最先端アプローチよりも提案モデルの方が優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-02T14:33:12Z)
• Hierarchical Evidence Set Modeling for Automated Fact Extraction and Verification [5.836068916903788]
  階層的エビデンス・セット・モデリング(Heerarchical Evidence Set Modeling, HESM)は、エビデンス・セットを抽出し、サポート対象のクレームを検証するためのフレームワークである。 実験の結果,HESMは事実抽出とクレーム検証の7つの最先端手法より優れていた。
  論文  参考訳（メタデータ） (2020-10-10T22:27:17Z)
• DTCA: Decision Tree-based Co-Attention Networks for Explainable Claim Verification [16.144566353074314]
  本稿では,説明可能なクレーム検証の証拠を発見するための決定木に基づくコ・アテンション・モデル(DTCA)を提案する。 具体的には、まずDTE(Decision Tree-based Evidence Model)を構築し、透明で解釈可能な方法で、信頼性の高いコメントを証拠として選択する。 次に,コ・アテンション・セルフアテンション・ネットワーク(CaSa)を設計して,選択したエビデンスをクレームと相互作用させる。
  論文  参考訳（メタデータ） (2020-04-28T12:19:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。