論文の概要: DialFact: A Benchmark for Fact-Checking in Dialogue

• arxiv url: http://arxiv.org/abs/2110.08222v1
• Date: Fri, 15 Oct 2021 17:34:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-18 13:41:45.748531
• Title: DialFact: A Benchmark for Fact-Checking in Dialogue
• Title（参考訳）: dialfact:対話におけるファクトチェックのベンチマーク
• Authors: Prakhar Gupta, Chien-Sheng Wu, Wenhao Liu and Caiming Xiong
• Abstract要約: われわれはDialFactという22,245の注釈付き会話クレームのベンチマークデータセットを構築し、ウィキペディアの証拠と組み合わせた。 FEVERのような非対話データでトレーニングされた既存のファクトチェックモデルは、我々のタスクでうまく機能しないことがわかった。 本稿では,対話におけるファクトチェック性能を効果的に向上する,シンプルなデータ効率のソリューションを提案する。
• 参考スコア（独自算出の注目度）: 56.63709206232572
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fact-checking is an essential tool to mitigate the spread of misinformation and disinformation, however, it has been often explored to verify formal single-sentence claims instead of casual conversational claims. To study the problem, we introduce the task of fact-checking in dialogue. We construct DialFact, a testing benchmark dataset of 22,245 annotated conversational claims, paired with pieces of evidence from Wikipedia. There are three sub-tasks in DialFact: 1) Verifiable claim detection task distinguishes whether a response carries verifiable factual information; 2) Evidence retrieval task retrieves the most relevant Wikipedia snippets as evidence; 3) Claim verification task predicts a dialogue response to be supported, refuted, or not enough information. We found that existing fact-checking models trained on non-dialogue data like FEVER fail to perform well on our task, and thus, we propose a simple yet data-efficient solution to effectively improve fact-checking performance in dialogue. We point out unique challenges in DialFact such as handling the colloquialisms, coreferences, and retrieval ambiguities in the error analysis to shed light on future research in this direction.
• Abstract（参考訳）: ファクトチェックは誤情報や偽情報の拡散を緩和するための重要なツールであるが、カジュアルな会話的主張ではなく、正式な単文主張を検証するためにしばしば研究されてきた。 そこで本研究では,対話におけるファクトチェックの課題を紹介する。 dialfactは22,245件のアノテートされた会話クレームのベンチマークデータセットで、wikipediaの証拠と組み合わせて構築する。 DialFactには3つのサブタスクがあります。 1)検証可能なクレーム検出タスクは,応答が検証可能な事実情報を有するか否かを識別する。 2) 証拠検索タスクは,最も関連するウィキペディアスニペットを証拠として検索する。 3)クレーム検証タスクは,対話応答の支持,否定,あるいは十分な情報不足を予測する。 FEVERのような非対話データで訓練された既存のファクトチェックモデルは、我々のタスクではうまく機能しないので、対話におけるファクトチェック性能を効果的に改善するための単純なデータ効率のソリューションを提案する。 我々は,この方向の今後の研究に光を当てるために,誤り解析におけるコロキズム,コリファレンス,検索の曖昧さを扱うなど,ダイヤルファクトにおけるユニークな課題を指摘する。

関連論文リスト

• How We Refute Claims: Automatic Fact-Checking through Flaw Identification and Explanation [4.376598435975689]
  本稿では、アスペクト生成や欠陥識別を含む、欠陥指向の事実チェックの新たな課題について検討する。 また、このタスク用に特別に設計された新しいフレームワークであるRefuteClaimを紹介します。 既存のデータセットが存在しないことから、専門家のレビューから洞察を抽出して変換して、関連する側面に変換し、欠陥を特定したデータセットであるFlawCheckを紹介します。
  論文  参考訳（メタデータ） (2024-01-27T06:06:16Z)
• EX-FEVER: A Dataset for Multi-hop Explainable Fact Verification [22.785622371421876]
  マルチホップで説明可能な事実検証のための先駆的データセットを提案する。 2ホップと3ホップの推論を含む6万件以上の主張により、それぞれがハイパーリンクされたウィキペディア文書から情報を要約して修正することによって作成される。 提案するEX-FEVERデータセットをベースラインとして,文書検索,説明生成,クレーム検証を行う。
  論文  参考訳（メタデータ） (2023-10-15T06:46:15Z)
• Give Me More Details: Improving Fact-Checking with Latent Retrieval [58.706972228039604]
  証拠は、自動化された事実チェックにおいて重要な役割を果たす。 既存のファクトチェックシステムは、エビデンス文が与えられたと仮定するか、検索エンジンが返した検索スニペットを使用する。 資料から得られた全文を証拠として組み込んで,2つの豊富なデータセットを導入することを提案する。
  論文  参考訳（メタデータ） (2023-05-25T15:01:19Z)
• GERE: Generative Evidence Retrieval for Fact Verification [57.78768817972026]
  本稿では,ジェネレーション方式で証拠を検索する最初のシステムであるGEREを提案する。 FEVERデータセットの実験結果は、GEREが最先端のベースラインよりも大幅に改善されていることを示している。
  論文  参考訳（メタデータ） (2022-04-12T03:49:35Z)
• Assessing Effectiveness of Using Internal Signals for Check-Worthy Claim Identification in Unlabeled Data for Automated Fact-Checking [6.193231258199234]
  本稿では,偽ニュース記事からチェック価値のあるクレーム文を特定する手法について検討する。 我々は2つの内部監督信号(見出しと抽象的な要約)を利用して文をランク付けする。 見出しは、ファクトチェックのWebサイトがクレームを記述する方法とよく似ているが、要約ベースのパイプラインは、エンドツーエンドのファクトチェックシステムにとって最も有望である。
  論文  参考訳（メタデータ） (2021-11-02T16:17:20Z)
• HoVer: A Dataset for Many-Hop Fact Extraction And Claim Verification [74.66819506353086]
  HoVerはマルチホップエビデンス抽出と事実検証のためのデータセットである。 クレームに関連するいくつかのウィキペディア記事から事実を抽出するモデルに挑戦する。 3/4ホップのクレームのほとんどは複数の文で書かれており、長距離依存関係を理解する複雑さが増している。
  論文  参考訳（メタデータ） (2020-11-05T20:33:11Z)
• A Review on Fact Extraction and Verification [19.373340472113703]
  本研究では,あるクレームの正当性を特定することを目的とした事実チェック問題について検討する。 我々は、Fact extract and verification(FEVER)タスクとそれに伴うデータセットに焦点を当てる。 このタスクは必須であり、偽ニュースの検出や医療クレームの検証といったアプリケーションの構築ブロックになる可能性がある。
  論文  参考訳（メタデータ） (2020-10-06T20:05:43Z)
• Generating Fact Checking Explanations [52.879658637466605]
  まだ欠けているパズルの重要なピースは、プロセスの最も精巧な部分を自動化する方法を理解することです。 本稿では、これらの説明を利用可能なクレームコンテキストに基づいて自動生成する方法について、最初の研究を行う。 この結果から,個別に学習するのではなく,両目標を同時に最適化することで,事実確認システムの性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2020-04-13T05:23:25Z)
• Claim Check-Worthiness Detection as Positive Unlabelled Learning [53.24606510691877]
  クレームチェックの信頼性検出はファクトチェックシステムにおいて重要な要素である。 これらの課題の根底にあるクレームチェックの信頼性検出における中心的な課題を照明する。 我々の最良の手法は、正の非競合学習の変種を用いて、これを自動的に修正する統一的なアプローチである。
  論文  参考訳（メタデータ） (2020-03-05T16:06:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。