論文の概要: Benchmarking the Generation of Fact Checking Explanations

• arxiv url: http://arxiv.org/abs/2308.15202v1
• Date: Tue, 29 Aug 2023 10:40:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-30 14:40:05.284571
• Title: Benchmarking the Generation of Fact Checking Explanations
• Title（参考訳）: Fact Checking Explanations の生成のベンチマーク
• Authors: Daniel Russo, Serra Sinem Tekiroglu, Marco Guerini
• Abstract要約: 我々は、正当化の生成(クレームが真か偽かのどちらかに分類される理由をテキストで説明する)に焦点を当て、新しいデータセットと高度なベースラインでベンチマークする。 その結果,生産要約の正当性はクレーム情報から得られることがわかった。 クロスデータセット実験は性能劣化に悩まされるが、2つのデータセットの組み合わせでトレーニングされたユニークなモデルは、スタイル情報を効率的に保持することができる。
• 参考スコア（独自算出の注目度）: 19.363672064425504
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fighting misinformation is a challenging, yet crucial, task. Despite the growing number of experts being involved in manual fact-checking, this activity is time-consuming and cannot keep up with the ever-increasing amount of Fake News produced daily. Hence, automating this process is necessary to help curb misinformation. Thus far, researchers have mainly focused on claim veracity classification. In this paper, instead, we address the generation of justifications (textual explanation of why a claim is classified as either true or false) and benchmark it with novel datasets and advanced baselines. In particular, we focus on summarization approaches over unstructured knowledge (i.e. news articles) and we experiment with several extractive and abstractive strategies. We employed two datasets with different styles and structures, in order to assess the generalizability of our findings. Results show that in justification production summarization benefits from the claim information, and, in particular, that a claim-driven extractive step improves abstractive summarization performances. Finally, we show that although cross-dataset experiments suffer from performance degradation, a unique model trained on a combination of the two datasets is able to retain style information in an efficient manner.
• Abstract（参考訳）: 誤報と戦うことは難しいが、重要な課題だ。 手動の事実チェックに携わる専門家が増えているにもかかわらず、この活動は時間がかかり、毎日生産されるフェイクニュースの量に追随することができない。 したがって、このプロセスの自動化は誤った情報を抑制するのに役立つ。 これまでのところ、研究者は主に主張の妥当性の分類に焦点を当ててきた。 そこで本論文では, 正当性(主張が真か偽かのどちらかに分類される理由をテキストで説明する)の生成に対処し, 新たなデータセットと高度なベースラインでベンチマークする。 特に,非構造化知識(ニュース記事)に対する要約アプローチに注目し,抽出的・抽象的戦略を実験する。 結果の汎用性を評価するために,2つの異なるスタイルと構造からなるデータセットを用いた。 その結果,生産要約の正当化はクレーム情報から恩恵を受け,特にクレーム駆動抽出によって抽象的な要約性能が向上することが示唆された。 最後に、クロスデータセット実験は性能低下に苦しむが、2つのデータセットの組み合わせでトレーニングされたユニークなモデルは、効率的な方法でスタイル情報を保持できることを示す。

関連論文リスト

• GPT Self-Supervision for a Better Data Annotator [22.598300095822026]
  本稿では,GPT(Generative Pretrained Transformer)自己スーパービジョンアノテーション手法を提案する。 提案手法は1ショットのチューニングフェーズと生成フェーズから構成される。 復元されたデータと元のデータのアライメントスコアは、プロセスを洗練するための自己超越ナビゲータとして機能する。
  論文  参考訳（メタデータ） (2023-06-07T11:33:14Z)
• Factually Consistent Summarization via Reinforcement Learning with Textual Entailment Feedback [57.816210168909286]
  我々は,この問題を抽象的な要約システムで解くために,テキストエンテーメントモデルの最近の進歩を活用している。 我々は、事実整合性を最適化するために、レファレンスフリーのテキストエンターメント報酬を用いた強化学習を用いる。 自動測定と人的評価の両結果から,提案手法は生成した要約の忠実さ,サリエンス,簡潔さを著しく向上させることが示された。
  論文  参考訳（メタデータ） (2023-05-31T21:04:04Z)
• Modeling Entities as Semantic Points for Visual Information Extraction in the Wild [55.91783742370978]
  文書画像から鍵情報を正確かつ堅牢に抽出する手法を提案する。 我々は、エンティティを意味的ポイントとして明示的にモデル化する。つまり、エンティティの中心点は、異なるエンティティの属性と関係を記述する意味情報によって豊かになる。 提案手法は,従来の最先端モデルと比較して,エンティティラベルとリンクの性能を著しく向上させることができる。
  論文  参考訳（メタデータ） (2023-03-23T08:21:16Z)
• WiCE: Real-World Entailment for Claims in Wikipedia [63.234352061821625]
  We propose WiCE, a new fine-fine textual entailment dataset built on natural claim and evidence pairs from Wikipedia。 標準クレームレベルのエンターメントに加えて、WiCEはクレームのサブ文単位に対するエンターメント判断を提供する。 我々のデータセットの真のクレームは、既存のモデルで対処できない検証と検索の問題に挑戦することを含んでいる。
  論文  参考訳（メタデータ） (2023-03-02T17:45:32Z)
• Revisiting text decomposition methods for NLI-based factuality scoring of summaries [9.044665059626958]
  細粒度分解が必ずしも事実性スコアの勝利戦略であるとは限らないことを示す。 また,従来提案されていたエンテーメントに基づくスコアリング手法の小さな変更により,性能が向上することを示した。
  論文  参考訳（メタデータ） (2022-11-30T09:54:37Z)
• On Modality Bias Recognition and Reduction [70.69194431713825]
  マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。 本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。 本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
  論文  参考訳（メタデータ） (2022-02-25T13:47:09Z)
• A Review on Fact Extraction and Verification [19.373340472113703]
  本研究では,あるクレームの正当性を特定することを目的とした事実チェック問題について検討する。 我々は、Fact extract and verification(FEVER)タスクとそれに伴うデータセットに焦点を当てる。 このタスクは必須であり、偽ニュースの検出や医療クレームの検証といったアプリケーションの構築ブロックになる可能性がある。
  論文  参考訳（メタデータ） (2020-10-06T20:05:43Z)
• Few-Shot Learning for Opinion Summarization [117.70510762845338]
  オピニオン要約は、複数の文書で表現された主観的な情報を反映したテキストの自動生成である。 本研究では,要約テキストの生成をブートストラップするのには,少数の要約でも十分であることを示す。 提案手法は, 従来の抽出法および抽象法を, 自動的, 人的評価において大きく上回っている。
  論文  参考訳（メタデータ） (2020-04-30T15:37:38Z)
• Generating Fact Checking Explanations [52.879658637466605]
  まだ欠けているパズルの重要なピースは、プロセスの最も精巧な部分を自動化する方法を理解することです。 本稿では、これらの説明を利用可能なクレームコンテキストに基づいて自動生成する方法について、最初の研究を行う。 この結果から,個別に学習するのではなく,両目標を同時に最適化することで,事実確認システムの性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2020-04-13T05:23:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。