論文の概要: Generating Scientific Claims for Zero-Shot Scientific Fact Checking

• arxiv url: http://arxiv.org/abs/2203.12990v1
• Date: Thu, 24 Mar 2022 11:29:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-25 13:54:09.221020
• Title: Generating Scientific Claims for Zero-Shot Scientific Fact Checking
• Title（参考訳）: ゼロショット科学ファクトチェックのための科学的クレームの生成
• Authors: Dustin Wright, David Wadden, Kyle Lo, Bailey Kuehl, Arman Cohan, Isabelle Augenstein, and Lucy Lu Wang
• Abstract要約: 科学言語の複雑さと大量のトレーニングデータが不足しているため、自動科学的事実チェックは困難である。 科学的な文から1つ以上の原子的かつ検証可能なクレームを生成するための科学的クレーム生成を提案する。 また, バイオメディカルクレームのゼロショット事実チェックにも有用であることを示す。
• 参考スコア（独自算出の注目度）: 54.62086027306609
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automated scientific fact checking is difficult due to the complexity of scientific language and a lack of significant amounts of training data, as annotation requires domain expertise. To address this challenge, we propose scientific claim generation, the task of generating one or more atomic and verifiable claims from scientific sentences, and demonstrate its usefulness in zero-shot fact checking for biomedical claims. We propose CLAIMGEN-BART, a new supervised method for generating claims supported by the literature, as well as KBIN, a novel method for generating claim negations. Additionally, we adapt an existing unsupervised entity-centric method of claim generation to biomedical claims, which we call CLAIMGEN-ENTITY. Experiments on zero-shot fact checking demonstrate that both CLAIMGEN-ENTITY and CLAIMGEN-BART, coupled with KBIN, achieve up to 90% performance of fully supervised models trained on manually annotated claims and evidence. A rigorous evaluation study demonstrates significant improvement in generated claim and negation quality over existing baselines
• Abstract（参考訳）: アノテーションはドメインの専門知識を必要とするため、科学的言語の複雑さと大量のトレーニングデータの欠如のため、自動科学的事実チェックは難しい。 この課題に対処するため,我々は,科学的文から1つ以上の原子的かつ検証可能なクレームを生成するタスクである科学的クレーム生成を提案し,その有用性を示す。 文献が支持するクレームを生成するための新しい管理手法であるCLAIMGEN-BARTと,クレームを否定する新しい方法であるKBINを提案する。 さらに,CLAIMGEN-ENTITYと呼ばれる,既存の教師なしエンティティ中心のクレーム生成手法をバイオメディカルクレームに適用する。 ゼロショット事実チェックの実験では、CLAIMGEN-ENTITYとCLAIMGEN-BARTはKBINと組み合わせて、手動で注釈付けされたクレームとエビデンスに基づいて訓練された完全教師付きモデルの90%のパフォーマンスを達成した。 厳密な評価研究は、既存のベースラインよりも生成クレームと否定品質を著しく向上させる

関連論文リスト

• Robust Claim Verification Through Fact Detection [17.29665711917281]
  我々の新しいアプローチであるFactDetectは、大規模言語モデル(LLM)を利用して、証拠から簡潔な事実文を生成する。 生成された事実は、クレームとエビデンスと組み合わせられる。 提案手法は,F1スコアにおいて,教師付きクレーム検証モデルにおいて,15%の競合結果を示す。
  論文  参考訳（メタデータ） (2024-07-25T20:03:43Z)
• Missci: Reconstructing Fallacies in Misrepresented Science [84.32990746227385]
  ソーシャルネットワーク上の健康関連の誤報は、意思決定の貧弱さと現実世界の危険につながる可能性がある。 ミスシは、誤った推論のための新しい議論理論モデルである。 大規模言語モデルの批判的推論能力をテストするためのデータセットとしてMissciを提案する。
  論文  参考訳（メタデータ） (2024-06-05T12:11:10Z)
• SCITAB: A Challenging Benchmark for Compositional Reasoning and Claim Verification on Scientific Tables [68.76415918462418]
  本報告では,1.2Kの専門的な科学的クレームからなる,挑戦的な評価データセットであるSCITABについて述べる。 広範な評価を通じて、SCITABは最先端のモデルに重大な課題をもたらすことを示した。 SCITABは,表の接地,主張のあいまいさ,構成的推論など,いくつかの独特な課題を明らかにした。
  論文  参考訳（メタデータ） (2023-05-22T16:13:50Z)
• SciFact-Open: Towards open-domain scientific claim verification [61.288725621156864]
  本稿では,科学的クレーム検証システムの性能評価を目的とした新しいテストコレクションであるSciFact-Openを提案する。 我々は、4つの最先端の科学的クレーム検証モデルの上位予測をプールし、注釈付けすることで、科学的クレームの証拠を収集する。 その結果,SciFact-Openへの一般化に苦慮する小形コーパス上で開発されたシステムは,少なくとも15F1の性能低下を示すことがわかった。
  論文  参考訳（メタデータ） (2022-10-25T05:45:00Z)
• SciClops: Detecting and Contextualizing Scientific Claims for Assisting Manual Fact-Checking [7.507186058512835]
  本稿では,オンライン科学の誤報に対処する手法であるSciClopsについて述べる。 SciClopsは、オンラインニュース記事やソーシャルメディア投稿に見られる科学的主張を処理するための3つの主要なステップを含んでいる。 複雑な科学的クレームの検証において、非専門家のファクトチェックを効果的に支援し、商業的なファクトチェックシステムより優れている。
  論文  参考訳（メタデータ） (2021-10-25T16:35:58Z)
• COVID-Fact: Fact Extraction and Verification of Real-World Claims on COVID-19 Pandemic [12.078052727772718]
  我々は、COVID-19パンデミックに関する4,086ドルという、FEVERに似たデータセットのCOVID-Factを紹介します。 データセットには、クレーム、クレームの証拠、および証拠によって否定される矛盾するクレームが含まれている。
  論文  参考訳（メタデータ） (2021-06-07T16:59:46Z)
• Misinformation Has High Perplexity [55.47422012881148]
  疑似クレームを教師なしの方法でデバンクするために, 難易度を活用することを提案する。 まず,これらの主張に類似した文に基づいて,科学的およびニュースソースから信頼性のある証拠を抽出する。 第2に,抽出したエビデンスを言語モデルにプライマリし,難易度スコアに基づいて与えられたクレームの正当性を評価する。
  論文  参考訳（メタデータ） (2020-06-08T15:13:44Z)
• Fact or Fiction: Verifying Scientific Claims [53.29101835904273]
  本稿では,研究文献から,REFUTESやREFUTESが与えられた科学的主張であることを示す証拠を含む抄録を抽出する新たな課題である,科学的クレーム検証を紹介する。 SciFactは、1.4Kの専門家による科学的主張と、ラベルや合理性に注釈を付けたエビデンスを含む抽象概念を組み合わせたデータセットである。 このシステムは,CORD-19コーパスの証拠を同定することにより,新型コロナウイルス関連クレームを検証可能であることを示す。
  論文  参考訳（メタデータ） (2020-04-30T17:22:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。