論文の概要: Fact or Fiction: Verifying Scientific Claims

• arxiv url: http://arxiv.org/abs/2004.14974v6
• Date: Sat, 3 Oct 2020 04:31:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 04:32:01.094738
• Title: Fact or Fiction: Verifying Scientific Claims
• Title（参考訳）: Fact or Fiction: 科学的主張の検証
• Authors: David Wadden, Shanchuan Lin, Kyle Lo, Lucy Lu Wang, Madeleine van Zuylen, Arman Cohan, Hannaneh Hajishirzi
• Abstract要約: 本稿では,研究文献から,REFUTESやREFUTESが与えられた科学的主張であることを示す証拠を含む抄録を抽出する新たな課題である,科学的クレーム検証を紹介する。 SciFactは、1.4Kの専門家による科学的主張と、ラベルや合理性に注釈を付けたエビデンスを含む抽象概念を組み合わせたデータセットである。 このシステムは,CORD-19コーパスの証拠を同定することにより,新型コロナウイルス関連クレームを検証可能であることを示す。
• 参考スコア（独自算出の注目度）: 53.29101835904273
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce scientific claim verification, a new task to select abstracts from the research literature containing evidence that SUPPORTS or REFUTES a given scientific claim, and to identify rationales justifying each decision. To study this task, we construct SciFact, a dataset of 1.4K expert-written scientific claims paired with evidence-containing abstracts annotated with labels and rationales. We develop baseline models for SciFact, and demonstrate that simple domain adaptation techniques substantially improve performance compared to models trained on Wikipedia or political news. We show that our system is able to verify claims related to COVID-19 by identifying evidence from the CORD-19 corpus. Our experiments indicate that SciFact will provide a challenging testbed for the development of new systems designed to retrieve and reason over corpora containing specialized domain knowledge. Data and code for this new task are publicly available at https://github.com/allenai/scifact. A leaderboard and COVID-19 fact-checking demo are available at https://scifact.apps.allenai.org.
• Abstract（参考訳）: 科学クレーム検証(scientific claims verification)という,ある科学クレームを裏付ける証拠を含む研究文献から抽象概念を抽出し,各決定を正当化する根拠を同定する新たなタスクを導入する。 この課題を研究するために,ラベルや合理性に注釈が付されたエビデンスを含む抽象概念とペアリングされた1.4kの専門家による科学クレームのデータセットであるscifactを構築した。 我々は、scifactのベースラインモデルを開発し、wikipediaやpolitic newsでトレーニングされたモデルと比較して、単純なドメイン適応手法がパフォーマンスを大幅に向上させることを示した。 我々は,CORD-19コーパスの証拠を同定することにより,新型コロナウイルス関連の主張を検証できることを示す。 私たちの実験では、scifactは専門的なドメイン知識を含むコーパスを検索し推論するように設計された新しいシステムの開発に挑戦的なテストベッドを提供すると示しています。 この新しいタスクのデータとコードはhttps://github.com/allenai/scifact.comで公開されている。 leaderboardとcovid-19 fact-checkingのデモはhttps://scifact.apps.allenai.orgで公開されている。

関連論文リスト

• Scientific QA System with Verifiable Answers [0.0]
  我々は,オープンソースの科学的質問応答システムであるVerifAIプロジェクトを紹介した。 本システムの構成要素は,(1)科学的論文(ミストラル7B)上の意味論的検索技術と語彙的検索技術を組み合わせた情報検索システム,(2)微調整生成モデル(ミストラル7B)を用いた検索型生成(RAG)モジュール,(3)微調整DBERTaに基づく検証エンジン,である。
  論文  参考訳（メタデータ） (2024-07-16T08:21:02Z)
• SciDMT: A Large-Scale Corpus for Detecting Scientific Mentions [52.35520385083425]
  SciDMTは,科学的言及検出のための拡張および拡張されたコーパスである。 コーパスは,1)SciDMTの主コーパスは8万4千件の科学的論文と8百万件以上の弱い注釈付き言及アノテーションと,2)評価目的のために手作業で注釈付けされた100件の科学的論文からなる評価セットから構成される。
  論文  参考訳（メタデータ） (2024-06-20T22:03:21Z)
• SciRIFF: A Resource to Enhance Language Model Instruction-Following over Scientific Literature [80.49349719239584]
  SciRIFF(Scientific Resource for Instruction-Following and Finetuning, SciRIFF)は、54のタスクに対して137Kの命令追従デモのデータセットである。 SciRIFFは、幅広い科学分野の研究文献から情報を抽出し、合成することに焦点を当てた最初のデータセットである。
  論文  参考訳（メタデータ） (2024-06-10T21:22:08Z)
• Can Large Language Models Detect Misinformation in Scientific News Reporting? [1.0344642971058586]
  本稿では,科学的報告における誤情報の検出に大規模言語モデル(LLM)を用いることが可能であるかを検討する。 最初にラベル付きデータセットSciNewsを提示し、信頼できない情報源から抜粋された2.4万の科学ニュース記事を含む。 科学ニュース記事の科学的妥当性の次元を識別し、科学的誤報の自動検出にどのように組み込むかを検討する。
  論文  参考訳（メタデータ） (2024-02-22T04:07:00Z)
• Check-COVID: Fact-Checking COVID-19 News Claims with Scientific Evidence [6.443863980834019]
  Check-COVIDには、専門家が記載した1,504件のニュース記事と、科学雑誌の記事や検証ラベルの文章レベルの証拠が組み合わさっている。 抽出された(ジャーナリストによる)クレームと合成された(注釈による)クレームの両方を含む。
  論文  参考訳（メタデータ） (2023-05-29T17:39:22Z)
• SciFact-Open: Towards open-domain scientific claim verification [61.288725621156864]
  本稿では,科学的クレーム検証システムの性能評価を目的とした新しいテストコレクションであるSciFact-Openを提案する。 我々は、4つの最先端の科学的クレーム検証モデルの上位予測をプールし、注釈付けすることで、科学的クレームの証拠を収集する。 その結果,SciFact-Openへの一般化に苦慮する小形コーパス上で開発されたシステムは,少なくとも15F1の性能低下を示すことがわかった。
  論文  参考訳（メタデータ） (2022-10-25T05:45:00Z)
• Generating Scientific Claims for Zero-Shot Scientific Fact Checking [54.62086027306609]
  科学言語の複雑さと大量のトレーニングデータが不足しているため、自動科学的事実チェックは困難である。 科学的な文から1つ以上の原子的かつ検証可能なクレームを生成するための科学的クレーム生成を提案する。 また, バイオメディカルクレームのゼロショット事実チェックにも有用であることを示す。
  論文  参考訳（メタデータ） (2022-03-24T11:29:20Z)
• RerrFact: Reduced Evidence Retrieval Representations for Scientific Claim Verification [4.052777228128475]
  本稿では,各予測サブタスクに対して連続的に二項分類を行うモジュラー手法を提案する。 我々は、まず非関連な有理を区別し、与えられた主張に対する支持または反証する有理を識別する2段階のスタンス予測を行う。 実験的に、我々のシステムRerrFactは微調整もシンプルな設計もせず、モデルパラメータのごく一部はリーダーボード上で競争的に公正である。
  論文  参考訳（メタデータ） (2022-02-05T21:52:45Z)
• Misinformation Has High Perplexity [55.47422012881148]
  疑似クレームを教師なしの方法でデバンクするために, 難易度を活用することを提案する。 まず,これらの主張に類似した文に基づいて,科学的およびニュースソースから信頼性のある証拠を抽出する。 第2に,抽出したエビデンスを言語モデルにプライマリし,難易度スコアに基づいて与えられたクレームの正当性を評価する。
  論文  参考訳（メタデータ） (2020-06-08T15:13:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。