論文の概要: SciFact-Open: Towards open-domain scientific claim verification

• arxiv url: http://arxiv.org/abs/2210.13777v1
• Date: Tue, 25 Oct 2022 05:45:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-26 13:09:20.233925
• Title: SciFact-Open: Towards open-domain scientific claim verification
• Title（参考訳）: scifact-open:オープンドメインの科学クレーム検証に向けて
• Authors: David Wadden, Kyle Lo, Bailey Kuehl, Arman Cohan, Iz Beltagy, Lucy Lu Wang, Hannaneh Hajishirzi
• Abstract要約: 本稿では,科学的クレーム検証システムの性能評価を目的とした新しいテストコレクションであるSciFact-Openを提案する。 我々は、4つの最先端の科学的クレーム検証モデルの上位予測をプールし、注釈付けすることで、科学的クレームの証拠を収集する。 その結果,SciFact-Openへの一般化に苦慮する小形コーパス上で開発されたシステムは,少なくとも15F1の性能低下を示すことがわかった。
• 参考スコア（独自算出の注目度）: 61.288725621156864
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While research on scientific claim verification has led to the development of powerful systems that appear to approach human performance, these approaches have yet to be tested in a realistic setting against large corpora of scientific literature. Moving to this open-domain evaluation setting, however, poses unique challenges; in particular, it is infeasible to exhaustively annotate all evidence documents. In this work, we present SciFact-Open, a new test collection designed to evaluate the performance of scientific claim verification systems on a corpus of 500K research abstracts. Drawing upon pooling techniques from information retrieval, we collect evidence for scientific claims by pooling and annotating the top predictions of four state-of-the-art scientific claim verification models. We find that systems developed on smaller corpora struggle to generalize to SciFact-Open, exhibiting performance drops of at least 15 F1. In addition, analysis of the evidence in SciFact-Open reveals interesting phenomena likely to appear when claim verification systems are deployed in practice, e.g., cases where the evidence supports only a special case of the claim. Our dataset is available at https://github.com/dwadden/scifact-open.
• Abstract（参考訳）: 科学的クレーム検証の研究は、人間のパフォーマンスに近づいているように見える強力なシステムの開発につながっているが、これらのアプローチは科学文献の大きなコーパスに対して現実的にテストされていない。 しかし、このオープンドメイン評価設定への移行はユニークな課題をもたらし、特にすべての証拠文書を徹底的に注釈付けすることは不可能である。 本研究では,500K研究要約コーパス上での科学的クレーム検証システムの性能評価を目的とした新しいテストコレクションであるSciFact-Openを紹介する。 情報検索の手法を用いて,4つの最先端の科学的クレーム検証モデルの上位予測をプールし,注釈付けすることで,科学的クレームの証拠を収集する。 その結果,SciFact-Openへの一般化に苦慮する小形コーパス上で開発されたシステムは,少なくとも15F1の性能低下を示すことがわかった。 さらに、scifact-openにおける証拠の分析により、クレーム検証システムが実際にデプロイされた場合、例えば、証拠がクレームの特別な場合のみをサポートする場合など、興味深い現象が現れることが分かる。 私たちのデータセットはhttps://github.com/dwadden/scifact-openで利用可能です。

関連論文リスト

• Comparing Knowledge Sources for Open-Domain Scientific Claim Verification [6.726255259929497]
  PubMedは特殊なバイオメディカルクレームとうまく連携するが、Wikipediaは日常的な健康問題に向いている。 結果について議論し、頻繁な検索パターンと課題を概説し、将来有望な方向性を提供する。
  論文  参考訳（メタデータ） (2024-02-05T09:57:15Z)
• Large Language Models for Automated Open-domain Scientific Hypotheses Discovery [50.40483334131271]
  本研究は,社会科学の学術的仮説発見のための最初のデータセットを提案する。 従来のデータセットとは異なり、新しいデータセットには、(1)オープンドメインデータ(RAW Webコーパス)を観察として使用すること、(2)人間性にさらに新しい仮説を提案することが必要である。 パフォーマンス向上のための3つのフィードバック機構を含む,タスクのためのマルチモジュールフレームワークが開発されている。
  論文  参考訳（メタデータ） (2023-09-06T05:19:41Z)
• SCITAB: A Challenging Benchmark for Compositional Reasoning and Claim Verification on Scientific Tables [68.76415918462418]
  本報告では,1.2Kの専門的な科学的クレームからなる,挑戦的な評価データセットであるSCITABについて述べる。 広範な評価を通じて、SCITABは最先端のモデルに重大な課題をもたらすことを示した。 SCITABは,表の接地,主張のあいまいさ,構成的推論など,いくつかの独特な課題を明らかにした。
  論文  参考訳（メタデータ） (2023-05-22T16:13:50Z)
• Modeling Information Change in Science Communication with Semantically Matched Paraphrases [50.67030449927206]
  SPICEDは、情報変化の度合いに注釈を付けた科学的な発見の最初のパラフレーズデータセットである。 SPICEDには、ニュース記事、ソーシャルメディアの議論、オリジナル論文の全文から抽出された6000の科学的発見ペアが含まれている。 SPICEDで訓練されたモデルは、実世界の科学的主張の事実チェックのための証拠検索において下流のパフォーマンスを改善する。
  論文  参考訳（メタデータ） (2022-10-24T07:44:38Z)
• Generating Scientific Claims for Zero-Shot Scientific Fact Checking [54.62086027306609]
  科学言語の複雑さと大量のトレーニングデータが不足しているため、自動科学的事実チェックは困難である。 科学的な文から1つ以上の原子的かつ検証可能なクレームを生成するための科学的クレーム生成を提案する。 また, バイオメディカルクレームのゼロショット事実チェックにも有用であることを示す。
  論文  参考訳（メタデータ） (2022-03-24T11:29:20Z)
• RerrFact: Reduced Evidence Retrieval Representations for Scientific Claim Verification [4.052777228128475]
  本稿では,各予測サブタスクに対して連続的に二項分類を行うモジュラー手法を提案する。 我々は、まず非関連な有理を区別し、与えられた主張に対する支持または反証する有理を識別する2段階のスタンス予測を行う。 実験的に、我々のシステムRerrFactは微調整もシンプルな設計もせず、モデルパラメータのごく一部はリーダーボード上で競争的に公正である。
  論文  参考訳（メタデータ） (2022-02-05T21:52:45Z)
• LongChecker: Improving scientific claim verification by modeling full-abstract context [38.73116177387815]
  科学的クレーム検証のためのLongCheckerシステムについて紹介する。 科学的主張と証拠を含む研究の要約が与えられた後、LongCheckerは正当性ラベルを予測し、支持する有理性を特定する。 利用可能なすべてのコンテキストに基づいてラベル決定を行うことで、LongCheckerはこの種の理解を必要とするケースでより良いパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2021-12-02T23:37:16Z)
• SciClops: Detecting and Contextualizing Scientific Claims for Assisting Manual Fact-Checking [7.507186058512835]
  本稿では,オンライン科学の誤報に対処する手法であるSciClopsについて述べる。 SciClopsは、オンラインニュース記事やソーシャルメディア投稿に見られる科学的主張を処理するための3つの主要なステップを含んでいる。 複雑な科学的クレームの検証において、非専門家のファクトチェックを効果的に支援し、商業的なファクトチェックシステムより優れている。
  論文  参考訳（メタデータ） (2021-10-25T16:35:58Z)
• Fact or Fiction: Verifying Scientific Claims [53.29101835904273]
  本稿では,研究文献から,REFUTESやREFUTESが与えられた科学的主張であることを示す証拠を含む抄録を抽出する新たな課題である,科学的クレーム検証を紹介する。 SciFactは、1.4Kの専門家による科学的主張と、ラベルや合理性に注釈を付けたエビデンスを含む抽象概念を組み合わせたデータセットである。 このシステムは,CORD-19コーパスの証拠を同定することにより,新型コロナウイルス関連クレームを検証可能であることを示す。
  論文  参考訳（メタデータ） (2020-04-30T17:22:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。