論文の概要: SciClaimHunt: A Large Dataset for Evidence-based Scientific Claim Verification
- arxiv url: http://arxiv.org/abs/2502.10003v1
- Date: Fri, 14 Feb 2025 08:34:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-17 18:06:55.230332
- Title: SciClaimHunt: A Large Dataset for Evidence-based Scientific Claim Verification
- Title（参考訳）: SciClaimHunt: 証拠に基づく科学的クレーム検証のための大規模なデータセット
- Authors: Sujit Kumar, Anshul Sharma, Siddharth Hemant Khincha, Gargi Shroff, Sanasam Ranbir Singh, Rahul Mishra,
- Abstract要約: 本稿では,SciClaimHuntとSciClaimHunt_Numの2つの大規模データセットを紹介する。
本稿では,これらのデータセットの有効性を評価するために,科学的クレーム検証に適したベースラインモデルをいくつか提案する。
SciClaimHuntとSciClaimHunt_Numで訓練されたモデルと既存の科学的クレーム検証データセットを比較し,その品質と信頼性を評価する。
- 参考スコア（独自算出の注目度）: 7.421845364041002
- License:
- Abstract: Verifying scientific claims presents a significantly greater challenge than verifying political or news-related claims. Unlike the relatively broad audience for political claims, the users of scientific claim verification systems can vary widely, ranging from researchers testing specific hypotheses to everyday users seeking information on a medication. Additionally, the evidence for scientific claims is often highly complex, involving technical terminology and intricate domain-specific concepts that require specialized models for accurate verification. Despite considerable interest from the research community, there is a noticeable lack of large-scale scientific claim verification datasets to benchmark and train effective models. To bridge this gap, we introduce two large-scale datasets, SciClaimHunt and SciClaimHunt_Num, derived from scientific research papers. We propose several baseline models tailored for scientific claim verification to assess the effectiveness of these datasets. Additionally, we evaluate models trained on SciClaimHunt and SciClaimHunt_Num against existing scientific claim verification datasets to gauge their quality and reliability. Furthermore, we conduct human evaluations of the claims in proposed datasets and perform error analysis to assess the effectiveness of the proposed baseline models. Our findings indicate that SciClaimHunt and SciClaimHunt_Num serve as highly reliable resources for training models in scientific claim verification.
- Abstract（参考訳）: 科学的主張の検証は、政治的またはニュース関連の主張の検証よりもはるかに大きな課題である。
比較的幅広い政治的主張の読者とは異なり、科学的な主張の検証システムの利用者は、特定の仮説をテストする研究者から、薬物に関する情報を求める日々のユーザーまで、広範囲にわたる可能性がある。
さらに、科学的主張の証拠は、しばしば非常に複雑であり、正確な検証のために特別なモデルを必要とする専門用語と複雑なドメイン固有の概念を含んでいる。
研究コミュニティからのかなりの関心にもかかわらず、効果的なモデルのベンチマークとトレーニングを行うための大規模な科学的クレーム検証データセットが欠如している。
このギャップを埋めるために、科学論文から派生した2つの大規模データセット、SciClaimHuntとSciClaimHunt_Numを導入する。
本稿では,これらのデータセットの有効性を評価するために,科学的クレーム検証に適したベースラインモデルをいくつか提案する。
さらに,SciClaimHuntとSciClaimHunt_Numでトレーニングしたモデルと,既存の科学的クレーム検証データセットを比較し,その品質と信頼性を評価する。
さらに,提案したデータセットにおけるクレームの人間による評価を行い,提案したベースラインモデルの有効性を評価するために誤り解析を行う。
以上の結果から,SciClaimHuntとSciClaimHunt_Numは,科学的クレーム検証におけるトレーニングモデルの信頼性の高い資源であることがわかった。
関連論文リスト
- Smoke and Mirrors in Causal Downstream Tasks [59.90654397037007]
本稿では, 治療効果推定の因果推論タスクについて検討し, 高次元観察において利害関係が記録されている。
最先端の視覚バックボーンから微調整した6つの480モデルを比較し、サンプリングとモデリングの選択が因果推定の精度に大きく影響することを発見した。
以上の結果から,今後のベンチマークでは,下流の科学的問題,特に因果的な問題について慎重に検討すべきであることが示唆された。
論文 参考訳（メタデータ） (2024-05-27T13:26:34Z) - Evaluating the Effectiveness of Retrieval-Augmented Large Language
Models in Scientific Document Reasoning [0.0]
LLM(Large Language Model)は、しばしば幻覚と呼ばれる、もっともらしいが事実ではない情報を提供する。
Retrieval-augmented LLMは、外部データソースから関連する情報を取得することによって、これらの問題を解決するための非パラメトリックなアプローチを提供する。
我々はこれらのモデルを科学的文書推論タスクで行う能力において批判的に評価する。
論文 参考訳（メタデータ） (2023-11-07T21:09:57Z) - SCITAB: A Challenging Benchmark for Compositional Reasoning and Claim
Verification on Scientific Tables [68.76415918462418]
本報告では,1.2Kの専門的な科学的クレームからなる,挑戦的な評価データセットであるSCITABについて述べる。
広範な評価を通じて、SCITABは最先端のモデルに重大な課題をもたらすことを示した。
SCITABは,表の接地,主張のあいまいさ,構成的推論など,いくつかの独特な課題を明らかにした。
論文 参考訳（メタデータ） (2023-05-22T16:13:50Z) - SciFact-Open: Towards open-domain scientific claim verification [61.288725621156864]
本稿では,科学的クレーム検証システムの性能評価を目的とした新しいテストコレクションであるSciFact-Openを提案する。
我々は、4つの最先端の科学的クレーム検証モデルの上位予測をプールし、注釈付けすることで、科学的クレームの証拠を収集する。
その結果,SciFact-Openへの一般化に苦慮する小形コーパス上で開発されたシステムは,少なくとも15F1の性能低下を示すことがわかった。
論文 参考訳（メタデータ） (2022-10-25T05:45:00Z) - Modeling Information Change in Science Communication with Semantically
Matched Paraphrases [50.67030449927206]
SPICEDは、情報変化の度合いに注釈を付けた科学的な発見の最初のパラフレーズデータセットである。
SPICEDには、ニュース記事、ソーシャルメディアの議論、オリジナル論文の全文から抽出された6000の科学的発見ペアが含まれている。
SPICEDで訓練されたモデルは、実世界の科学的主張の事実チェックのための証拠検索において下流のパフォーマンスを改善する。
論文 参考訳（メタデータ） (2022-10-24T07:44:38Z) - Generating Scientific Claims for Zero-Shot Scientific Fact Checking [54.62086027306609]
科学言語の複雑さと大量のトレーニングデータが不足しているため、自動科学的事実チェックは困難である。
科学的な文から1つ以上の原子的かつ検証可能なクレームを生成するための科学的クレーム生成を提案する。
また, バイオメディカルクレームのゼロショット事実チェックにも有用であることを示す。
論文 参考訳（メタデータ） (2022-03-24T11:29:20Z) - RerrFact: Reduced Evidence Retrieval Representations for Scientific
Claim Verification [4.052777228128475]
本稿では,各予測サブタスクに対して連続的に二項分類を行うモジュラー手法を提案する。
我々は、まず非関連な有理を区別し、与えられた主張に対する支持または反証する有理を識別する2段階のスタンス予測を行う。
実験的に、我々のシステムRerrFactは微調整もシンプルな設計もせず、モデルパラメータのごく一部はリーダーボード上で競争的に公正である。
論文 参考訳（メタデータ） (2022-02-05T21:52:45Z) - SciClops: Detecting and Contextualizing Scientific Claims for Assisting
Manual Fact-Checking [7.507186058512835]
本稿では,オンライン科学の誤報に対処する手法であるSciClopsについて述べる。
SciClopsは、オンラインニュース記事やソーシャルメディア投稿に見られる科学的主張を処理するための3つの主要なステップを含んでいる。
複雑な科学的クレームの検証において、非専門家のファクトチェックを効果的に支援し、商業的なファクトチェックシステムより優れている。
論文 参考訳（メタデータ） (2021-10-25T16:35:58Z) - Fact or Fiction: Verifying Scientific Claims [53.29101835904273]
本稿では,研究文献から,REFUTESやREFUTESが与えられた科学的主張であることを示す証拠を含む抄録を抽出する新たな課題である,科学的クレーム検証を紹介する。
SciFactは、1.4Kの専門家による科学的主張と、ラベルや合理性に注釈を付けたエビデンスを含む抽象概念を組み合わせたデータセットである。
このシステムは,CORD-19コーパスの証拠を同定することにより,新型コロナウイルス関連クレームを検証可能であることを示す。
論文 参考訳（メタデータ） (2020-04-30T17:22:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。