論文の概要: Comparing Knowledge Sources for Open-Domain Scientific Claim Verification

• arxiv url: http://arxiv.org/abs/2402.02844v1
• Date: Mon, 5 Feb 2024 09:57:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-06 17:14:50.334949
• Title: Comparing Knowledge Sources for Open-Domain Scientific Claim Verification
• Title（参考訳）: オープンドメイン科学的クレーム検証のための知識ソースの比較
• Authors: Juraj Vladika, Florian Matthes
• Abstract要約: PubMedは特殊なバイオメディカルクレームとうまく連携するが、Wikipediaは日常的な健康問題に向いている。 結果について議論し、頻繁な検索パターンと課題を概説し、将来有望な方向性を提供する。
• 参考スコア（独自算出の注目度）: 6.726255259929497
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The increasing rate at which scientific knowledge is discovered and health claims shared online has highlighted the importance of developing efficient fact-checking systems for scientific claims. The usual setting for this task in the literature assumes that the documents containing the evidence for claims are already provided and annotated or contained in a limited corpus. This renders the systems unrealistic for real-world settings where knowledge sources with potentially millions of documents need to be queried to find relevant evidence. In this paper, we perform an array of experiments to test the performance of open-domain claim verification systems. We test the final verdict prediction of systems on four datasets of biomedical and health claims in different settings. While keeping the pipeline's evidence selection and verdict prediction parts constant, document retrieval is performed over three common knowledge sources (PubMed, Wikipedia, Google) and using two different information retrieval techniques. We show that PubMed works better with specialized biomedical claims, while Wikipedia is more suited for everyday health concerns. Likewise, BM25 excels in retrieval precision, while semantic search in recall of relevant evidence. We discuss the results, outline frequent retrieval patterns and challenges, and provide promising future directions.
• Abstract（参考訳）: 科学的知識が発見され、健康的な主張がオンラインで共有される速度は、科学的主張のための効果的な事実チェックシステムの開発の重要性を強調している。 文献におけるこのタスクの通常の設定は、クレームの証拠を含む文書が既に提供され、注釈が付されているか、限定されたコーパスに含まれていると仮定している。 これは、数百万のドキュメントを持つ知識ソースを問い合わせて関連する証拠を見つける必要がある現実世界の環境では、システムが非現実的になる。 本稿では,オープンドメインクレーム検証システムの性能をテストするために,一連の実験を行う。 バイオメディカルおよびヘルスクレームの4つのデータセット上で,システムの最終評決予測を異なる設定で検証する。 パイプラインの証拠選択と評決予測部を一定に保ちながら、文書検索は3つの共通知識ソース(pubmed、wikipedia、google)で行われ、2つの異なる情報検索技術を用いて行われる。 PubMedは特殊なバイオメディカルクレームとうまく連携するが、Wikipediaは日常的な健康問題に向いている。 同様に、BM25は検索精度が優れ、セマンティック検索は関連する証拠を思い出す。 結果について議論し,検索パターンや課題を概説し,今後の方向性を期待する。

関連論文リスト

• Identifying and Aligning Medical Claims Made on Social Media with Medical Evidence [0.12277343096128711]
  医療クレームの特定、これらのクレームからの医療語彙の抽出、特定された医療クレームに関連する証拠の検索という3つの中核課題について検討する。 本稿では,これらの中核的タスクをそれぞれ支援するために,合成医療クレームを生成できる新しいシステムを提案する。
  論文  参考訳（メタデータ） (2024-05-18T07:50:43Z)
• Improving Health Question Answering with Reliable and Time-Aware Evidence Retrieval [5.69361786082969]
  本研究は,オープンドメインのQA設定に焦点をあて,重要な課題は,まず大きな知識ベースで関連する証拠を明らかにすることである。 一般的な検索対象QAパイプラインとPubMedを信頼できる医療研究資料のコレクションとして活用することにより、3つの多様なデータセットからの健康問題に答える。 以上の結果から,検索した文書の量を削減し,最近かつ高度に引用された文書を優先することで,最終マクロF1スコアを最大10%向上させることができることがわかった。
  論文  参考訳（メタデータ） (2024-04-12T09:56:12Z)
• What Makes Medical Claims (Un)Verifiable? Analyzing Entity and Relation Properties for Fact Verification [8.086400003948143]
  BEAR-Factコーパス(BEAR-Fact corpus)は、科学的事実検証のための最初のコーパスである。 クレームテキストから純粋に証拠検索の成功を確実に推定できることを示す。 データセットはhttp://www.ims.uni-stuttgart.de/data/bioclaimで公開されている。
  論文  参考訳（メタデータ） (2024-02-02T12:27:58Z)
• HealthFC: Verifying Health Claims with Evidence-Based Medical Fact-Checking [5.065947993017158]
  HealthFCは、ドイツ語と英語で750件の健康関連クレームのデータセットで、医療専門家による正確さをラベル付けしている。 データセットの分析を行い、その特性と課題を強調します。 データセットは、将来の使用の可能性が高い、挑戦的なテストベッドであることを示す。
  論文  参考訳（メタデータ） (2023-09-15T16:05:48Z)
• Give Me More Details: Improving Fact-Checking with Latent Retrieval [58.706972228039604]
  証拠は、自動化された事実チェックにおいて重要な役割を果たす。 既存のファクトチェックシステムは、エビデンス文が与えられたと仮定するか、検索エンジンが返した検索スニペットを使用する。 資料から得られた全文を証拠として組み込んで,2つの豊富なデータセットを導入することを提案する。
  論文  参考訳（メタデータ） (2023-05-25T15:01:19Z)
• Complex Claim Verification with Evidence Retrieved in the Wild [73.19998942259073]
  Webから生の証拠を取り出すことによって,実世界のクレームをチェックするための,最初の完全自動化パイプラインを提示する。 私たちのパイプラインには,クレーム分解,生文書検索,きめ細かい証拠検索,クレーム中心の要約,正確性判定という5つのコンポーネントが含まれています。
  論文  参考訳（メタデータ） (2023-05-19T17:49:19Z)
• SciFact-Open: Towards open-domain scientific claim verification [61.288725621156864]
  本稿では,科学的クレーム検証システムの性能評価を目的とした新しいテストコレクションであるSciFact-Openを提案する。 我々は、4つの最先端の科学的クレーム検証モデルの上位予測をプールし、注釈付けすることで、科学的クレームの証拠を収集する。 その結果,SciFact-Openへの一般化に苦慮する小形コーパス上で開発されたシステムは,少なくとも15F1の性能低下を示すことがわかった。
  論文  参考訳（メタデータ） (2022-10-25T05:45:00Z)
• EBOCA: Evidences for BiOmedical Concepts Association Ontology [55.41644538483948]
  本論文は,生物医学領域の概念とそれらの関連性を記述するオントロジーであるEBOCAと,それらの関連性を支持するエビデンスを提案する。 DISNETのサブセットから得られるテストデータとテキストからの自動アソシエーション抽出が変換され、実際のシナリオで使用できる知識グラフが作成されるようになった。
  論文  参考訳（メタデータ） (2022-08-01T18:47:03Z)
• GERE: Generative Evidence Retrieval for Fact Verification [57.78768817972026]
  本稿では,ジェネレーション方式で証拠を検索する最初のシステムであるGEREを提案する。 FEVERデータセットの実験結果は、GEREが最先端のベースラインよりも大幅に改善されていることを示している。
  論文  参考訳（メタデータ） (2022-04-12T03:49:35Z)
• CitationIE: Leveraging the Citation Graph for Scientific Information Extraction [89.33938657493765]
  引用論文と引用論文の参照リンクの引用グラフを使用する。 最先端技術に対するエンド・ツー・エンドの情報抽出の大幅な改善を観察する。
  論文  参考訳（メタデータ） (2021-06-03T03:00:12Z)
• On the Combined Use of Extrinsic Semantic Resources for Medical Information Search [0.0]
  本研究は,頭部医学的概念を冗長な問合せで強調・拡張する枠組みを開発する。 また、意味的に強化された逆インデックス文書も作成する。 提案手法の有効性を実証するため,CLEF 2014データセット上でいくつかの実験を行った。
  論文  参考訳（メタデータ） (2020-05-17T14:18:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。