論文の概要: What Makes Medical Claims (Un)Verifiable? Analyzing Entity and Relation
Properties for Fact Verification
- arxiv url: http://arxiv.org/abs/2402.01360v1
- Date: Fri, 2 Feb 2024 12:27:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-05 15:26:04.249093
- Title: What Makes Medical Claims (Un)Verifiable? Analyzing Entity and Relation
Properties for Fact Verification
- Title（参考訳）: 医療行為を検証できるものは何か?
事実検証のためのエンティティと関係性の分析
- Authors: Amelie W\"uhrl and Yarik Menchaca Resendiz and Lara Grimminger and
Roman Klinger
- Abstract要約: BEAR-Factコーパス(BEAR-Fact corpus)は、科学的事実検証のための最初のコーパスである。
クレームテキストから純粋に証拠検索の成功を確実に推定できることを示す。
データセットはhttp://www.ims.uni-stuttgart.de/data/bioclaimで公開されている。
- 参考スコア（独自算出の注目度）: 8.086400003948143
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Biomedical claim verification fails if no evidence can be discovered. In
these cases, the fact-checking verdict remains unknown and the claim is
unverifiable. To improve upon this, we have to understand if there are any
claim properties that impact its verifiability. In this work we assume that
entities and relations define the core variables in a biomedical claim's
anatomy and analyze if their properties help us to differentiate verifiable
from unverifiable claims. In a study with trained annotation experts we prompt
them to find evidence for biomedical claims, and observe how they refine search
queries for their evidence search. This leads to the first corpus for
scientific fact verification annotated with subject-relation-object triplets,
evidence documents, and fact-checking verdicts (the BEAR-Fact corpus). We find
(1) that discovering evidence for negated claims (e.g., X-does-not-cause-Y) is
particularly challenging. Further, we see that annotators process queries
mostly by adding constraints to the search and by normalizing entities to
canonical names. (2) We compare our in-house annotations with a small
crowdsourcing setting where we employ medical experts and laypeople. We find
that domain expertise does not have a substantial effect on the reliability of
annotations. Finally, (3), we demonstrate that it is possible to reliably
estimate the success of evidence retrieval purely from the claim text~(.82\F),
whereas identifying unverifiable claims proves more challenging (.27\F). The
dataset is available at http://www.ims.uni-stuttgart.de/data/bioclaim.
- Abstract（参考訳）: バイオメディカルクレームの検証は、証拠が見つからなければ失敗する。
これらの場合、事実確認の判断は依然として不明であり、主張は検証できない。
これを改善するためには、その検証可能性に影響を与えるクレーム特性があるかどうかを理解する必要がある。
本研究では,生物医学的クレームの解剖学において,実体と関係がコア変数を定義し,その性質が検証不能クレームと検証不能クレームを区別するのに役立つかどうかを分析する。
訓練された注釈専門家による研究で、私たちは彼らにバイオメディカルクレームの証拠を見つけるように促し、彼らの証拠検索のために検索クエリを洗練する方法を観察します。
これは、科学的事実検証のための最初のコーパスに、主題関係のオブジェクト三つ子、証拠文書、事実チェックの評決(BEAR-Fact corpus)が注釈付けされた。
否定的主張(例えば、X-does-not- because-Y)の証拠を発見することは特に困難である。
さらに、アノテーションは検索に制約を加え、エンティティを標準名に正規化することでクエリを処理する。
2) 社内アノテーションとクラウドソーシングの小さな設定を比較して,医療専門家や在職者を採用する。
ドメインの専門知識がアノテーションの信頼性に大きな影響を与えないことが分かりました。
最後に, クレームテキスト~(.82\F)から証拠検索の成功を確実に推定できる一方で, 検証不能なクレームの特定はより困難であることを示す(.27\F)。
データセットはhttp://www.ims.uni-stuttgart.de/data/bioclaimで利用可能である。
関連論文リスト
- Comparing Knowledge Sources for Open-Domain Scientific Claim
Verification [6.726255259929497]
PubMedは特殊なバイオメディカルクレームとうまく連携するが、Wikipediaは日常的な健康問題に向いている。
結果について議論し、頻繁な検索パターンと課題を概説し、将来有望な方向性を提供する。
論文 参考訳（メタデータ） (2024-02-05T09:57:15Z) - Complex Claim Verification with Evidence Retrieved in the Wild [73.19998942259073]
Webから生の証拠を取り出すことによって,実世界のクレームをチェックするための,最初の完全自動化パイプラインを提示する。
私たちのパイプラインには,クレーム分解,生文書検索,きめ細かい証拠検索,クレーム中心の要約,正確性判定という5つのコンポーネントが含まれています。
論文 参考訳（メタデータ） (2023-05-19T17:49:19Z) - Decker: Double Check with Heterogeneous Knowledge for Commonsense Fact
Verification [80.31112722910787]
異種知識をブリッジ可能な常識的事実検証モデルであるDeckerを提案する。
CSQA2.0とCREAKの2つのコモンセンス事実検証ベンチマークデータセットの実験結果から,Deckerの有効性が示された。
論文 参考訳（メタデータ） (2023-05-10T06:28:16Z) - Read it Twice: Towards Faithfully Interpretable Fact Verification by
Revisiting Evidence [59.81749318292707]
本稿では,証拠の検索とクレームの検証を行うためにReReadという名前の事実検証モデルを提案する。
提案システムは,異なる設定下での最良のレポートモデルに対して,大幅な改善を実現することができる。
論文 参考訳（メタデータ） (2023-05-02T03:23:14Z) - ClaimDiff: Comparing and Contrasting Claims on Contentious Issues [23.260333361646495]
ClaimDiffは、主にクレームペア間のニュアンスの比較に焦点を当てたデータセットである。
268のニュース記事から2,941の注釈付きクレームペアを提供する。
人間はクレーム間のニュアンスを検出することができるが、強いベースラインはそれらを検出するのに苦労している。
論文 参考訳（メタデータ） (2022-05-24T17:29:13Z) - Generating Literal and Implied Subquestions to Fact-check Complex Claims [64.81832149826035]
我々は、複雑なクレームを、そのクレームの正確性に影響を及ぼす「イエス・ノー・サブクエスト」の包括的集合に分解することに集中する。
我々は1000以上のクレームに対する分解のデータセットである ClaimDecomp を提示する。
これらのサブクエストは、関連する証拠を特定し、すべてのクレームを事実確認し、回答を通じて正確性を引き出すのに役立ちます。
論文 参考訳（メタデータ） (2022-05-14T00:40:57Z) - Generating Scientific Claims for Zero-Shot Scientific Fact Checking [54.62086027306609]
科学言語の複雑さと大量のトレーニングデータが不足しているため、自動科学的事実チェックは困難である。
科学的な文から1つ以上の原子的かつ検証可能なクレームを生成するための科学的クレーム生成を提案する。
また, バイオメディカルクレームのゼロショット事実チェックにも有用であることを示す。
論文 参考訳（メタデータ） (2022-03-24T11:29:20Z) - Topic-Aware Evidence Reasoning and Stance-Aware Aggregation for Fact
Verification [19.130541561303293]
本稿では,事実検証のための新たな話題認識型証拠推論とスタンス認識型アグリゲーションモデルを提案する。
2つのベンチマークデータセットで実施されたテストは、事実検証のためのいくつかの最先端アプローチよりも提案モデルの方が優れていることを示す。
論文 参考訳（メタデータ） (2021-06-02T14:33:12Z) - AmbiFC: Fact-Checking Ambiguous Claims with Evidence [57.7091560922174]
実世界の情報ニーズから10kクレームを抽出したファクトチェックデータセットであるAmbiFCを提示する。
アンビFCの証拠に対する主張を比較する際に,曖昧さから生じる不一致を分析した。
我々は,このあいまいさをソフトラベルで予測するモデルを開発した。
論文 参考訳（メタデータ） (2021-04-01T17:40:08Z) - Explainable Automated Fact-Checking for Public Health Claims [11.529816799331979]
本稿では,特定の専門知識を必要とするクレームに対する説明可能なファクトチェックに関する最初の研究について述べる。
ケーススタディでは公衆衛生の設定を選択します。
正確性予測と説明生成という2つの課題を探求する。
論文 参考訳（メタデータ） (2020-10-19T23:51:33Z) - DTCA: Decision Tree-based Co-Attention Networks for Explainable Claim
Verification [16.144566353074314]
本稿では,説明可能なクレーム検証の証拠を発見するための決定木に基づくコ・アテンション・モデル(DTCA)を提案する。
具体的には、まずDTE(Decision Tree-based Evidence Model)を構築し、透明で解釈可能な方法で、信頼性の高いコメントを証拠として選択する。
次に,コ・アテンション・セルフアテンション・ネットワーク(CaSa)を設計して,選択したエビデンスをクレームと相互作用させる。
論文 参考訳（メタデータ） (2020-04-28T12:19:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。