論文の概要: AFaCTA: Assisting the Annotation of Factual Claim Detection with
Reliable LLM Annotators
- arxiv url: http://arxiv.org/abs/2402.11073v1
- Date: Fri, 16 Feb 2024 20:59:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-20 23:36:54.204685
- Title: AFaCTA: Assisting the Annotation of Factual Claim Detection with
Reliable LLM Annotators
- Title(参考訳): AFaCTA:信頼性LLMアノテーションを用いたFactual Claim Detectionのアノテーション支援
- Authors: Jingwei Ni, Minjing Shi, Dominik Stammbach, Mrinmaya Sachan, Elliott
Ash, Markus Leippold
- Abstract要約: AFaCTAは、事実主張のアノテーションを支援する新しいフレームワークである。
AFaCTAは、3つの事前定義された推論経路に沿って、アノテーションの信頼度を一貫性で調整する。
PoliClaimは、さまざまな政治的トピックにまたがる包括的なクレーム検出データセットである。
- 参考スコア(独自算出の注目度): 40.81978676612458
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the rise of generative AI, automated fact-checking methods to combat
misinformation are becoming more and more important. However, factual claim
detection, the first step in a fact-checking pipeline, suffers from two key
issues that limit its scalability and generalizability: (1) inconsistency in
definitions of the task and what a claim is, and (2) the high cost of manual
annotation. To address (1), we review the definitions in related work and
propose a unifying definition of factual claims that focuses on verifiability.
To address (2), we introduce AFaCTA (Automatic Factual Claim deTection
Annotator), a novel framework that assists in the annotation of factual claims
with the help of large language models (LLMs). AFaCTA calibrates its annotation
confidence with consistency along three predefined reasoning paths. Extensive
evaluation and experiments in the domain of political speech reveal that AFaCTA
can efficiently assist experts in annotating factual claims and training
high-quality classifiers, and can work with or without expert supervision. Our
analyses also result in PoliClaim, a comprehensive claim detection dataset
spanning diverse political topics.
- Abstract(参考訳): 生成AIの台頭に伴い、誤情報に対処する自動ファクトチェック手法がますます重要になっている。
しかし、ファクトチェックパイプラインの最初のステップである事実的クレーム検出は、そのスケーラビリティと一般化性を制限する2つの重要な問題に悩まされている。
1) 関連作業における定義を概観し, 検証性に着目した事実的主張の統一的定義を提案する。
そこで本研究では,大規模言語モデル (llm) の助けを借りて,事実クレームのアノテーションを支援する新しいフレームワーク afacta (automatic factual claims detection annotator) を提案する。
AFaCTAは、3つの事前定義された推論経路に沿って、アノテーションの信頼度を一貫性で調整する。
政治発言の分野における広範な評価と実験により、アファクタは、専門家が事実クレームに注釈を付け、高品質の分類器を訓練し、専門家の監督なしにも作業できることが判明した。
PoliClaimは、さまざまな政治的トピックにまたがる包括的なクレーム検出データセットである。
関連論文リスト
- Clarify When Necessary: Resolving Ambiguity Through Interaction with LMs [58.620269228776294]
そこで本稿では,ユーザに対して,あいまいさを解消するためのタスク非依存のフレームワークを提案する。
我々は3つのNLPアプリケーション(質問応答、機械翻訳、自然言語推論)にまたがるシステムを評価する。
インテントシムは堅牢であり、幅広いNLPタスクやLMの改善を実証している。
論文 参考訳(メタデータ) (2023-11-16T00:18:50Z) - From Chaos to Clarity: Claim Normalization to Empower Fact-Checking [57.024192702939736]
Claim Normalization(別名 ClaimNorm)は、複雑でノイズの多いソーシャルメディア投稿を、より単純で分かりやすい形式に分解することを目的としている。
本稿では,チェーン・オブ・ソートとクレーム・チェック・バシネス推定を利用した先駆的アプローチであるCACNを提案する。
実験により, CACNは様々な評価尺度において, いくつかの基準値を上回る性能を示した。
論文 参考訳(メタデータ) (2023-10-22T16:07:06Z) - Unsupervised Pretraining for Fact Verification by Language Model
Distillation [4.504050940874427]
SFAVEL (Self-supervised Fact Verification via Language Model Distillation) は,教師なし事前学習フレームワークである。
アノテーションを必要とせずに、自己管理機能を高品質なクレーム-ファクトアライメントに分解する。
これは、特徴が高品質なクレームとエビデンスアライメントを達成することを奨励する、新しい対照的な損失関数によって実現されている。
論文 参考訳(メタデータ) (2023-09-28T15:53:44Z) - Context-faithful Prompting for Large Language Models [51.194410884263135]
大言語モデル(LLM)は世界事実に関するパラメトリック知識を符号化する。
パラメトリック知識への依存は、文脈的手がかりを見落とし、文脈に敏感なNLPタスクにおいて誤った予測をもたらす可能性がある。
我々は, LLMの文脈的忠実度を, 知識の衝突と, 棄権による予測の2つの側面で評価し, 向上する。
論文 参考訳(メタデータ) (2023-03-20T17:54:58Z) - ExClaim: Explainable Neural Claim Verification Using Rationalization [8.369720566612111]
ExClaimは、基礎的な証拠を含む説明可能なクレーム検証システムを提供しようとしている。
法体系にインスパイアされたExClaimは、合理化を活用して、請求に対する評決を提供する。
統計的および説明可能なAI(XAI)の評価は、有効で信頼性の高い結果を保証するために行われる。
論文 参考訳(メタデータ) (2023-01-21T08:26:27Z) - GERE: Generative Evidence Retrieval for Fact Verification [57.78768817972026]
本稿では,ジェネレーション方式で証拠を検索する最初のシステムであるGEREを提案する。
FEVERデータセットの実験結果は、GEREが最先端のベースラインよりも大幅に改善されていることを示している。
論文 参考訳(メタデータ) (2022-04-12T03:49:35Z) - Assessing Effectiveness of Using Internal Signals for Check-Worthy Claim
Identification in Unlabeled Data for Automated Fact-Checking [6.193231258199234]
本稿では,偽ニュース記事からチェック価値のあるクレーム文を特定する手法について検討する。
我々は2つの内部監督信号(見出しと抽象的な要約)を利用して文をランク付けする。
見出しは、ファクトチェックのWebサイトがクレームを記述する方法とよく似ているが、要約ベースのパイプラインは、エンドツーエンドのファクトチェックシステムにとって最も有望である。
論文 参考訳(メタデータ) (2021-11-02T16:17:20Z) - Generating Fact Checking Explanations [52.879658637466605]
まだ欠けているパズルの重要なピースは、プロセスの最も精巧な部分を自動化する方法を理解することです。
本稿では、これらの説明を利用可能なクレームコンテキストに基づいて自動生成する方法について、最初の研究を行う。
この結果から,個別に学習するのではなく,両目標を同時に最適化することで,事実確認システムの性能が向上することが示唆された。
論文 参考訳(メタデータ) (2020-04-13T05:23:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。