論文の概要: Evidence-backed Fact Checking using RAG and Few-Shot In-Context Learning with LLMs
- arxiv url: http://arxiv.org/abs/2408.12060v1
- Date: Thu, 22 Aug 2024 01:42:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-23 15:33:26.033713
- Title: Evidence-backed Fact Checking using RAG and Few-Shot In-Context Learning with LLMs
- Title(参考訳): LLMを用いたRAGとFew-Shot In-Context Learningを用いたエビデンス支援Fact Checking
- Authors: Ronit Singhal, Pransh Patwa, Parth Patwa, Aman Chadha, Amitava Das,
- Abstract要約: 我々はAveritecデータセットを用いてクレームの正確性を評価する。
精度予測に加えて,本システムでは,データセットから抽出した証拠を裏付ける。
本システムでは,ベースラインに対する22%の絶対改善である0.33の「平均」スコアを達成している。
- 参考スコア(独自算出の注目度): 9.785096589765908
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Given the widespread dissemination of misinformation on social media, implementing fact-checking mechanisms for online claims is essential. Manually verifying every claim is highly challenging, underscoring the need for an automated fact-checking system. This paper presents our system designed to address this issue. We utilize the Averitec dataset to assess the veracity of claims. In addition to veracity prediction, our system provides supporting evidence, which is extracted from the dataset. We develop a Retrieve and Generate (RAG) pipeline to extract relevant evidence sentences from a knowledge base, which are then inputted along with the claim into a large language model (LLM) for classification. We also evaluate the few-shot In-Context Learning (ICL) capabilities of multiple LLMs. Our system achieves an 'Averitec' score of 0.33, which is a 22% absolute improvement over the baseline. All code will be made available on All code will be made available on https://github.com/ronit-singhal/evidence-backed-fact-checking-using-rag-and-few-shot-in-context-lea rning-with-llms.
- Abstract(参考訳): ソーシャルメディア上で偽情報の拡散が広まる中、オンラインクレームのファクトチェック機構を実装することが不可欠である。
すべてのクレームを手動で検証することは極めて困難であり、自動化されたファクトチェックシステムの必要性を強調している。
本稿では,この問題に対処するためのシステムについて述べる。
我々はAveritecデータセットを用いてクレームの正確性を評価する。
精度予測に加えて,本システムでは,データセットから抽出した証拠を裏付ける。
本研究では,知識ベースから関連するエビデンス文を抽出する検索・生成(RAG)パイプラインを開発し,そのクレームとともに分類のための大規模言語モデル(LLM)に入力する。
また,複数のLLMのICL(In-Context Learning)機能についても検討した。
本システムでは,ベースラインに対する22%の絶対改善である0.33の「平均」スコアを達成している。
すべてのコードはhttps://github.com/ronit-singhal/evidence-backed-fact-checking-using-rag-and-few-shot-in-context-lea rning-with-llmsで利用可能になる。
関連論文リスト
- WebCiteS: Attributed Query-Focused Summarization on Chinese Web Search Results with Citations [34.99831757956635]
我々は,属性付きクエリ中心要約 (AQFS) のタスクを定式化するとともに,7kの人称注釈の要約を引用した中国語データセットであるWebCiteSを提示する。
これらの課題に対処するために、詳細なメトリクスを開発し、自動評価器が文を細かな検証のためにサブステートに分解できるようにする。
論文 参考訳(メタデータ) (2024-03-04T07:06:41Z) - Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation [128.01050030936028]
InFO-RAG という情報改質訓練手法を提案する。
InFO-RAGは低コストで、様々なタスクにまたがっている。
LLaMA2の性能を平均9.39%向上させる。
論文 参考訳(メタデータ) (2024-02-28T08:24:38Z) - REAR: A Relevance-Aware Retrieval-Augmented Framework for Open-Domain
Question Answering [122.62012375722124]
既存の手法では,大規模言語モデル (LLM) は検索した文書の関連性を正確に評価することはできない。
Relevance-Aware Retrieval-augmented approach for open- domain question answering (QA)を提案する。
論文 参考訳(メタデータ) (2024-02-27T13:22:51Z) - UFO: a Unified and Flexible Framework for Evaluating Factuality of Large
Language Models [73.73303148524398]
大規模言語モデル(LLM)は、人間の知識との整合性に欠けるテキストを生成し、事実的不正確さやテキスト・ハロシン化をもたらす。
プラグアンドプレイのファクトソースに対する事実を検証するための,LLMに基づく統一的かつ柔軟な評価フレームワークである textttUFO を提案する。
論文 参考訳(メタデータ) (2024-02-22T16:45:32Z) - Seven Failure Points When Engineering a Retrieval Augmented Generation
System [1.8776685617612472]
RAGシステムは,大規模言語モデルからの幻覚応答の問題を解決することを目的としている。
RAGシステムは情報検索システム固有の制限に悩まされている。
本稿では3つのケーススタディからRAGシステムの故障点について報告する。
論文 参考訳(メタデータ) (2024-01-11T12:04:11Z) - Factcheck-Bench: Fine-Grained Evaluation Benchmark for Automatic Fact-checkers [121.53749383203792]
本稿では,大規模言語モデル (LLM) 生成応答の事実性に注釈を付けるための総合的なエンドツーエンドソリューションを提案する。
オープンドメインの文書レベルの事実性ベンチマークを,クレーム,文,文書の3段階の粒度で構築する。
予備実験によると、FacTool、FactScore、Perplexityは虚偽の主張を識別するのに苦労している。
論文 参考訳(メタデータ) (2023-11-15T14:41:57Z) - Knowledge-Driven CoT: Exploring Faithful Reasoning in LLMs for
Knowledge-intensive Question Answering [17.672572064705445]
CoT(Chain-of-Thought)を備えた大規模言語モデル(LLM)は、様々な下流タスクにおいて顕著な推論能力を示している。
我々は、外部知識との相互作用を通じてCoTの推論トレースを検証・修正する、KD-CoT(Knowled-Driven Chain-of-Thought)というフレームワークを提案する。
論文 参考訳(メタデータ) (2023-08-25T09:23:55Z) - MythQA: Query-Based Large-Scale Check-Worthy Claim Detection through
Multi-Answer Open-Domain Question Answering [8.70509665552136]
チェック価値のあるクレーム検出は、下流のファクトチェックシステムや、チェックする人間の専門家に、もっともらしい誤情報を提供することを目的としている。
しかし、Twitterのような大規模情報ソースから直接、チェック価値のあるクレームを効率的に検出する方法は、まだ解明されていない。
我々は、クエリベースの大規模チェックアワークレーム検出のための矛盾するスタンスマイニングを含む、複数回答のオープンドメイン質問応答(QA)タスクであるMythQAを紹介する。
論文 参考訳(メタデータ) (2023-07-21T18:35:24Z) - Self-Prompting Large Language Models for Zero-Shot Open-Domain QA [67.08732962244301]
Open-Domain Question Answering (ODQA)は、背景文書を明示的に提供せずに質問に答えることを目的としている。
このタスクは、調整済みの検索リーダーモデルをトレーニングするデータがないゼロショット設定で顕著に困難になる。
本稿では,大規模言語モデルのパラメータに符号化された膨大な知識を明示的に活用するセルフプロンプトフレームワークを提案する。
論文 参考訳(メタデータ) (2022-12-16T18:23:43Z) - Zero-shot Fact Verification by Claim Generation [85.27523983027471]
我々は,堅牢な事実検証モデルをトレーニングするフレームワークであるQACGを開発した。
われわれは自動的に生成されたクレームを使って、Wikipediaのエビデンスからサポートしたり、反論したり、検証したりできる。
ゼロショットシナリオでは、QACGはRoBERTaモデルのF1を50%から77%に改善し、パフォーマンスは2K以上の手作業による例に相当する。
論文 参考訳(メタデータ) (2021-05-31T03:13:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。