論文の概要: Retrieval Augmented Fact Verification by Synthesizing Contrastive Arguments

• arxiv url: http://arxiv.org/abs/2406.09815v1
• Date: Fri, 14 Jun 2024 08:13:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-17 14:34:29.416198
• Title: Retrieval Augmented Fact Verification by Synthesizing Contrastive Arguments
• Title（参考訳）: コントラストの合成による検索用ファクト検証
• Authors: Zhenrui Yue, Huimin Zeng, Lanyu Shang, Yifan Liu, Yang Zhang, Dong Wang,
• Abstract要約: コントラスト引数の合成による検索拡張現実事実検証を提案する。 提案手法は,関連文書を証拠として効果的に検索し,様々な視点から議論を評価する。 RAFTS は GPT 法よりはるかに小さい 7B LLM で優れた性能を発揮する。
• 参考スコア（独自算出の注目度）: 23.639378586798884
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid propagation of misinformation poses substantial risks to public interest. To combat misinformation, large language models (LLMs) are adapted to automatically verify claim credibility. Nevertheless, existing methods heavily rely on the embedded knowledge within LLMs and / or black-box APIs for evidence collection, leading to subpar performance with smaller LLMs or upon unreliable context. In this paper, we propose retrieval augmented fact verification through the synthesis of contrasting arguments (RAFTS). Upon input claims, RAFTS starts with evidence retrieval, where we design a retrieval pipeline to collect and re-rank relevant documents from verifiable sources. Then, RAFTS forms contrastive arguments (i.e., supporting or refuting) conditioned on the retrieved evidence. In addition, RAFTS leverages an embedding model to identify informative demonstrations, followed by in-context prompting to generate the prediction and explanation. Our method effectively retrieves relevant documents as evidence and evaluates arguments from varying perspectives, incorporating nuanced information for fine-grained decision-making. Combined with informative in-context examples as prior, RAFTS achieves significant improvements to supervised and LLM baselines without complex prompts. We demonstrate the effectiveness of our method through extensive experiments, where RAFTS can outperform GPT-based methods with a significantly smaller 7B LLM.
• Abstract（参考訳）: 誤報の急速な伝播は、大衆の関心に重大なリスクをもたらす。 誤情報に対処するため、大規模言語モデル(LLM)はクレームの信頼性を自動検証するために適応される。 それにもかかわらず、既存のメソッドは、証拠収集のためのLLMやブラックボックスAPIの組み込み知識に大きく依存しており、より小さなLLMや信頼性の低いコンテキストでのサブパーパフォーマンスを実現している。 本稿では,コントラスト引数(RAFTS)の合成による検索強化事実検証を提案する。 入力要求に応じて、RAFTSはエビデンス検索から始まり、検証可能なソースから関連する文書を収集および再ランクする検索パイプラインを設計する。 そして、RAFTSは、検索された証拠に条件付けられた対照的な議論(すなわち、支持または反証)を形成する。 さらに、RAFTSは埋め込みモデルを利用して情報的デモンストレーションを識別し、続いてコンテキスト内で予測と説明を生成する。 提案手法は, 関連文書を証拠として効果的に検索し, さまざまな視点から議論を評価し, きめ細かい意思決定のためのニュアンス情報を組み込んだ。 RAFTSは、先述した情報的インコンテキストの例と組み合わせて、複雑なプロンプトを伴わずに、教師付きおよびLLMベースラインの大幅な改善を実現している。 RAFTS は GPT 法よりはるかに小さい 7B LLM で優れた性能を発揮する。

関連論文リスト

• Contrastive Learning to Improve Retrieval for Real-world Fact Checking [84.57583869042791]
  ファクト・チェッキング・リランカ(Contrastive Fact-Checking Reranker, CFR)を提案する。 我々はAVeriTeCデータセットを活用し、証拠文書からの人間による回答とクレームのサブクエストを注釈付けする。 データセットの精度は6%向上した。
  論文  参考訳（メタデータ） (2024-10-07T00:09:50Z)
• Multimodal Misinformation Detection using Large Vision-Language Models [7.505532091249881]
  大規模言語モデル(LLM)は、様々なタスクにおいて顕著なパフォーマンスを示している。 誤情報検出の一部として証拠検索を考えるアプローチはほとんどない。 マルチモーダルエビデンス検索のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-07-19T13:57:11Z)
• Ground Every Sentence: Improving Retrieval-Augmented LLMs with Interleaved Reference-Claim Generation [51.8188846284153]
  RAGは大規模言語モデル(LLM)を強化するために広く採用されている。 分散テキスト生成(ATG)が注目され、RAGにおけるモデルの応答をサポートするための引用を提供する。 本稿では,ReClaim(Refer & Claim)と呼ばれる詳細なATG手法を提案する。
  論文  参考訳（メタデータ） (2024-07-01T20:47:47Z)
• LLMs Know What They Need: Leveraging a Missing Information Guided Framework to Empower Retrieval-Augmented Generation [6.676337039829463]
  ミス情報ガイド検索抽出パラダイム(MIGRES)を提案する。 欠落した情報の識別を利用して、その後の知識検索を操縦するターゲットクエリを生成する。 複数の公開データセットに対して行われた大規模な実験は、提案したMIGRES法の優位性を明らかにする。
  論文  参考訳（メタデータ） (2024-04-22T09:56:59Z)
• Re-Search for The Truth: Multi-round Retrieval-augmented Large Language Models are Strong Fake News Detectors [38.75533934195315]
  大きな言語モデル(LLM)はその顕著な推論と生成能力で知られている。 クレーム検証のための Web ソースからキーエビデンスを自動的に戦略的に抽出する,新たな LLM フレームワークについて紹介する。 我々の枠組みは十分な証拠の取得を保証し、性能を向上させる。
  論文  参考訳（メタデータ） (2024-03-14T00:35:39Z)
• Evidence-Focused Fact Summarization for Knowledge-Augmented Zero-Shot Question Answering [14.389264346634507]
  本稿では,QA(Quesetion Answering)の性能向上を目的とした,エビデンスに着目したFact SummarizationフレームワークであるEFSumを提案する。 実験の結果,EFSumはLDMのゼロショットQA性能を向上することがわかった。
  論文  参考訳（メタデータ） (2024-03-05T13:43:58Z)
• C-ICL: Contrastive In-context Learning for Information Extraction [54.39470114243744]
  c-ICLは、正しいサンプル構築と間違ったサンプル構築の両方を活用して、コンテキスト内学習のデモを作成する、新しい数ショット技術である。 各種データセットに対する実験により,c-ICLは従来の数発のインコンテキスト学習法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-02-17T11:28:08Z)
• Synergistic Interplay between Search and Large Language Models for Information Retrieval [141.18083677333848]
  InteRにより、RMはLLM生成した知識コレクションを使用してクエリの知識を拡張することができる。 InteRは、最先端手法と比較して総合的に優れたゼロショット検索性能を実現する。
  論文  参考訳（メタデータ） (2023-05-12T11:58:15Z)
• GERE: Generative Evidence Retrieval for Fact Verification [57.78768817972026]
  本稿では,ジェネレーション方式で証拠を検索する最初のシステムであるGEREを提案する。 FEVERデータセットの実験結果は、GEREが最先端のベースラインよりも大幅に改善されていることを示している。
  論文  参考訳（メタデータ） (2022-04-12T03:49:35Z)
• SAIS: Supervising and Augmenting Intermediate Steps for Document-Level Relation Extraction [51.27558374091491]
  本稿では,関係抽出のための中間ステップ(SAIS)を監督し,拡張することにより,関連コンテキストやエンティティタイプをキャプチャするモデルを明示的に教えることを提案する。 そこで本提案手法は,より効果的な管理を行うため,より優れた品質の関係を抽出するだけでなく,それに対応する証拠をより正確に抽出する。
  論文  参考訳（メタデータ） (2021-09-24T17:37:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。