論文の概要: Resolving Conflicting Evidence in Automated Fact-Checking: A Study on Retrieval-Augmented LLMs

• arxiv url: http://arxiv.org/abs/2505.17762v1
• Date: Fri, 23 May 2025 11:35:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 18:08:34.029306
• Title: Resolving Conflicting Evidence in Automated Fact-Checking: A Study on Retrieval-Augmented LLMs
• Title（参考訳）: 自動Fact-Checkingにおける競合証拠の解決:検索用LLMの検討
• Authors: Ziyu Ge, Yuhao Wu, Daniel Wai Kit Chin, Roy Ka-Wei Lee, Rui Cao,
• Abstract要約: 本稿では,ファクトチェックのためのRAGモデルを初めて体系的に評価する。 実験では、最先端のRAG手法、特にメディアソースの信頼性の違いに起因する紛争の解決において、重大な脆弱性が明らかにされている。 以上の結果から,情報源の信頼性を効果的に取り入れることで,矛盾する証拠を解決し,事実確認性能を向上させるRAGモデルの能力が著しく向上することが示唆された。
• 参考スコア（独自算出の注目度）: 12.923119372847834
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) augmented with retrieval mechanisms have demonstrated significant potential in fact-checking tasks by integrating external knowledge. However, their reliability decreases when confronted with conflicting evidence from sources of varying credibility. This paper presents the first systematic evaluation of Retrieval-Augmented Generation (RAG) models for fact-checking in the presence of conflicting evidence. To support this study, we introduce \textbf{CONFACT} (\textbf{Con}flicting Evidence for \textbf{Fact}-Checking) (Dataset available at https://github.com/zoeyyes/CONFACT), a novel dataset comprising questions paired with conflicting information from various sources. Extensive experiments reveal critical vulnerabilities in state-of-the-art RAG methods, particularly in resolving conflicts stemming from differences in media source credibility. To address these challenges, we investigate strategies to integrate media background information into both the retrieval and generation stages. Our results show that effectively incorporating source credibility significantly enhances the ability of RAG models to resolve conflicting evidence and improve fact-checking performance.
• Abstract（参考訳）: 検索機構を付加したLarge Language Models (LLMs) は, 外部知識を統合することで, 事実チェックタスクにおいて有意な可能性を示唆している。 しかし、信頼性の異なる情報源からの矛盾する証拠に直面すると信頼性は低下する。 本稿では,矛盾する証拠の存在下でのファクトチェックのためのRAGモデルの最初の体系的評価について述べる。 本研究を支援するために,さまざまなソースからの矛盾する情報とペアリングした質問からなる新しいデータセットである \textbf{CONFACT} (\textbf{Con}flicting Evidence for \textbf{Fact}-Checking) (https://github.com/zoeyyes/CONFACT)を紹介した。 大規模な実験は、最先端のRAG法、特にメディアソースの信頼性の相違に起因する紛争の解決において、重大な脆弱性を明らかにしている。 これらの課題に対処するため,メディア背景情報を検索段階と生成段階の両方に統合する戦略について検討する。 以上の結果から,情報源の信頼性を効果的に取り入れることで,矛盾する証拠を解決し,事実確認性能を向上させるRAGモデルの能力が著しく向上することが示唆された。

関連論文リスト

• Retrieval-Augmented Generation with Conflicting Evidence [57.66282463340297]
  大規模言語モデル (LLM) エージェントは、応答の事実性を改善するために、検索強化世代 (RAG) をますます採用している。 実際には、これらのシステムは曖昧なユーザクエリを処理し、複数のソースからの情報に衝突する可能性がある。 RAMDocs(Retrieval with Ambiguity and Misinformation in Documents)は,ユーザクエリのエビデンスを矛盾させるような,複雑で現実的なシナリオをシミュレートする新しいデータセットである。
  論文  参考訳（メタデータ） (2025-04-17T16:46:11Z)
• Contradiction Detection in RAG Systems: Evaluating LLMs as Context Validators for Improved Information Consistency [0.6827423171182154]
  Retrieval Augmented Generation (RAG) システムは,大規模言語モデル(LLM)を最新情報で拡張するための強力な手法として登場した。 RAGは、特にニュースのような急速に進化する領域において、矛盾する情報を含む文書を提示することがある。 本研究では,RAGシステムの検索段階において発生する様々な矛盾をシミュレートする新しいデータ生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-31T19:41:15Z)
• SegSub: Evaluating Robustness to Knowledge Conflicts and Hallucinations in Vision-Language Models [6.52323086990482]
  視覚言語モデル(VLM)は、高度なマルチモーダル推論を実証するが、知識の衝突に直面した場合には幻覚を起こす傾向がある。 本研究は,VLMレジリエンスを知識衝突に対して調査するために,目標画像摂動を適用するフレームワークであるsegsubを紹介する。
  論文  参考訳（メタデータ） (2025-02-19T00:26:38Z)
• Robust Time Series Causal Discovery for Agent-Based Model Validation [5.430532390358285]
  本研究では、ABM検証のための因果構造学習を強化するために、ロバストクロスバリデーション(RCV)アプローチを提案する。 RCV-VarLiNGAM と RCV-PCMCI を開発した。 提案手法は、拡張されたABM検証フレームワークに統合される。
  論文  参考訳（メタデータ） (2024-10-25T09:13:26Z)
• ECon: On the Detection and Resolution of Evidence Conflicts [56.89209046429291]
  大規模言語モデル(LLM)の台頭は意思決定システムにおける情報の質に大きな影響を与えている。 本研究では,実世界の誤情報シナリオをシミュレートするために,多様で検証された証拠衝突を生成する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-05T07:41:17Z)
• Controlling Risk of Retrieval-augmented Generation: A Counterfactual Prompting Framework [77.45983464131977]
  我々は、RAGモデルの予測が誤りであり、現実のアプリケーションにおいて制御不能なリスクをもたらす可能性がどの程度あるかに焦点を当てる。 本研究は,RAGの予測に影響を及ぼす2つの重要な潜伏要因を明らかにする。 我々は,これらの要因をモデルに誘導し,その応答に与える影響を解析する,反実的プロンプトフレームワークを開発した。
  論文  参考訳（メタデータ） (2024-09-24T14:52:14Z)
• Evidential Deep Partial Multi-View Classification With Discount Fusion [24.139495744683128]
  Evidential Deep partial Multi-View Classification (EDP-MVC) と呼ばれる新しいフレームワークを提案する。 欠落したビューに対処するためにK-means命令を使用し、マルチビューデータの完全なセットを作成します。 この暗示されたデータ内の潜在的な衝突や不確実性は、下流の推論の信頼性に影響を与える可能性がある。
  論文  参考訳（メタデータ） (2024-08-23T14:50:49Z)
• Not All Contexts Are Equal: Teaching LLMs Credibility-aware Generation [47.42366169887162]
  Credibility-Aware Generation (CAG) は、信頼性に基づいて情報を識別・処理する能力を備えたモデルを提供することを目的としている。 提案モデルは,生成に対する信頼性を効果的に理解し活用し,検索強化により他のモデルよりも大幅に優れ,ノイズの多い文書による破壊に対するレジリエンスを示す。
  論文  参考訳（メタデータ） (2024-04-10T07:56:26Z)
• SAIS: Supervising and Augmenting Intermediate Steps for Document-Level Relation Extraction [51.27558374091491]
  本稿では,関係抽出のための中間ステップ(SAIS)を監督し,拡張することにより,関連コンテキストやエンティティタイプをキャプチャするモデルを明示的に教えることを提案する。 そこで本提案手法は,より効果的な管理を行うため,より優れた品質の関係を抽出するだけでなく,それに対応する証拠をより正確に抽出する。
  論文  参考訳（メタデータ） (2021-09-24T17:37:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。