Fugu-MT 論文翻訳(概要): Face4RAG: Factual Consistency Evaluation for Retrieval Augmented Generation in Chinese

論文の概要: Face4RAG: Factual Consistency Evaluation for Retrieval Augmented Generation in Chinese

arxiv url: http://arxiv.org/abs/2407.01080v1
Date: Mon, 1 Jul 2024 08:35:04 GMT
ステータス: 処理完了
システム内更新日: 2024-07-03 22:19:31.947048
Title: Face4RAG: Factual Consistency Evaluation for Retrieval Augmented Generation in Chinese
Title（参考訳）: Face4RAG:中国語における検索増強世代のための実環境整合性評価
Authors: Yunqi Xu, Tianchi Cai, Jiyan Jiang, Xierui Song,
Abstract要約: 従来の検索時拡張世代(RAG)における事実整合性エラーの大きな問題は、FCE(Factual Consistency Evaluation)の研究を動機づけている我々は,基礎となるLarge Language Models (LLM) に依存しないRAGのための,最初の総合的なFCEベンチマークemphFace4RAGを提案する。提案するベンチマークでは,既存のFCE手法が論理的誤りを検出できないことを発見した。
参考スコア（独自算出の注目度）: 3.724862061593193
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The prevailing issue of factual inconsistency errors in conventional Retrieval Augmented Generation (RAG) motivates the study of Factual Consistency Evaluation (FCE). Despite the various FCE methods proposed earlier, these methods are evaluated on datasets generated by specific Large Language Models (LLMs). Without a comprehensive benchmark, it remains unexplored how these FCE methods perform on other LLMs with different error distributions or even unseen error types, as these methods may fail to detect the error types generated by other LLMs. To fill this gap, in this paper, we propose the first comprehensive FCE benchmark \emph{Face4RAG} for RAG independent of the underlying LLM. Our benchmark consists of a synthetic dataset built upon a carefully designed typology for factuality inconsistency error and a real-world dataset constructed from six commonly used LLMs, enabling evaluation of FCE methods on specific error types or real-world error distributions. On the proposed benchmark, we discover the failure of existing FCE methods to detect the logical fallacy, which refers to a mismatch of logic structures between the answer and the retrieved reference. To fix this issue, we further propose a new method called \emph{L-Face4RAG} with two novel designs of logic-preserving answer decomposition and fact-logic FCE. Extensive experiments show L-Face4RAG substantially outperforms previous methods for factual inconsistency detection on a wide range of tasks, notably beyond the RAG task from which it is originally motivated. Both the benchmark and our proposed method are publicly available.\footnote{\url{https://huggingface.co/datasets/yq27/Face4RAG}\label{link_face4rag}}
Abstract（参考訳）: 従来の検索型拡張世代(RAG)における事実整合性エラーの一般的な問題は、FCE(Factual Consistency Evaluation)の研究を動機付けている。先に提案した様々なFCE手法にもかかわらず、これらの手法は特定のLarge Language Models (LLMs) によって生成されたデータセットに基づいて評価される。包括的なベンチマークがなければ、これらのFCEメソッドが、異なるエラー分布を持つ他のLLM上でどのように機能するか、さらには、他のLLMによって生成されたエラータイプを検出するのに失敗する可能性があるため、まだ探索されていない。このギャップを埋めるために、本論文では、基礎となるLLMに依存しないRAGのための、最初の総合的な FCE ベンチマーク \emph{Face4RAG} を提案する。本ベンチマークは, 事実整合性エラーを念頭に設計した合成データセットと, 6つの LLM を用いて構築された実世界のデータセットから構成し, 特定のエラータイプや実世界のエラー分布に対するFCE法の評価を可能にする。提案するベンチマークでは,既存のFCE手法が論理的誤りを検出できないことを発見した。この問題を解決するために,論理保存型解解分解法とファクト論理型FCEの2つの新しい設計法である 'emph{L-Face4RAG} を提案する。大規模な実験により、L-Face4RAGは、もともと動機付けられたRAGタスクを超えて、広範囲のタスクにおいて、現実的不整合検出の手法を大幅に上回っていることが示された。ベンチマークと提案手法の両方が公開されている。 https://huggingface.co/datasets/yq27/Face4RAG}\label{link_face4rag}}

関連論文リスト

Localizing Factual Inconsistencies in Attributable Text Generation [91.981439746404]
本稿では,帰属可能なテキスト生成における事実の不整合をローカライズするための新しい形式であるQASemConsistencyを紹介する。まず,人間のアノテーションに対するQASemConsistency法の有効性を示す。そこで我々は,局所的な事実の不整合を自動的に検出するいくつかの手法を実装した。
論文参考訳（メタデータ） (2024-10-09T22:53:48Z)
DECIDER: Leveraging Foundation Model Priors for Improved Model Failure Detection and Explanation [18.77296551727931]
本稿では,大規模言語モデル (LLM) と視覚言語モデル (VLM) の先行情報を利用した画像モデルの故障検出手法であるDECIDERを提案する。 DECIDERは一貫して最先端の故障検出性能を達成し、マシューズ相関係数全体のベースラインを著しく上回っている。
論文参考訳（メタデータ） (2024-08-01T07:08:11Z)
Detecting Errors through Ensembling Prompts (DEEP): An End-to-End LLM Framework for Detecting Factual Errors [11.07539342949602]
本稿では,テキスト要約における事実誤り検出のためのエンドツーエンドフレームワークを提案する。我々のフレームワークは、様々なLCMプロンプトを使用して、事実の矛盾を識別する。我々は、アンサンブルされたモデルを校正し、テキストが実際に一貫した、あるいは幻覚のない、経験的に正確な確率を生成する。
論文参考訳（メタデータ） (2024-06-18T18:59:37Z)
Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
論文参考訳（メタデータ） (2024-06-05T16:35:30Z)
Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
本稿では,新しい評価手法SQC-Scoreを提案する。主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
論文参考訳（メタデータ） (2024-04-04T15:36:53Z)
See, Say, and Segment: Teaching LMMs to Overcome False Premises [67.36381001664635]
この課題を解決するために,LMMのカスケードと共同学習手法を提案する。得られたモデルでは、画像中に物体が存在するかどうかを検知し、その物体が存在しないかをユーザに「例」し、最終的に、対象物のマスクを出力することで「分類」を行う。
論文参考訳（メタデータ） (2023-12-13T18:58:04Z)
Factcheck-Bench: Fine-Grained Evaluation Benchmark for Automatic Fact-checkers [121.53749383203792]
本稿では,大規模言語モデル (LLM) 生成応答の事実性に注釈を付けるための総合的なエンドツーエンドソリューションを提案する。オープンドメインの文書レベルの事実性ベンチマークを,クレーム,文,文書の3段階の粒度で構築する。予備実験によると、FacTool、FactScore、Perplexityは虚偽の主張を識別するのに苦労している。
論文参考訳（メタデータ） (2023-11-15T14:41:57Z)
Threshold-Consistent Margin Loss for Open-World Deep Metric Learning [42.03620337000911]
画像検索にDeep Metric Learning (DML) で使われている既存の損失は、しばしば非均一なクラス内およびクラス間表現構造に繋がる。不整合はしばしば、商用画像検索システムを展開する際のしきい値選択過程を複雑にする。クラス間の動作特性の分散を定量化するOPIS(Operating-Point-Inconsistency-Score)と呼ばれる,新しい分散に基づく尺度を提案する。
論文参考訳（メタデータ） (2023-07-08T21:16:41Z)
LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
論文参考訳（メタデータ） (2023-05-23T21:50:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。