Fugu-MT 論文翻訳(概要): FaithBench: A Diverse Hallucination Benchmark for Summarization by Modern LLMs

論文の概要: FaithBench: A Diverse Hallucination Benchmark for Summarization by Modern LLMs

arxiv url: http://arxiv.org/abs/2410.13210v1
Date: Thu, 17 Oct 2024 04:30:46 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-28 17:07:36.746397
Title: FaithBench: A Diverse Hallucination Benchmark for Summarization by Modern LLMs
Title（参考訳）: FaithBench: 現代のLLMによる要約のための多変量幻覚ベンチマーク
Abstract要約: 本稿では,10の現代LSMによる難解な幻覚を含む要約幻覚ベンチマークであるFaithBenchを紹介する。その結果, GPT-4o と GPT-3.5-Turbo が最も幻覚が少ないことが判明した。最高の幻覚検出モデルでさえ、FaithBenchには50%近い精度があり、将来の改善の余地がたくさんあることを示している。
参考スコア（独自算出の注目度）: 2.871226288151562
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Summarization is one of the most common tasks performed by large language models (LLMs), especially in applications like Retrieval-Augmented Generation (RAG). However, existing evaluations of hallucinations in LLM-generated summaries, and evaluations of hallucination detection models both suffer from a lack of diversity and recency in the LLM and LLM families considered. This paper introduces FaithBench, a summarization hallucination benchmark comprising challenging hallucinations made by 10 modern LLMs from 8 different families, with ground truth annotations by human experts. ``Challenging'' here means summaries on which popular, state-of-the-art hallucination detection models, including GPT-4o-as-a-judge, disagreed on. Our results show GPT-4o and GPT-3.5-Turbo produce the least hallucinations. However, even the best hallucination detection models have near 50\% accuracies on FaithBench, indicating lots of room for future improvement. The repo is https://github.com/vectara/FaithBench
Abstract（参考訳）: 要約は、特にRetrieval-Augmented Generation (RAG)のようなアプリケーションにおいて、大きな言語モデル(LLM)によって実行される最も一般的なタスクの1つである。しかし, LLM 生成サマリーにおける幻覚の既存の評価や幻覚検出モデルの評価は, LLM および LLM ファミリーで考慮された多様性の欠如と傾向の欠如に悩まされている。本稿では,8つの異なる家系の10の現代LSMによる難解な幻覚と,人間の専門家による根拠的真理アノテーションからなる要約幻覚ベンチマークであるFaithBenchを紹介する。ここでの 'Challenging' とは、GPT-4o-as-a-judgeを含む最先端の幻覚検出モデルが反対する要約のことである。その結果, GPT-4o と GPT-3.5-Turbo が最も幻覚が少ないことが判明した。しかし、最高の幻覚検出モデルでさえ、FaithBenchの精度は50%近くで、将来の改善の余地がたくさんあることを示している。リポジトリはhttps://github.com/vectara/FaithBench

関連論文リスト

Benchmarking LLM Faithfulness in RAG with Evolving Leaderboards [34.14529094908449]
本稿では,要約課題に焦点をあてて幻覚を測定するための取り組みについて述べる。 Hughes Hallucination Evaluation Model(HHEM)に基づくVectaraの既存のLLM幻覚リーダーボードについて論じる。これらの制約に対処するため,少人数のヒト幻覚アノテーションでガイドされたLPM-as-a-judgeアプローチであるFaithJudgeを提案する。
論文参考訳（メタデータ） (2025-05-07T22:50:33Z)
From Single to Multi: How LLMs Hallucinate in Multi-Document Summarization [6.37435726278524]
複数の文書からトピック特化情報を要約する際に,大規模言語モデル (LLM) において幻覚がどのように現れるかを検討する。平均して、LLM生成サマリーの最大75%は幻覚化され、要約の終わりに幻覚が生じる可能性が高い。これらの幻覚の特徴を理解するために、手動で700以上の洞察を評価し、ほとんどのエラーは指示に従わなかったり、過度に総合的な洞察が得られなかったりする。
論文参考訳（メタデータ） (2024-10-17T18:38:53Z)
MedHalu: Hallucinations in Responses to Healthcare Queries by Large Language Models [26.464489158584463]
患者からのリアルタイム医療クエリに対するLCM生成反応における幻覚の先駆的な研究を行う。 MedHaluは、健康関連トピックが多種多様である、注意深く構築された医療幻覚データセットである。 MedHaluDetect フレームワークを導入し,幻覚検出における様々な LLM の機能を評価する。
論文参考訳（メタデータ） (2024-09-29T00:09:01Z)
WildHallucinations: Evaluating Long-form Factuality in LLMs with Real-World Entity Queries [64.239202960816]
事実性を評価するベンチマークであるWildHallucinationsを紹介する。それは、大きな言語モデルに、ユーザーとチャットボットの会話から抽出されたエンティティに関する情報を生成するよう促すことによって実現している。我々は15個のLDMから7,919個のエンティティ上で118,785世代を評価した。
論文参考訳（メタデータ） (2024-07-24T17:59:05Z)
ANAH-v2: Scaling Analytical Hallucination Annotation of Large Language Models [65.12177400764506]
大規模言語モデル (LLM) は、様々な領域や広範囲のアプリケーションにまたがる、長い形式の質問応答タスクにおいて幻覚を示す。現在の幻覚検出と緩和データセットはドメインやサイズによって制限されている。本稿では,幻覚アノテーションデータセットを同時に,段階的にスケールアップする反復的自己学習フレームワークを提案する。
論文参考訳（メタデータ） (2024-07-05T17:56:38Z)
ANAH: Analytical Annotation of Hallucinations in Large Language Models [65.12177400764506]
我々は、大言語モデルにおける幻覚の@textbfAN$alytical $textbfA$nnotationを提供するデータセットである$textbfANAH$を提示する。 ANAHは、700以上のトピックをカバーする4.3k LLM応答のための12kの文レベルのアノテーションで構成されている。幻覚アノテーションの微粒化により, LLMの幻覚が解答に蓄積されることを定量的に確認し, ANAHを用いて幻覚アノテーションを訓練し, 評価する。
論文参考訳（メタデータ） (2024-05-30T17:54:40Z)
DiaHalu: A Dialogue-level Hallucination Evaluation Benchmark for Large Language Models [26.289847386286446]
本稿では,対話レベルの幻覚評価ベンチマークDiaHaluを提案する。収集したトピックをシステムプロンプトに統合し、2つのChatGPT3.5間の対話を促進する。人間の言語規則に従わない内容を手動で修正し、LLMを再生させ、人間と機械の相互作用のシナリオをシミュレートする。
論文参考訳（メタデータ） (2024-03-01T15:38:55Z)
Fine-grained Hallucination Detection and Editing for Language Models [109.56911670376932]
大規模言語モデル(LM)は、しばしば幻覚と呼ばれる事実的誤りを引き起こす傾向にある。我々は,幻覚の包括的分類を導入し,幻覚が多様な形態で現れることを議論する。本稿では, 幻覚自動検出のための新しいタスクを提案し, 新たな評価ベンチマークであるFavaBenchを構築した。
論文参考訳（メタデータ） (2024-01-12T19:02:48Z)
The Dawn After the Dark: An Empirical Study on Factuality Hallucination in Large Language Models [134.6697160940223]
幻覚は、大きな言語モデルの信頼できるデプロイには大きな課題となります。幻覚(検出)の検出方法、LLMが幻覚(ソース)をなぜ検出するのか、そしてそれを緩和するために何ができるか、という3つの重要な疑問がよく研究されるべきである。本研究は, 幻覚検出, 発生源, 緩和の3つの側面に着目した, LLM幻覚の系統的研究である。
論文参考訳（メタデータ） (2024-01-06T12:40:45Z)
A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions [40.79317187623401]
大規模言語モデル(LLM)の出現は、自然言語処理(NLP)において大きなブレークスルーとなった。 LLMは幻覚を起こす傾向があり、可視だが非現実的な内容を生成する。この現象は、実世界の情報検索システムにおけるLCMの信頼性に対する重大な懸念を引き起こす。
論文参考訳（メタデータ） (2023-11-09T09:25:37Z)
HaluEval: A Large-Scale Hallucination Evaluation Benchmark for Large Language Models [146.87696738011712]
大型言語モデル(LLM)は幻覚を生成する傾向があり、すなわち、ソースと矛盾したり、事実の知識によって検証できないコンテンツである。言語モデル(HaluEval)のための幻覚評価ベンチマーク(Halucination Evaluation benchmark)を導入する。
論文参考訳（メタデータ） (2023-05-19T15:36:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。