論文の概要: HaluEval-Wild: Evaluating Hallucinations of Language Models in the Wild

• arxiv url: http://arxiv.org/abs/2403.04307v3
• Date: Sun, 15 Sep 2024 05:37:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-18 02:55:35.053698
• Title: HaluEval-Wild: Evaluating Hallucinations of Language Models in the Wild
• Title（参考訳）: HaluEval-Wild:野生の言語モデルの幻覚を評価する
• Authors: Zhiying Zhu, Yiming Yang, Zhiqing Sun,
• Abstract要約: 幻覚は、臨界領域における大きな言語モデル(LLM)の信頼性に重大な課題をもたらす。 野生におけるLSM幻覚を評価するために特別に設計された最初のベンチマークであるHaluEval-Wildを紹介する。
• 参考スコア（独自算出の注目度）: 41.86776426516293
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hallucinations pose a significant challenge to the reliability of large language models (LLMs) in critical domains. Recent benchmarks designed to assess LLM hallucinations within conventional NLP tasks, such as knowledge-intensive question answering (QA) and summarization, are insufficient for capturing the complexities of user-LLM interactions in dynamic, real-world settings. To address this gap, we introduce HaluEval-Wild, the first benchmark specifically designed to evaluate LLM hallucinations in the wild. We meticulously collect challenging (adversarially filtered by Alpaca) user queries from ShareGPT, an existing real-world user-LLM interaction datasets, to evaluate the hallucination rates of various LLMs. Upon analyzing the collected queries, we categorize them into five distinct types, which enables a fine-grained analysis of the types of hallucinations LLMs exhibit, and synthesize the reference answers with the powerful GPT-4 model and retrieval-augmented generation (RAG). Our benchmark offers a novel approach towards enhancing our comprehension of and improving LLM reliability in scenarios reflective of real-world interactions. Our benchmark is available at https://github.com/HaluEval-Wild/HaluEval-Wild.
• Abstract（参考訳）: 幻覚は、臨界領域における大きな言語モデル(LLM)の信頼性に重大な課題をもたらす。 近年、知識集約型質問応答(QA)や要約のような従来のNLPタスクにおけるLLM幻覚を評価するために設計されたベンチマークは、動的な実世界の環境でのユーザ-LLMインタラクションの複雑さを捉えるには不十分である。 このギャップに対処するために、野生におけるLSM幻覚を評価するために特別に設計された最初のベンチマークであるHaluEval-Wildを紹介する。 既存の実世界のユーザ-LLMインタラクションデータセットであるShareGPTから,難解な(Alpacaによって逆フィルタリングされる)ユーザクエリを慎重に収集し,さまざまなLSMの幻覚率を評価する。 収集したクエリを解析すると、5つの異なるタイプに分類し、LLMが示す幻覚の種類を詳細に分析し、強力なGPT-4モデルと検索拡張生成(RAG)を用いて参照回答を合成する。 本ベンチマークでは,実世界のインタラクションを反映したシナリオにおけるLCMの信頼性の向上と信頼性向上に向けた新たなアプローチを提案する。 私たちのベンチマークはhttps://github.com/HaluEval-Wild/HaluEval-Wildで公開しています。

関連論文リスト

• ANAH: Analytical Annotation of Hallucinations in Large Language Models [65.12177400764506]
  我々は、大言語モデルにおける幻覚の@textbfAN$alytical $textbfA$nnotationを提供するデータセットである$textbfANAH$を提示する。 ANAHは、700以上のトピックをカバーする4.3k LLM応答のための12kの文レベルのアノテーションで構成されている。 幻覚アノテーションの微粒化により, LLMの幻覚が解答に蓄積されることを定量的に確認し, ANAHを用いて幻覚アノテーションを訓練し, 評価する。
  論文  参考訳（メタデータ） (2024-05-30T17:54:40Z)
• VALOR-EVAL: Holistic Coverage and Faithfulness Evaluation of Large Vision-Language Models [57.43276586087863]
  LVLM(Large Vision-Language Models)は幻覚に悩まされ、このモデルでは可聴音を発生させるが、実際には誤出力を発生させる。 既存のベンチマークはスコープに限られており、主にオブジェクト幻覚に焦点を当てている。 対象,属性,関係を多次元のベンチマークで表現し,連想バイアスに基づいて画像を選択する。
  論文  参考訳（メタデータ） (2024-04-22T04:49:22Z)
• HypoTermQA: Hypothetical Terms Dataset for Benchmarking Hallucination Tendency of LLMs [0.0]
  幻覚は、大規模言語モデル(LLM)の信頼性と整合性に重大な課題をもたらす 本稿では,LLMの幻覚傾向のベンチマークと効率的な幻覚検出を組み合わせた,スケーラブルな自動フレームワークを提案する。 フレームワークはドメインに依存しないため、任意のドメインでのベンチマーク作成や評価に任意の言語モデルを使用することができる。
  論文  参考訳（メタデータ） (2024-02-25T22:23:37Z)
• RAGTruth: A Hallucination Corpus for Developing Trustworthy Retrieval-Augmented Language Models [9.465753274663061]
  大規模言語モデル(LLM)の幻覚を緩和する主要な手法は、検索拡張世代(RAG)である。 本稿では,各ドメインにおける単語レベルの幻覚の分析に適したコーパスであるRAGTruthについて述べる。
  論文  参考訳（メタデータ） (2023-12-31T04:43:45Z)
• AMBER: An LLM-free Multi-dimensional Benchmark for MLLMs Hallucination Evaluation [58.19101663976327]
  マルチモーダル大規模言語モデル(MLLM)は幻覚の重要な課題に直面する。 MLLMの幻覚を評価することは、モデルの改善と実践的なアプリケーション展開においてますます重要になっている。 生成タスクと識別タスクの両方を評価するために, LLMフリーな多次元ベンチマークAMBERを提案する。
  論文  参考訳（メタデータ） (2023-11-13T15:25:42Z)
• ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
  本稿では,LLMベースのフレームワークであるReEvalについて述べる。 本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。 我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
  論文  参考訳（メタデータ） (2023-10-19T06:37:32Z)
• Siren's Song in the AI Ocean: A Survey on Hallucination in Large Language Models [116.01843550398183]
  大規模言語モデル(LLM)は、様々な下流タスクで顕著な機能を示している。 LLMは時折、ユーザ入力から分岐するコンテンツを生成し、以前生成されたコンテキストと矛盾する。
  論文  参考訳（メタデータ） (2023-09-03T16:56:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。