論文の概要: HalluVerse25: Fine-grained Multilingual Benchmark Dataset for LLM Hallucinations

• arxiv url: http://arxiv.org/abs/2503.07833v1
• Date: Mon, 10 Mar 2025 20:24:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 15:46:03.572811
• Title: HalluVerse25: Fine-grained Multilingual Benchmark Dataset for LLM Hallucinations
• Title（参考訳）: HalluVerse25: LLM幻覚のための細粒度多言語ベンチマークデータセット
• Authors: Samir Abdaljalil, Hasan Kurban, Erchin Serpedin,
• Abstract要約: 英語,アラビア語,トルコ語で微粒な幻覚を分類する多言語データセットであるHaluVerse25を紹介する。 我々のデータセット構築パイプラインは、LLMを使用して幻覚を実際の伝記文に注入し、続いて厳密な人間のアノテーションプロセスでデータ品質を保証します。
• 参考スコア（独自算出の注目度）: 2.3732122943029164
• License:
• Abstract: Large Language Models (LLMs) are increasingly used in various contexts, yet remain prone to generating non-factual content, commonly referred to as "hallucinations". The literature categorizes hallucinations into several types, including entity-level, relation-level, and sentence-level hallucinations. However, existing hallucination datasets often fail to capture fine-grained hallucinations in multilingual settings. In this work, we introduce HalluVerse25, a multilingual LLM hallucination dataset that categorizes fine-grained hallucinations in English, Arabic, and Turkish. Our dataset construction pipeline uses an LLM to inject hallucinations into factual biographical sentences, followed by a rigorous human annotation process to ensure data quality. We evaluate several LLMs on HalluVerse25, providing valuable insights into how proprietary models perform in detecting LLM-generated hallucinations across different contexts.
• Abstract（参考訳）: 大規模言語モデル (LLM) は、様々な文脈で使われることが多いが、非現実的なコンテンツを生成する傾向にある(一般に「幻覚」と呼ばれる)。 この文献は幻覚を、実体レベル、関係レベル、文レベルの幻覚など、いくつかのタイプに分類している。 しかし、既存の幻覚データセットは、多言語設定における微細な幻覚を捕捉できないことが多い。 本稿では,英語,アラビア語,トルコ語で微細な幻覚を分類する多言語LLM幻覚データセットであるHaluVerse25を紹介する。 我々のデータセット構築パイプラインは、LLMを使用して幻覚を実際の伝記文に注入し、続いて厳密な人間のアノテーションプロセスでデータ品質を保証します。 HalluVerse25 上で複数の LLM を評価し、異なる文脈における LLM 生成幻覚の検出において、プロプライエタリなモデルがどのように機能するかについて貴重な知見を提供する。

関連論文リスト

• How Much Do LLMs Hallucinate across Languages? On Multilingual Estimation of LLM Hallucination in the Wild [11.82100047858478]
  幻覚とは、大規模言語モデルが非現実的または不誠実な応答を生成する傾向である。 我々は多言語幻覚検出モデルを訓練し、30言語にわたる大規模な研究を行う。 その結果,LLMは高次情報源言語に対するより幻覚的なトークンでより長い応答を生成するが,言語の長さ正規化幻覚率とそれらのデジタル表現との間には相関がないことが判明した。
  論文  参考訳（メタデータ） (2025-02-18T11:32:43Z)
• Multilingual Hallucination Gaps in Large Language Models [5.505634045241288]
  フリーフォームテキスト生成において,複数の言語にまたがる幻覚現象について検討する。 これらのギャップは、使用するプロンプトや言語による幻覚応答の頻度の違いを反映している。 その結果, 幻覚率の変動, 特に高次言語と低次言語の違いが明らかになった。
  論文  参考訳（メタデータ） (2024-10-23T20:41:51Z)
• LongHalQA: Long-Context Hallucination Evaluation for MultiModal Large Language Models [96.64960606650115]
  LongHalQA (LongHalQA) は、6Kの長い複雑な幻覚テキストからなるLLMフリー幻覚ベンチマークである。 LongHalQA は GPT4V の生成した幻覚データによって特徴付けられる。
  論文  参考訳（メタデータ） (2024-10-13T18:59:58Z)
• ANAH-v2: Scaling Analytical Hallucination Annotation of Large Language Models [65.12177400764506]
  大規模言語モデル (LLM) は、様々な領域や広範囲のアプリケーションにまたがる、長い形式の質問応答タスクにおいて幻覚を示す。 現在の幻覚検出と緩和データセットはドメインやサイズによって制限されている。 本稿では,幻覚アノテーションデータセットを同時に,段階的にスケールアップする反復的自己学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-05T17:56:38Z)
• ANAH: Analytical Annotation of Hallucinations in Large Language Models [65.12177400764506]
  我々は、大言語モデルにおける幻覚の@textbfAN$alytical $textbfA$nnotationを提供するデータセットである$textbfANAH$を提示する。 ANAHは、700以上のトピックをカバーする4.3k LLM応答のための12kの文レベルのアノテーションで構成されている。 幻覚アノテーションの微粒化により, LLMの幻覚が解答に蓄積されることを定量的に確認し, ANAHを用いて幻覚アノテーションを訓練し, 評価する。
  論文  参考訳（メタデータ） (2024-05-30T17:54:40Z)
• Mitigating Object Hallucination in MLLMs via Data-augmented Phrase-level Alignment [52.43197107069751]
  MLLM(Multimodal Large Language Models)はしばしば幻覚と呼ばれる事実的不正確な情報を生成する。 そこで,本研究では,MLLMの命令調整による幻覚の緩和に応用可能な新しい損失であるData-augmented Phrase-level Alignment(DPA)を提案する。
  論文  参考訳（メタデータ） (2024-05-28T23:36:00Z)
• Hallucination Diversity-Aware Active Learning for Text Summarization [46.00645048690819]
  LLM(Large Language Models)は、幻覚出力を生成するための妥当性を示す。 幻覚を緩和するための既存の方法は、通常、LLM出力の幻覚を識別し修正するために、人為的なアノテーションを必要とする。 LLM幻覚を緩和する最初のアクティブラーニングフレームワークを提案し,必要な幻覚アノテーションのコストを削減した。
  論文  参考訳（メタデータ） (2024-04-02T02:30:27Z)
• DiaHalu: A Dialogue-level Hallucination Evaluation Benchmark for Large Language Models [26.289847386286446]
  本稿では,対話レベルの幻覚評価ベンチマークDiaHaluを提案する。 収集したトピックをシステムプロンプトに統合し、2つのChatGPT3.5間の対話を促進する。 人間の言語規則に従わない内容を手動で修正し、LLMを再生させ、人間と機械の相互作用のシナリオをシミュレートする。
  論文  参考訳（メタデータ） (2024-03-01T15:38:55Z)
• Hal-Eval: A Universal and Fine-grained Hallucination Evaluation Framework for Large Vision Language Models [35.45859414670449]
  我々は,新しいカテゴリーであるイベント幻覚(Event Hallucination)を特徴とする,幻覚の洗練された分類を導入した。 次に,多種多様な幻覚からなる微粒な幻覚データの生成とフィルタリングに高度LLMを利用する。 提案するベンチマークでは,広帯域の幻覚に対処するLVLMの能力を顕著に評価している。
  論文  参考訳（メタデータ） (2024-02-24T05:14:52Z)
• The Dawn After the Dark: An Empirical Study on Factuality Hallucination in Large Language Models [134.6697160940223]
  幻覚は、大きな言語モデルの信頼できるデプロイには大きな課題となります。 幻覚(検出)の検出方法、LLMが幻覚(ソース)をなぜ検出するのか、そしてそれを緩和するために何ができるか、という3つの重要な疑問がよく研究されるべきである。 本研究は, 幻覚検出, 発生源, 緩和の3つの側面に着目した, LLM幻覚の系統的研究である。
  論文  参考訳（メタデータ） (2024-01-06T12:40:45Z)
• HaluEval: A Large-Scale Hallucination Evaluation Benchmark for Large Language Models [146.87696738011712]
  大型言語モデル(LLM)は幻覚を生成する傾向があり、すなわち、ソースと矛盾したり、事実の知識によって検証できないコンテンツである。 言語モデル(HaluEval)のための幻覚評価ベンチマーク(Halucination Evaluation benchmark)を導入する。
  論文  参考訳（メタデータ） (2023-05-19T15:36:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。