論文の概要: Poly-FEVER: A Multilingual Fact Verification Benchmark for Hallucination Detection in Large Language Models

• arxiv url: http://arxiv.org/abs/2503.16541v2
• Date: Wed, 26 Mar 2025 23:53:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-28 12:49:31.539667
• Title: Poly-FEVER: A Multilingual Fact Verification Benchmark for Hallucination Detection in Large Language Models
• Title（参考訳）: Poly-FEVER:大規模言語モデルにおける幻覚検出のための多言語ファクト検証ベンチマーク
• Authors: Hanzhi Zhang, Sumera Anjum, Heng Fan, Weijian Zheng, Yan Huang, Yunhe Feng,
• Abstract要約: 生成AIにおける幻覚、特にLarge Language Models(LLMs)は、多言語アプリケーションの信頼性に重大な課題をもたらす。 幻覚検出のための既存のベンチマークは、主に英語といくつかの広く話されている言語に焦点を当てている。 大規模多言語事実検証ベンチマークであるPoly-FEVERを紹介する。
• 参考スコア（独自算出の注目度）: 10.663446796160567
• License:
• Abstract: Hallucinations in generative AI, particularly in Large Language Models (LLMs), pose a significant challenge to the reliability of multilingual applications. Existing benchmarks for hallucination detection focus primarily on English and a few widely spoken languages, lacking the breadth to assess inconsistencies in model performance across diverse linguistic contexts. To address this gap, we introduce Poly-FEVER, a large-scale multilingual fact verification benchmark specifically designed for evaluating hallucination detection in LLMs. Poly-FEVER comprises 77,973 labeled factual claims spanning 11 languages, sourced from FEVER, Climate-FEVER, and SciFact. It provides the first large-scale dataset tailored for analyzing hallucination patterns across languages, enabling systematic evaluation of LLMs such as ChatGPT and the LLaMA series. Our analysis reveals how topic distribution and web resource availability influence hallucination frequency, uncovering language-specific biases that impact model accuracy. By offering a multilingual benchmark for fact verification, Poly-FEVER facilitates cross-linguistic comparisons of hallucination detection and contributes to the development of more reliable, language-inclusive AI systems. The dataset is publicly available to advance research in responsible AI, fact-checking methodologies, and multilingual NLP, promoting greater transparency and robustness in LLM performance. The proposed Poly-FEVER is available at: https://huggingface.co/datasets/HanzhiZhang/Poly-FEVER.
• Abstract（参考訳）: 生成AIにおける幻覚、特にLarge Language Models(LLMs)は、多言語アプリケーションの信頼性に重大な課題をもたらす。 幻覚検出のための既存のベンチマークは、主に英語といくつかの広く話されている言語に焦点を当てており、様々な言語文脈におけるモデル性能の不整合を評価できない。 このギャップに対処するために,LLMの幻覚検出に特化して設計された大規模多言語事実検証ベンチマークであるPoly-FEVERを紹介する。 Poly-FEVERは、FEVER、Climate-FEVER、SciFactなど11言語にまたがる77,973のラベル付き事実クレームで構成されている。 ChatGPTやLLaMAシリーズといったLLMの体系的な評価を可能にするため、言語間の幻覚パターンの分析に適した最初の大規模データセットを提供する。 分析により,トピック分布とWebリソースの可利用性が幻覚頻度にどのように影響するかを明らかにし,モデル精度に影響を及ぼす言語固有のバイアスを明らかにする。 事実検証のための多言語ベンチマークを提供することで、Poly-FEVERは幻覚検出の言語間比較を促進し、より信頼性の高い言語を含むAIシステムの開発に寄与する。 このデータセットは、責任あるAI、ファクトチェック方法論、多言語NLPの研究を進めるために公開されており、LLMパフォーマンスの透明性と堅牢性を向上している。 提案されているPoly-FEVERは、https://huggingface.co/datasets/HanzhiZhang/Poly-FEVERで利用可能である。

関連論文リスト

• How Much Do LLMs Hallucinate across Languages? On Multilingual Estimation of LLM Hallucination in the Wild [11.82100047858478]
  幻覚とは、大規模言語モデルが非現実的または不誠実な応答を生成する傾向である。 我々は多言語幻覚検出モデルを訓練し、30言語にわたる大規模な研究を行う。 その結果,LLMは高次情報源言語に対するより幻覚的なトークンでより長い応答を生成するが,言語の長さ正規化幻覚率とそれらのデジタル表現との間には相関がないことが判明した。
  論文  参考訳（メタデータ） (2025-02-18T11:32:43Z)
• Exploring Vision Language Models for Multimodal and Multilingual Stance Detection [9.079302402271491]
  ソーシャルメディアのグローバルリーチは情報の拡散を増幅し、堅牢な自然言語処理タスクの必要性を強調している。 以前の研究では主にテキストのみの入力に焦点が当てられ、マルチモーダルなシナリオは比較的過小評価されている。 本稿では,マルチモーダルおよび多言語姿勢検出タスクにおけるVLM(Vision-Language Models)の評価を行う。
  論文  参考訳（メタデータ） (2025-01-29T13:39:53Z)
• P-MMEval: A Parallel Multilingual Multitask Benchmark for Consistent Evaluation of LLMs [84.24644520272835]
  大きな言語モデル(LLM)は、翻訳、コード生成、推論といったタスクにまたがる様々な多言語機能を示す。 以前の評価では、その範囲を基本自然言語処理(NLP)や、独立した機能固有のタスクに制限することが多かった。 我々は、これらのベンチマークの有用性に関する以前の研究の監視に対処するため、大規模ベンチマークから利用可能な、合理的なベンチマークを選択するパイプラインを提案する。 本稿では,P-MMEvalを提案する。P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval。
  論文  参考訳（メタデータ） (2024-11-14T01:29:36Z)
• LargePiG: Your Large Language Model is Secretly a Pointer Generator [15.248956952849259]
  本稿では,Large Language Models (LLMs) に基づく問合せ生成による幻覚問題の新しいタイプとして,関連性幻覚と事実性幻覚を導入する。 LLM生成クエリの形式からコンテンツを切り離す効果的な方法を提案し、入力から抽出・統合された事実知識を保存し、LLMの強力な言語機能を用いて関数語を含む構文構造をコンパイルする。
  論文  参考訳（メタデータ） (2024-10-15T07:41:40Z)
• Multilingual Needle in a Haystack: Investigating Long-Context Behavior of Multilingual Large Language Models [22.859955360764275]
  本稿では,MultiLingual Needle-in-a-Haystack(MLNeedle)テストを導入する。 我々はMLNeedleの4つの最先端の大規模言語モデルを評価する。
  論文  参考訳（メタデータ） (2024-08-19T17:02:06Z)
• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間の対応する概念、すなわち言語を横断的に関連付けることができるだろうか? 本研究は,言語横断的タスクにおける最先端LLMの評価である。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• Comparing Hallucination Detection Metrics for Multilingual Generation [62.97224994631494]
  本稿では,各言語にまたがって生成した伝記要約における幻覚を,様々な事実の幻覚検出指標がいかによく識別するかを評価する。 自動測度が相互にどのように相関するか, 事実判断に一致しているかを比較検討した。 我々の分析によると、語彙指標は非効率であるが、NLIベースのメトリクスはよく機能し、多くの設定における人間のアノテーションと相関し、しばしば教師付きモデルよりも優れている。
  論文  参考訳（メタデータ） (2024-02-16T08:10:34Z)
• Do We Need Language-Specific Fact-Checking Models? The Case of Chinese [15.619421104102516]
  本稿では,中国語の事例に着目し,言語固有の事実チェックモデルの潜在的なメリットについて検討する。 まず、翻訳に基づく手法と多言語大言語モデルの限界を実証し、言語固有のシステムの必要性を強調した。 文脈情報を組み込んで文書から証拠をよりよく検索できる中国のファクトチェックシステムを提案する。
  論文  参考訳（メタデータ） (2024-01-27T20:26:03Z)
• AutoHall: Automated Hallucination Dataset Generation for Large Language Models [56.92068213969036]
  本稿では,AutoHallと呼ばれる既存のファクトチェックデータセットに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。 また,自己コントラディションに基づくゼロリソース・ブラックボックス幻覚検出手法を提案する。
  論文  参考訳（メタデータ） (2023-09-30T05:20:02Z)
• mFACE: Multilingual Summarization with Factual Consistency Evaluation [79.60172087719356]
  抽象的な要約は、事前訓練された言語モデルと大規模データセットの可用性のおかげで、近年で新たな関心を集めている。 有望な結果にもかかわらず、現在のモデルはいまだに現実的に矛盾した要約を生み出すことに苦しむ。 事実整合性評価モデルを利用して、多言語要約を改善する。
  論文  参考訳（メタデータ） (2022-12-20T19:52:41Z)
• Analyzing the Mono- and Cross-Lingual Pretraining Dynamics of Multilingual Language Models [73.11488464916668]
  本研究では,多言語事前学習プロセスのダイナミクスについて検討する。 我々は,XLM-Rプレトレーニング全体から抽出したチェックポイントを,一連の言語的タスクを用いて探索する。 分析の結果,より複雑なものよりも低レベルな言語スキルが得られ,早期に高い言語性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-05-24T03:35:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。