論文の概要: Comparing Hallucination Detection Metrics for Multilingual Generation

• arxiv url: http://arxiv.org/abs/2402.10496v2
• Date: Sun, 16 Jun 2024 00:44:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 06:15:51.152905
• Title: Comparing Hallucination Detection Metrics for Multilingual Generation
• Title（参考訳）: 多言語生成のための幻覚検出指標の比較
• Authors: Haoqiang Kang, Terra Blevins, Luke Zettlemoyer,
• Abstract要約: 本稿では,各言語にまたがって生成した伝記要約における幻覚を,様々な事実の幻覚検出指標がいかによく識別するかを評価する。 自動測度が相互にどのように相関するか, 事実判断に一致しているかを比較検討した。 我々の分析によると、語彙指標は非効率であるが、NLIベースのメトリクスはよく機能し、多くの設定における人間のアノテーションと相関し、しばしば教師付きモデルよりも優れている。
• 参考スコア（独自算出の注目度）: 62.97224994631494
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While many hallucination detection techniques have been evaluated on English text, their effectiveness in multilingual contexts remains unknown. This paper assesses how well various factual hallucination detection metrics (lexical metrics like ROUGE and Named Entity Overlap, and Natural Language Inference (NLI)-based metrics) identify hallucinations in generated biographical summaries across languages. We compare how well automatic metrics correlate to each other and whether they agree with human judgments of factuality. Our analysis reveals that while the lexical metrics are ineffective, NLI-based metrics perform well, correlating with human annotations in many settings and often outperforming supervised models. However, NLI metrics are still limited, as they do not detect single-fact hallucinations well and fail for lower-resource languages. Therefore, our findings highlight the gaps in exisiting hallucination detection methods for non-English languages and motivate future research to develop more robust multilingual detection methods for LLM hallucinations.
• Abstract（参考訳）: 多くの幻覚検出技術が英語のテキストで評価されているが、多言語文脈におけるその効果は未だ不明である。 本稿では,各言語にまたがる実測値(ROUGE や Named Entity Overlap などの語彙指標,および自然言語推論(NLI)に基づくメトリクス)が,生成した実測的要約における幻覚をいかによく識別するかを評価する。 自動測度が相互にどのように相関するか, 事実判断に一致しているかを比較検討した。 我々の分析によると、語彙指標は非効率であるが、NLIベースのメトリクスはよく機能し、多くの設定における人間のアノテーションと相関し、しばしば教師付きモデルよりも優れている。 しかし、NLIメトリクスはシングルファクト幻覚を十分に検出せず、低リソース言語では失敗するため、まだ限られている。 そこで本研究では,非英語言語における幻覚検出手法の出現と,LLM幻覚検出のためのより堅牢な多言語検出手法の開発に向けた今後の研究のモチベーションのギャップを浮き彫りにした。

関連論文リスト

• Dialectal Toxicity Detection: Evaluating LLM-as-a-Judge Consistency Across Language Varieties [23.777874316083984]
  現代のLSMによる毒性の検出に方言の違いがどう影響するかについては、体系的な研究はほとんど行われていない。 10の言語クラスタと60の変種をカバーする合成変換と人間による翻訳により、多言語データセットを作成する。 次に,多言語,方言,LLM-ヒト間の毒性を評価できる3つのLSMを評価した。
  論文  参考訳（メタデータ） (2024-11-17T03:53:24Z)
• Multilingual Hallucination Gaps in Large Language Models [5.505634045241288]
  フリーフォームテキスト生成において,複数の言語にまたがる幻覚現象について検討する。 これらのギャップは、使用するプロンプトや言語による幻覚応答の頻度の違いを反映している。 その結果, 幻覚率の変動, 特に高次言語と低次言語の違いが明らかになった。
  論文  参考訳（メタデータ） (2024-10-23T20:41:51Z)
• Hallucination Detection: Robustly Discerning Reliable Answers in Large Language Models [70.19081534515371]
  大規模言語モデル(LLM)は様々な自然言語処理タスクで広く採用されている。 それらは、入力源から逸脱する不信または矛盾したコンテンツを生成し、深刻な結果をもたらす。 本稿では,LLMの生成した回答の幻覚を効果的に検出するために,RelDという頑健な識別器を提案する。
  論文  参考訳（メタデータ） (2024-07-04T18:47:42Z)
• Fine-grained Hallucination Detection and Editing for Language Models [109.56911670376932]
  大規模言語モデル(LM)は、しばしば幻覚と呼ばれる事実的誤りを引き起こす傾向にある。 我々は,幻覚の包括的分類を導入し,幻覚が多様な形態で現れることを議論する。 本稿では, 幻覚自動検出のための新しいタスクを提案し, 新たな評価ベンチマークであるFavaBenchを構築した。
  論文  参考訳（メタデータ） (2024-01-12T19:02:48Z)
• Enhancing Uncertainty-Based Hallucination Detection with Stronger Focus [99.33091772494751]
  大規模言語モデル(LLM)は、様々な分野にわたる印象的なパフォーマンスで大きな人気を集めている。 LLMは、ユーザの期待を満たさない非現実的あるいは非感覚的なアウトプットを幻覚させる傾向がある。 LLMにおける幻覚を検出するための新しい基準のない不確実性に基づく手法を提案する。
  論文  参考訳（メタデータ） (2023-11-22T08:39:17Z)
• A New Benchmark and Reverse Validation Method for Passage-level Hallucination Detection [63.56136319976554]
  大きな言語モデル(LLM)は幻覚を発生させ、ミッションクリティカルなタスクにデプロイすると大きなダメージを与える可能性がある。 本稿では,逆検証に基づく自己チェック手法を提案し,ゼロリソース方式で事実誤りを自動的に検出する。 提案手法と既存のゼロリソース検出手法を2つのデータセット上で実証的に評価した。
  論文  参考訳（メタデータ） (2023-10-10T10:14:59Z)
• AutoHall: Automated Hallucination Dataset Generation for Large Language Models [56.92068213969036]
  本稿では,AutoHallと呼ばれる既存のファクトチェックデータセットに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。 また,自己コントラディションに基づくゼロリソース・ブラックボックス幻覚検出手法を提案する。
  論文  参考訳（メタデータ） (2023-09-30T05:20:02Z)
• Zero-Resource Hallucination Prevention for Large Language Models [45.4155729393135]
  ハロシン化(Hallucination)とは、大規模言語モデル(LLM)が事実的に不正確な情報を生成する事例を指す。 本稿では,SELF-FAMILIARITYと呼ばれる,入力命令に含まれる概念に対するモデルの親しみ度を評価する新しい自己評価手法を提案する。 4つの異なる大言語モデルでSELF-FAMILIARITYを検証し、既存の手法と比較して一貫して優れた性能を示す。
  論文  参考訳（メタデータ） (2023-09-06T01:57:36Z)
• Detecting and Mitigating Hallucinations in Multilingual Summarisation [40.5267502712576]
  幻覚は抽象的な要約のためのニューラルネットワークの信頼性に重大な課題をもたらす。 我々は、非英語要約の忠実度を評価する新しい計量mFACTを開発した。 そこで我々は,言語間移動による幻覚を減らすための,シンプルだが効果的な方法を提案する。
  論文  参考訳（メタデータ） (2023-05-23T02:59:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。