論文の概要: Hallucination Detection in Large Language Models with Metamorphic Relations

• arxiv url: http://arxiv.org/abs/2502.15844v1
• Date: Thu, 20 Feb 2025 19:44:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:57:55.095656
• Title: Hallucination Detection in Large Language Models with Metamorphic Relations
• Title（参考訳）: 変則関係を持つ大規模言語モデルにおける幻覚検出
• Authors: Borui Yang, Md Afif Al Mamun, Jie M. Zhang, Gias Uddin,
• Abstract要約: 大規模言語モデル(LLM)は幻覚を起こす傾向があり、例えば、その応答において事実的に誤った情報がある。 メタQAは, メタモルフィック関係を利用した自己完結型幻覚検出手法である。 我々は,MetaQAと最先端のゼロリソース幻覚検出手法であるSelfCheckGPTを比較し,複数のデータセットを比較した。
• 参考スコア（独自算出の注目度）: 7.411154122932113
• License:
• Abstract: Large Language Models (LLMs) are prone to hallucinations, e.g., factually incorrect information, in their responses. These hallucinations present challenges for LLM-based applications that demand high factual accuracy. Existing hallucination detection methods primarily depend on external resources, which can suffer from issues such as low availability, incomplete coverage, privacy concerns, high latency, low reliability, and poor scalability. There are also methods depending on output probabilities, which are often inaccessible for closed-source LLMs like GPT models. This paper presents MetaQA, a self-contained hallucination detection approach that leverages metamorphic relation and prompt mutation. Unlike existing methods, MetaQA operates without any external resources and is compatible with both open-source and closed-source LLMs. MetaQA is based on the hypothesis that if an LLM's response is a hallucination, the designed metamorphic relations will be violated. We compare MetaQA with the state-of-the-art zero-resource hallucination detection method, SelfCheckGPT, across multiple datasets, and on two open-source and two closed-source LLMs. Our results reveal that MetaQA outperforms SelfCheckGPT in terms of precision, recall, and f1 score. For the four LLMs we study, MetaQA outperforms SelfCheckGPT with a superiority margin ranging from 0.041 - 0.113 (for precision), 0.143 - 0.430 (for recall), and 0.154 - 0.368 (for F1-score). For instance, with Mistral-7B, MetaQA achieves an average F1-score of 0.435, compared to SelfCheckGPT's F1-score of 0.205, representing an improvement rate of 112.2%. MetaQA also demonstrates superiority across all different categories of questions.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、その応答において幻覚(例えば、事実的に誤った情報)を起こす傾向がある。 これらの幻覚は、実際の精度を要求されるLCMベースのアプリケーションにとっての課題である。 既存の幻覚検出手法は主に外部リソースに依存しており、低可用性、不完全なカバレッジ、プライバシー上の懸念、高レイテンシ、低信頼性、低スケーラビリティといった問題に悩まされる。 出力確率に依存する手法もあり、GPTモデルのようなクローズドソースのLCMにはアクセスできないことが多い。 メタQAは, メタモルフィック関係を利用した自己完結型幻覚検出手法である。 既存の方法とは異なり、MetaQAは外部リソースなしで動作し、オープンソースとクローズドソースの両方のLLMと互換性がある。 MetaQA は LLM の応答が幻覚であるなら、設計された準同型関係は破られるという仮説に基づいている。 我々は,MetaQAと最先端のゼロリソース幻覚検出手法であるSelfCheckGPTを比較し,複数のデータセットおよび2つのオープンソースおよび2つのクローズドソースLCM上で比較した。 以上の結果から,MetaQAはSelfCheckGPTよりも精度,リコール,f1スコアに優れていた。 我々が研究している4つのLCMにおいて、MetaQAはSelfCheckGPTより優れており、精度は0.041～0.113(精度)、リコールは0.143～0.430(リコール)、F1スコアは0.154～0.368(スコア)である。 例えば、Mistral-7Bでは、MetaQAの平均F1スコアは0.435であり、SelfCheckGPTのF1スコアは0.205であり、改善率は112.2%である。 MetaQAはまた、あらゆるカテゴリの質問に対して優位性を示す。

関連論文リスト

• Verbosity $\neq$ Veracity: Demystify Verbosity Compensation Behavior of Large Language Models [8.846200844870767]
  大規模言語モデル(LLM)の好ましくない振る舞いの下位タイプを発見する。 我々はVerbosity Compensation (VC) を不確実性下での人間の鎮静行動と類似しているとしている。 本稿では, 冗長応答を他のモデル生成応答に置き換える, 単純で効果的なカスケードアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-11-12T15:15:20Z)
• LLM Robustness Against Misinformation in Biomedical Question Answering [50.98256373698759]
  探索拡張生成(RAG)アプローチは,質問応答のための大規模言語モデル(LLM)の折り畳みを低減するために用いられる。 バイオメディカル質問に対する誤報に対する4つのLDMの有効性とロバスト性を評価した。
  論文  参考訳（メタデータ） (2024-10-27T16:23:26Z)
• HypoTermQA: Hypothetical Terms Dataset for Benchmarking Hallucination Tendency of LLMs [0.0]
  幻覚は、大規模言語モデル(LLM)の信頼性と整合性に重大な課題をもたらす 本稿では,LLMの幻覚傾向のベンチマークと効率的な幻覚検出を組み合わせた,スケーラブルな自動フレームワークを提案する。 フレームワークはドメインに依存しないため、任意のドメインでのベンチマーク作成や評価に任意の言語モデルを使用することができる。
  論文  参考訳（メタデータ） (2024-02-25T22:23:37Z)
• "Knowing When You Don't Know": A Multilingual Relevance Assessment Dataset for Robust Retrieval-Augmented Generation [90.09260023184932]
  Retrieval-Augmented Generation (RAG) は、外部の知識源を活用して、事実の幻覚を減らすことで、Large Language Model (LLM) を出力する。 NoMIRACLは18言語にまたがるRAGにおけるLDM堅牢性を評価するための人為的アノテーション付きデータセットである。 本研究は,<i>Halucination rate</i>,<i>Halucination rate</i>,<i>Halucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sr。
  論文  参考訳（メタデータ） (2023-12-18T17:18:04Z)
• ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
  本稿では,LLMベースのフレームワークであるReEvalについて述べる。 本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。 我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
  論文  参考訳（メタデータ） (2023-10-19T06:37:32Z)
• A New Benchmark and Reverse Validation Method for Passage-level Hallucination Detection [63.56136319976554]
  大きな言語モデル(LLM)は幻覚を発生させ、ミッションクリティカルなタスクにデプロイすると大きなダメージを与える可能性がある。 本稿では,逆検証に基づく自己チェック手法を提案し,ゼロリソース方式で事実誤りを自動的に検出する。 提案手法と既存のゼロリソース検出手法を2つのデータセット上で実証的に評価した。
  論文  参考訳（メタデータ） (2023-10-10T10:14:59Z)
• LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
  そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。 ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。 最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
  論文  参考訳（メタデータ） (2023-05-23T21:50:06Z)
• SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models [55.60306377044225]
  「SelfCheckGPT」は、ブラックボックスモデルの応答をファクトチェックする単純なサンプリングベースアプローチである。 本稿では,GPT-3を用いてWikiBioデータセットから個人に関するパスを生成する手法について検討する。
  論文  参考訳（メタデータ） (2023-03-15T19:31:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。