論文の概要: Hallucination Detection: A Probabilistic Framework Using Embeddings Distance Analysis

• arxiv url: http://arxiv.org/abs/2502.08663v1
• Date: Mon, 10 Feb 2025 09:44:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-14 13:51:07.175303
• Title: Hallucination Detection: A Probabilistic Framework Using Embeddings Distance Analysis
• Title（参考訳）: 幻覚検出:埋め込み距離分析を用いた確率的フレームワーク
• Authors: Emanuele Ricco, Lorenzo Cima, Roberto Di Pietro,
• Abstract要約: 本稿では,幻覚を推論するための数学的に健全な方法論を導入し,それを利用して幻覚を検出するツールを構築する。 我々の知る限りでは、幻覚的内容が正しい内容に関して構造的な違いを持つことを示すのが最初である。 これらの構造的差異を利用して幻覚応答を検出するツールを開発し、システムパラメータの特定の構成に対して66%の精度を達成する。
• 参考スコア（独自算出の注目度）: 2.089191490381739
• License:
• Abstract: Hallucinations are one of the major issues affecting LLMs, hindering their wide adoption in production systems. While current research solutions for detecting hallucinations are mainly based on heuristics, in this paper we introduce a mathematically sound methodology to reason about hallucination, and leverage it to build a tool to detect hallucinations. To the best of our knowledge, we are the first to show that hallucinated content has structural differences with respect to correct content. To prove this result, we resort to the Minkowski distances in the embedding space. Our findings demonstrate statistically significant differences in the embedding distance distributions, that are also scale free -- they qualitatively hold regardless of the distance norm used and the number of keywords, questions, or responses. We leverage these structural differences to develop a tool to detect hallucinated responses, achieving an accuracy of 66\% for a specific configuration of system parameters -- comparable with the best results in the field. In conclusion, the suggested methodology is promising and novel, possibly paving the way for further research in the domain, also along the directions highlighted in our future work.
• Abstract（参考訳）: 幻覚はLLMに影響を及ぼす主要な問題の1つであり、プロダクションシステムにおいて広く採用されるのを妨げる。 幻覚を検出するための現在の研究ソリューションは主にヒューリスティックスに基づいているが,本論文では幻覚を推論するための数学的に健全な方法論を導入し,それを利用して幻覚を検出するツールを構築する。 我々の知る限りでは、幻覚的内容が正しい内容に関して構造的な違いを持つことを示すのが最初である。 この結果を証明するために、埋め込み空間におけるミンコフスキー距離を利用する。 本研究は, 組込み距離分布の統計的に有意な差を示し, 使用した距離ノルムやキーワード数, 質問数, 応答数に関わらず, 定性的に保持する。これらの構造的差異を利用して, 特定のシステムパラメータの構成に対して, 66\%の精度を達成し, フィールドの最良の結果に匹敵する, 幻覚応答を検出するツールを開発する。 結論として、提案された方法論は有望で斬新なものであり、将来的な研究で強調された方向性に沿って、ドメインにおけるさらなる研究の道を開く可能性がある。

関連論文リスト

• Hallucination Detection: Robustly Discerning Reliable Answers in Large Language Models [70.19081534515371]
  大規模言語モデル(LLM)は様々な自然言語処理タスクで広く採用されている。 それらは、入力源から逸脱する不信または矛盾したコンテンツを生成し、深刻な結果をもたらす。 本稿では,LLMの生成した回答の幻覚を効果的に検出するために,RelDという頑健な識別器を提案する。
  論文  参考訳（メタデータ） (2024-07-04T18:47:42Z)
• Detecting and Mitigating Hallucination in Large Vision Language Models via Fine-Grained AI Feedback [40.930238150365795]
  我々は,LVLM(Large Vision Language Models)における幻覚の検出と緩和について,きめ細かいAIフィードバックを用いて提案する。 プロプライエタリモデルによる小型幻覚アノテーションデータセットを生成する。 そこで本研究では,幻覚緩和モデルの訓練のための選好データセットを自動構築する検出テーマ書き換えパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-04-22T14:46:10Z)
• On Large Language Models' Hallucination with Regard to Known Facts [74.96789694959894]
  大規模な言語モデルはファクトイドの質問に答えることに成功したが、幻覚を起こす傾向がある。 正しい解答知識を持つLLMの現象を推論力学の観点から検討する。 我々の研究は、LLMの幻覚が既知の事実について、そしてより重要なのは、幻覚を正確に予測する理由を理解することに光を当てた。
  論文  参考訳（メタデータ） (2024-03-29T06:48:30Z)
• In-Context Sharpness as Alerts: An Inner Representation Perspective for Hallucination Mitigation [36.31646727970656]
  大規模言語モデル(LLM)は、しばしば幻覚を起こし、事実の誤りを引き起こす。 正しい世代は、不正な世代に比べて、コンテキスト内のトークンの隠された状態において、よりシャープなコンテキストアクティベーションを持つ傾向がある。 本研究では,テキスト内隠れ状態のシャープネス'を定量化し,デコード処理に組み込むエントロピーに基づく計量法を提案する。
  論文  参考訳（メタデータ） (2024-03-03T15:53:41Z)
• Comparing Hallucination Detection Metrics for Multilingual Generation [62.97224994631494]
  本稿では,各言語にまたがって生成した伝記要約における幻覚を,様々な事実の幻覚検出指標がいかによく識別するかを評価する。 自動測度が相互にどのように相関するか, 事実判断に一致しているかを比較検討した。 我々の分析によると、語彙指標は非効率であるが、NLIベースのメトリクスはよく機能し、多くの設定における人間のアノテーションと相関し、しばしば教師付きモデルよりも優れている。
  論文  参考訳（メタデータ） (2024-02-16T08:10:34Z)
• DelucionQA: Detecting Hallucinations in Domain-specific Question Answering [22.23664008053246]
  幻覚は、大言語モデル(LLM)によって生成されたテキストでよく知られた現象である 我々は、ドメイン固有のQAタスクのためのLLMの検索による幻覚をキャプチャするデータセットDelucionQAを紹介する。 本研究では,研究コミュニティの今後の研究のベースラインとして,幻覚検出手法のセットを提案する。
  論文  参考訳（メタデータ） (2023-12-08T17:41:06Z)
• HalluciDoctor: Mitigating Hallucinatory Toxicity in Visual Instruction Data [102.56792377624927]
  機械生成データに固有の幻覚は未発見のままである。 本稿では,クロスチェックパラダイムに基づく新しい幻覚検出・除去フレームワークであるHaluciDoctorを提案する。 LLaVAに比べて44.6%の幻覚を緩和し,競争性能を維持した。
  論文  参考訳（メタデータ） (2023-11-22T04:52:58Z)
• AutoHall: Automated Hallucination Dataset Generation for Large Language Models [56.92068213969036]
  本稿では,AutoHallと呼ばれる既存のファクトチェックデータセットに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。 また,自己コントラディションに基づくゼロリソース・ブラックボックス幻覚検出手法を提案する。
  論文  参考訳（メタデータ） (2023-09-30T05:20:02Z)
• Inspecting the Factuality of Hallucinated Entities in Abstractive Summarization [36.052622624166894]
  State-of-the-art abstractive summarization system(最先端の抽象的な要約システム)は、しばしば、源文から直接推測できない内容(Emphhallucination)を生成する。 本研究では,実体の非現実的幻覚から事実を分離する新たな検出手法を提案する。
  論文  参考訳（メタデータ） (2021-08-30T15:40:52Z)
• On Hallucination and Predictive Uncertainty in Conditional Language Generation [76.18783678114325]
  高い予測の不確実性は幻覚の確率が高い。 認識的不確実性は、アレエータ的あるいは全体的不確実性よりも幻覚の指標である。 提案したビームサーチ変種との幻覚を抑えるため、標準メートル法で取引性能のより良い結果を得るのに役立ちます。
  論文  参考訳（メタデータ） (2021-03-28T00:32:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。