論文の概要: Span-Level Hallucination Detection for LLM-Generated Answers

• arxiv url: http://arxiv.org/abs/2504.18639v1
• Date: Fri, 25 Apr 2025 18:35:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:53.925819
• Title: Span-Level Hallucination Detection for LLM-Generated Answers
• Title（参考訳）: LLMによる回答に対するSpan-Level Hallucination検出
• Authors: Passant Elchafei, Mervet Abu-Elkheir,
• Abstract要約: 本稿では,SemEval-2025共有タスクのための,英語とアラビア語のテキストに着目したスパンレベルの幻覚検出フレームワークを提案する。 提案手法はセマンティック・ロール・ラベルリング(SRL)を統合して解答をアトミック・ロールに分解し,抽出した参照コンテキストと比較する。 DeBERTaに基づくテキスト・エンテーメント・モデルを用いて,各ロールのセマンティック・アライメントと検索したコンテキストとのアライメントを評価する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Detecting spans of hallucination in LLM-generated answers is crucial for improving factual consistency. This paper presents a span-level hallucination detection framework for the SemEval-2025 Shared Task, focusing on English and Arabic texts. Our approach integrates Semantic Role Labeling (SRL) to decompose the answer into atomic roles, which are then compared with a retrieved reference context obtained via question-based LLM prompting. Using a DeBERTa-based textual entailment model, we evaluate each role semantic alignment with the retrieved context. The entailment scores are further refined through token-level confidence measures derived from output logits, and the combined scores are used to detect hallucinated spans. Experiments on the Mu-SHROOM dataset demonstrate competitive performance. Additionally, hallucinated spans have been verified through fact-checking by prompting GPT-4 and LLaMA. Our findings contribute to improving hallucination detection in LLM-generated responses.
• Abstract（参考訳）: LLMが生成する回答における幻覚の幅を検出することは、事実整合性を改善するために重要である。 本稿では,SemEval-2025共有タスクのための,英語とアラビア語のテキストに着目したスパンレベルの幻覚検出フレームワークを提案する。 提案手法はSemantic Role Labeling (SRL) を統合して解答をアトミックロールに分解し,質問ベースのLLMプロンプトを用いて得られた参照コンテキストと比較する。 DeBERTaに基づくテキスト・エンテーメント・モデルを用いて,各ロールのセマンティック・アライメントと検索したコンテキストとのアライメントを評価する。 エンテーメントスコアは出力ロジットから導出されるトークンレベルの信頼度によってさらに洗練され、組み合わせたスコアを使用して幻覚したスパンを検出する。 Mu-SHROOMデータセットの実験では、競合性能が示されている。 さらに, GPT-4およびLLaMAの誘導により, 事実チェックにより幻覚スパンが確認されている。 LLM誘発反応における幻覚検出の改善に寄与する。

関連論文リスト

• REFIND at SemEval-2025 Task 3: Retrieval-Augmented Factuality Hallucination Detection in Large Language Models [15.380441563675243]
  REFIND(Retrieval-augmented Factuality Hallucination Detection)は、大規模言語モデル(LLM)出力内の幻覚スパンを検出する新しいフレームワークである。 本研究では,LLM出力の感度を定量的に評価する新しい指標であるコンテキスト感度比(CSR)を提案する。 REFINDは低リソース設定を含む9つの言語で堅牢性を示し、ベースラインモデルではかなり優れていた。
  論文  参考訳（メタデータ） (2025-02-19T10:59:05Z)
• LLM Hallucination Reasoning with Zero-shot Knowledge Test [10.306443936136425]
  我々は,LLM生成テキストを3つのカテゴリの1つに分類する新たなタスクであるHalucination Reasoningを導入する。 新たなデータセットを用いた実験により,幻覚推論における本手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-11-14T18:55:26Z)
• Beyond Binary: Towards Fine-Grained LLM-Generated Text Detection via Role Recognition and Involvement Measurement [51.601916604301685]
  大規模言語モデル(LLM)は、オンライン談話における信頼を損なう可能性のあるコンテンツを生成する。 現在の手法はバイナリ分類に重点を置いており、人間とLLMのコラボレーションのような現実のシナリオの複雑さに対処できないことが多い。 バイナリ分類を超えてこれらの課題に対処するために,LLM生成コンテンツを検出するための新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2024-10-18T08:14:10Z)
• LongHalQA: Long-Context Hallucination Evaluation for MultiModal Large Language Models [96.64960606650115]
  LongHalQA (LongHalQA) は、6Kの長い複雑な幻覚テキストからなるLLMフリー幻覚ベンチマークである。 LongHalQA は GPT4V の生成した幻覚データによって特徴付けられる。
  論文  参考訳（メタデータ） (2024-10-13T18:59:58Z)
• SLM Meets LLM: Balancing Latency, Interpretability and Consistency in Hallucination Detection [10.54378596443678]
  大規模言語モデル(LLM)は高い能力を持つが、リアルタイムアプリケーションではレイテンシの問題に直面している。 本研究では,実効的なプロンプト技術の導入により,実時間で解釈可能な幻覚検出を最適化する。
  論文  参考訳（メタデータ） (2024-08-22T22:13:13Z)
• Hallucination Detection: Robustly Discerning Reliable Answers in Large Language Models [70.19081534515371]
  大規模言語モデル(LLM)は様々な自然言語処理タスクで広く採用されている。 それらは、入力源から逸脱する不信または矛盾したコンテンツを生成し、深刻な結果をもたらす。 本稿では,LLMの生成した回答の幻覚を効果的に検出するために,RelDという頑健な識別器を提案する。
  論文  参考訳（メタデータ） (2024-07-04T18:47:42Z)
• Retrieve Only When It Needs: Adaptive Retrieval Augmentation for Hallucination Mitigation in Large Language Models [68.91592125175787]
  幻覚は、大規模言語モデル(LLM)の実践的実装において重要な課題となる。 本稿では,幻覚に対処するための選択的検索拡張プロセスにより,Lowenを改良する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-02-16T11:55:40Z)
• RAGTruth: A Hallucination Corpus for Developing Trustworthy Retrieval-Augmented Language Models [9.465753274663061]
  大規模言語モデル(LLM)の幻覚を緩和する主要な手法は、検索拡張世代(RAG)である。 本稿では,各ドメインにおける単語レベルの幻覚の分析に適したコーパスであるRAGTruthについて述べる。
  論文  参考訳（メタデータ） (2023-12-31T04:43:45Z)
• Enhancing Uncertainty-Based Hallucination Detection with Stronger Focus [99.33091772494751]
  大規模言語モデル(LLM)は、様々な分野にわたる印象的なパフォーマンスで大きな人気を集めている。 LLMは、ユーザの期待を満たさない非現実的あるいは非感覚的なアウトプットを幻覚させる傾向がある。 LLMにおける幻覚を検出するための新しい基準のない不確実性に基づく手法を提案する。
  論文  参考訳（メタデータ） (2023-11-22T08:39:17Z)
• FactCHD: Benchmarking Fact-Conflicting Hallucination Detection [64.4610684475899]
  FactCHD は LLM からファクトコンフリクトの幻覚を検出するために設計されたベンチマークである。 FactCHDは、バニラ、マルチホップ、比較、セット操作など、さまざまな事実パターンにまたがる多様なデータセットを備えている。 Llama2 に基づくツール強化 ChatGPT と LoRA-tuning による反射的考察を合成する Truth-Triangulator を提案する。
  論文  参考訳（メタデータ） (2023-10-18T16:27:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。