Fugu-MT 論文翻訳(概要): Probing LLM Hallucination from Within: Perturbation-Driven Approach via Internal Knowledge

論文の概要: Probing LLM Hallucination from Within: Perturbation-Driven Approach via Internal Knowledge

arxiv url: http://arxiv.org/abs/2411.09689v3
Date: Tue, 03 Jun 2025 03:35:25 GMT
ステータス: 翻訳完了
システム内更新日: 2025-06-04 16:31:03.586626
Title: Probing LLM Hallucination from Within: Perturbation-Driven Approach via Internal Knowledge
Title（参考訳）: 内部からのLLM幻覚の探索:内部知識による摂動駆動アプローチ
Authors: Seongmin Lee, Hsiang Hsu, Chun-Fu Chen, Duen Horng, Chau,
Abstract要約: LLM生成テキストを3つのカテゴリに分類する新しいタスクである幻覚探索を導入する。本稿では,これらの3種類のテキストをLLMの生成に異なる影響を与えるキーエンティティをインプロンプトで摂動させることを,新たな発見として提案する。シネは、3つの近代LLMの幻覚探索に有効であり、幻覚検出における最先端の性能を達成する。
参考スコア（独自算出の注目度）: 8.793840629030395
License: http://creativecommons.org/licenses/by/4.0/
Abstract: LLM hallucination, where unfaithful text is generated, presents a critical challenge for LLMs' practical applications. Current detection methods often resort to external knowledge, LLM fine-tuning, or supervised training with large hallucination-labeled datasets. Moreover, these approaches do not distinguish between different types of hallucinations, which is crucial for enhancing detection performance. To address such limitations, we introduce hallucination probing, a new task that classifies LLM-generated text into three categories: aligned, misaligned, and fabricated. Driven by our novel discovery that perturbing key entities in prompts affects LLM's generation of these three types of text differently, we propose SHINE, a novel hallucination probing method that does not require external knowledge, supervised training, or LLM fine-tuning. SHINE is effective in hallucination probing across three modern LLMs, and achieves state-of-the-art performance in hallucination detection, outperforming seven competing methods across four datasets and four LLMs, underscoring the importance of probing for accurate detection.
Abstract（参考訳）: 不信なテキストが生成されるLLM幻覚は、LLMの実践的応用にとって重要な課題である。現在の検出方法は、しばしば外部知識、LLM微調整、あるいは大規模な幻覚ラベル付きデータセットによる教師付きトレーニングを利用する。さらに,これらの手法は,検出性能の向上に欠かせない幻覚の種別を区別しない。このような制約に対処するため,LLM生成テキストをアライメント・アライメント・アライメント・アライメント・アライメント・ファブリケーションの3つのカテゴリに分類する新たなタスクである幻覚探索を導入する。そこで本研究では,これらの3種類のテキストの生成に異なる影響を与えるキーエンティティを摂動させることによって,外部知識や教師あり訓練,LLM微調整を必要としない,新たな幻覚探索手法であるShiNEを提案する。シーネは3つの近代LSMの幻覚探索に有効であり、幻覚検出における最先端のパフォーマンスを達成し、4つのデータセットと4つのLSMで競合する7つの手法を上回り、正確な検出のために探究の重要性を強調している。

関連論文リスト

HalluLens: LLM Hallucination Benchmark [49.170128733508335]
大規模言語モデル(LLM)は、しばしばユーザ入力やトレーニングデータから逸脱する応答を生成する。本稿では,新たな内因性評価タスクと既存内因性評価タスクを併用した総合幻覚ベンチマークを提案する。
論文参考訳（メタデータ） (2025-04-24T13:40:27Z)
Combating Multimodal LLM Hallucination via Bottom-Up Holistic Reasoning [151.4060202671114]
マルチモーダル大規模言語モデル(MLLM)は、視覚言語タスクを前進させる前例のない能力を示した。本稿では,MLLMにおける幻覚に対処するためのボトムアップ推論フレームワークを提案する。本フレームワークは、認識レベル情報と認知レベルコモンセンス知識を検証・統合することにより、視覚とテキストの両方の入力における潜在的な問題に体系的に対処する。
論文参考訳（メタデータ） (2024-12-15T09:10:46Z)
SLM Meets LLM: Balancing Latency, Interpretability and Consistency in Hallucination Detection [10.54378596443678]
大規模言語モデル(LLM)は高い能力を持つが、リアルタイムアプリケーションではレイテンシの問題に直面している。本研究では,実効的なプロンプト技術の導入により,実時間で解釈可能な幻覚検出を最適化する。
論文参考訳（メタデータ） (2024-08-22T22:13:13Z)
Hallucination Detection: Robustly Discerning Reliable Answers in Large Language Models [70.19081534515371]
大規模言語モデル(LLM)は様々な自然言語処理タスクで広く採用されている。それらは、入力源から逸脱する不信または矛盾したコンテンツを生成し、深刻な結果をもたらす。本稿では,LLMの生成した回答の幻覚を効果的に検出するために,RelDという頑健な識別器を提案する。
論文参考訳（メタデータ） (2024-07-04T18:47:42Z)
Hallucination Diversity-Aware Active Learning for Text Summarization [46.00645048690819]
LLM(Large Language Models)は、幻覚出力を生成するための妥当性を示す。幻覚を緩和するための既存の方法は、通常、LLM出力の幻覚を識別し修正するために、人為的なアノテーションを必要とする。 LLM幻覚を緩和する最初のアクティブラーニングフレームワークを提案し,必要な幻覚アノテーションのコストを削減した。
論文参考訳（メタデータ） (2024-04-02T02:30:27Z)
Exploring and Evaluating Hallucinations in LLM-Powered Code Generation [14.438161741833687]
LLM(Large Language Models)は、ユーザの意図から逸脱した出力を生成し、内部的不整合を示すか、事実的知識と不整合を示す。既存の研究は主に、自然言語生成の分野における幻覚の投資に重点を置いている。我々は,LLM生成コードのテーマ解析を行い,その内に存在する幻覚を要約し,分類する。幻覚認識におけるLLMの性能評価のためのベンチマークであるHaluCodeを提案する。
論文参考訳（メタデータ） (2024-04-01T07:31:45Z)
The Dawn After the Dark: An Empirical Study on Factuality Hallucination in Large Language Models [134.6697160940223]
幻覚は、大きな言語モデルの信頼できるデプロイには大きな課題となります。幻覚(検出)の検出方法、LLMが幻覚(ソース)をなぜ検出するのか、そしてそれを緩和するために何ができるか、という3つの重要な疑問がよく研究されるべきである。本研究は, 幻覚検出, 発生源, 緩和の3つの側面に着目した, LLM幻覚の系統的研究である。
論文参考訳（メタデータ） (2024-01-06T12:40:45Z)
Enhancing Uncertainty-Based Hallucination Detection with Stronger Focus [99.33091772494751]
大規模言語モデル(LLM)は、様々な分野にわたる印象的なパフォーマンスで大きな人気を集めている。 LLMは、ユーザの期待を満たさない非現実的あるいは非感覚的なアウトプットを幻覚させる傾向がある。 LLMにおける幻覚を検出するための新しい基準のない不確実性に基づく手法を提案する。
論文参考訳（メタデータ） (2023-11-22T08:39:17Z)
A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions [40.79317187623401]
大規模言語モデル(LLM)の出現は、自然言語処理(NLP)において大きなブレークスルーとなった。 LLMは幻覚を起こす傾向があり、可視だが非現実的な内容を生成する。この現象は、実世界の情報検索システムにおけるLCMの信頼性に対する重大な懸念を引き起こす。
論文参考訳（メタデータ） (2023-11-09T09:25:37Z)
AutoHall: Automated Hallucination Dataset Generation for Large Language Models [56.92068213969036]
本稿では,AutoHallと呼ばれる既存のファクトチェックデータセットに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。また,自己コントラディションに基づくゼロリソース・ブラックボックス幻覚検出手法を提案する。
論文参考訳（メタデータ） (2023-09-30T05:20:02Z)
Siren's Song in the AI Ocean: A Survey on Hallucination in Large Language Models [116.01843550398183]
大規模言語モデル(LLM)は、様々な下流タスクで顕著な機能を示している。 LLMは時折、ユーザ入力から分岐するコンテンツを生成し、以前生成されたコンテキストと矛盾する。
論文参考訳（メタデータ） (2023-09-03T16:56:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。