論文の概要: Shaking to Reveal: Perturbation-Based Detection of LLM Hallucinations

• arxiv url: http://arxiv.org/abs/2506.02696v1
• Date: Tue, 03 Jun 2025 09:44:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:35.578556
• Title: Shaking to Reveal: Perturbation-Based Detection of LLM Hallucinations
• Title（参考訳）: LLM幻覚の摂動に基づく検出
• Authors: Jinyuan Luo, Zhen Fang, Yixuan Li, Seongheon Park, Ling Chen,
• Abstract要約: 自己評価として知られる幻覚を検出するための広く採用されている戦略は、その答えの事実的正確さを推定するために、モデル自身の出力信頼度に依存する。 中間表現における摂動感度を解析することにより自己評価を改善する新しいフレームワークSSPを提案する。 SSPは幻覚検出ベンチマークの範囲で先行手法を著しく上回っている。
• 参考スコア（独自算出の注目度）: 25.18901449626428
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hallucination remains a key obstacle to the reliable deployment of large language models (LLMs) in real-world question answering tasks. A widely adopted strategy to detect hallucination, known as self-assessment, relies on the model's own output confidence to estimate the factual accuracy of its answers. However, this strategy assumes that the model's output distribution closely reflects the true data distribution, which may not always hold in practice. As bias accumulates through the model's layers, the final output can diverge from the underlying reasoning process, making output-level confidence an unreliable signal for hallucination detection. In this work, we propose Sample-Specific Prompting (SSP), a new framework that improves self-assessment by analyzing perturbation sensitivity at intermediate representations. These representations, being less influenced by model bias, offer a more faithful view of the model's latent reasoning process. Specifically, SSP dynamically generates noise prompts for each input and employs a lightweight encoder to amplify the changes in representations caused by the perturbation. A contrastive distance metric is then used to quantify these differences and separate truthful from hallucinated responses. By leveraging the dynamic behavior of intermediate representations under perturbation, SSP enables more reliable self-assessment. Extensive experiments demonstrate that SSP significantly outperforms prior methods across a range of hallucination detection benchmarks.
• Abstract（参考訳）: 幻覚は、現実世界の質問応答タスクにおいて、大きな言語モデル(LLM)の信頼性の高いデプロイにとって、依然として重要な障害である。 自己評価として知られる幻覚を検出するための広く採用されている戦略は、その答えの事実的正確さを推定するために、モデル自身の出力信頼度に依存する。 しかし、この戦略はモデルの出力分布が真のデータ分布をよく反映していると仮定する。 モデル層を通してバイアスが蓄積されるにつれて、最終的な出力は基礎となる推論プロセスから分岐し、出力レベルの信頼度を幻覚検出の信頼性の低い信号にする。 本研究では,中間表現における摂動感度を解析し,自己評価を改善する新しいフレームワークであるSSP(Sample-Specific Prompting)を提案する。 これらの表現はモデルバイアスの影響を受けていないため、モデルの潜在的推論プロセスをより忠実に見ることができます。 具体的には、SSPは入力毎にノイズプロンプトを動的に生成し、軽量エンコーダを用いて摂動による表現の変化を増幅する。 対照的距離計量はこれらの差分を定量化し、幻覚応答から真理を分離するために用いられる。 摂動下での中間表現の動的挙動を活用することにより、SSPはより信頼性の高い自己評価を可能にする。 大規模な実験により、SSPは幻覚検出ベンチマークの範囲で先行手法を著しく上回っていることが示された。

関連論文リスト

• Multimodal LLM-Guided Semantic Correction in Text-to-Image Diffusion [52.315729095824906]
  MLLM Semantic-Corrected Ping-Pong-Ahead Diffusion (PPAD) は,マルチモーダル大言語モデル(MLLM)を推論中の意味的オブザーバとして導入する新しいフレームワークである。 中間世代をリアルタイムに分析し、潜在意味的不整合を識別し、フィードバックを制御可能な信号に変換し、残りの認知ステップを積極的に導く。 大規模な実験ではPPADの大幅な改善が示されている。
  論文  参考訳（メタデータ） (2025-05-26T14:42:35Z)
• A Unified Virtual Mixture-of-Experts Framework:Enhanced Inference and Hallucination Mitigation in Single-Model System [9.764336669208394]
  GPTやBERTのような生成モデルは、テキスト生成や要約といったタスクのパフォーマンスを大幅に改善した。 しかし、「モデルが非現実的または誤解を招くコンテンツを生成する場所」という幻覚は、特に小規模アーキテクチャでは問題となる。 本稿では,単一のQwen 1.5 0.5Bモデルにおいて,推論性能を高め,幻覚を緩和する仮想ミックス・オブ・エクササイズ(MoE)融合戦略を提案する。
  論文  参考訳（メタデータ） (2025-04-01T11:38:01Z)
• HalluCounter: Reference-free LLM Hallucination Detection in the Wild! [6.5037356041929675]
  HalluCounterは、応答応答とクエリ応答の整合性とアライメントパターンの両方を利用する参照なし幻覚検出手法である。 我々の手法は最先端の手法よりもかなり優れており、データセット間での幻覚検出における平均信頼度は90%を超えている。
  論文  参考訳（メタデータ） (2025-03-06T16:59:18Z)
• Spatial Reasoning with Denoising Models [49.83744014336816]
  本稿では,連続変数の集合に対する推論を行うためのフレームワークを提案する。 はじめに,デノナイジングネットワーク自体によって生成順序を予測できることを実証した。
  論文  参考訳（メタデータ） (2025-02-28T14:08:30Z)
• HuDEx: Integrating Hallucination Detection and Explainability for Enhancing the Reliability of LLM responses [0.12499537119440242]
  本稿では,HuDExと命名された幻覚検出モデルについて説明する。 提案モデルでは,検出を説明と統合する新たなアプローチを提供し,ユーザとLLM自体がエラーを理解し,低減することができる。
  論文  参考訳（メタデータ） (2025-02-12T04:17:02Z)
• Enhancing Hallucination Detection through Noise Injection [9.582929634879932]
  大型言語モデル(LLM)は、幻覚として知られる、もっとも不正確な応答を生成する傾向にある。 ベイズ感覚のモデル不確実性を考慮し,検出精度を著しく向上できることを示す。 サンプリング中にモデルパラメータの適切なサブセット、あるいは等価に隠されたユニットアクティベーションを摂動する、非常に単純で効率的なアプローチを提案する。
  論文  参考訳（メタデータ） (2025-02-06T06:02:20Z)
• Debiasing Multimodal Large Language Models [61.6896704217147]
  LVLM(Large Vision-Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。 本研究は,入力画像に先行するLarge Language Models (LLM) の影響を主に受け,生成したコンテンツに有意なバイアスが生じることを示す。 これらのバイアスを是正し、視覚情報に対するモデルの焦点をリダイレクトするために、我々は2つの単純で訓練のない戦略を導入する。
  論文  参考訳（メタデータ） (2024-03-08T12:35:07Z)
• Bias in Pruned Vision Models: In-Depth Analysis and Countermeasures [93.17009514112702]
  ニューラルネットワークのパラメータのかなりの部分集合をゼロに設定するプルーニングは、モデル圧縮の最も一般的な方法の1つである。 この現象の既存の証拠にもかかわらず、ニューラルネットワークのプルーニングと誘導バイアスの関係はよく理解されていない。
  論文  参考訳（メタデータ） (2023-04-25T07:42:06Z)
• Learning Disentangled Representations with Latent Variation Predictability [102.4163768995288]
  本稿では,潜在不整合表現の変動予測可能性について述べる。 逆生成プロセス内では、潜時変動と対応する画像対の相互情報を最大化することにより、変動予測可能性を高める。 本研究では,潜在表現の絡み合いを測るために,基礎的構造的生成因子に依存しない評価指標を開発する。
  論文  参考訳（メタデータ） (2020-07-25T08:54:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。