論文の概要: Black-Box Hallucination Detection via Consistency Under the Uncertain Expression

• arxiv url: http://arxiv.org/abs/2509.21999v1
• Date: Fri, 26 Sep 2025 07:26:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 20:57:54.273059
• Title: Black-Box Hallucination Detection via Consistency Under the Uncertain Expression
• Title（参考訳）: 不確かさ表現下での一貫性によるブラックボックス幻覚検出
• Authors: Seongho Joo, Kyungmin Min, Jahyun Koo, Kyomin Jung,
• Abstract要約: 大規模言語モデル(LLM)は、非現実的な応答、いわゆる「ハロシン化(hallucination)」問題を生成することで有名である。 簡単なブラックボックス幻覚検出尺度を提案する。
• 参考スコア（独自算出の注目度）: 18.2609070987801
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the great advancement of Language modeling in recent days, Large Language Models (LLMs) such as GPT3 are notorious for generating non-factual responses, so-called "hallucination" problems. Existing methods for detecting and alleviating this hallucination problem require external resources or the internal state of LLMs, such as the output probability of each token. Given the LLM's restricted external API availability and the limited scope of external resources, there is an urgent demand to establish the Black-Box approach as the cornerstone for effective hallucination detection. In this work, we propose a simple black-box hallucination detection metric after the investigation of the behavior of LLMs under expression of uncertainty. Our comprehensive analysis reveals that LLMs generate consistent responses when they present factual responses while non-consistent responses vice versa. Based on the analysis, we propose an efficient black-box hallucination detection metric with the expression of uncertainty. The experiment demonstrates that our metric is more predictive of the factuality in model responses than baselines that use internal knowledge of LLMs.
• Abstract（参考訳）: 近年の言語モデリングの進歩にもかかわらず、GPT3のような大規模言語モデル(LLM)は、いわゆる「ハロシン化(hallucination)」問題を引き起こすことで有名である。 この幻覚を検知し緩和する既存の方法は、各トークンの出力確率など、外部リソースやLCMの内部状態を必要とする。 LLMの制限された外部API可用性と外部リソースの限られた範囲を考えると、効果的な幻覚検出の基盤としてBlack-Boxアプローチを確立する必要がある。 本研究では,不確実性の表現下でのLCMの挙動を調べた後,簡単なブラックボックス幻覚検出尺度を提案する。 総括分析の結果,LLMは実応答を示すときに一貫した応答を生成するが,非矛盾応答は逆であることがわかった。 そこで本研究では,不確実性の表現を伴う効率的なブラックボックス幻覚検出尺度を提案する。 この実験は, LLMの内部知識を用いたベースラインよりも, モデル応答における事実性の予測が重要であることを示した。

関連論文リスト

• Counterfactual Probing for Hallucination Detection and Mitigation in Large Language Models [0.0]
  本研究では,大規模言語モデルにおける幻覚の検出と緩和のための新しいアプローチである,対物探索を提案する。 提案手法は, 疑わしいが微妙な事実誤りを含む反事実文を動的に生成し, これらの摂動に対するモデルの感度を評価する。
  論文  参考訳（メタデータ） (2025-08-03T17:29:48Z)
• SLM Meets LLM: Balancing Latency, Interpretability and Consistency in Hallucination Detection [10.54378596443678]
  大規模言語モデル(LLM)は高い能力を持つが、リアルタイムアプリケーションではレイテンシの問題に直面している。 本研究では,実効的なプロンプト技術の導入により,実時間で解釈可能な幻覚検出を最適化する。
  論文  参考訳（メタデータ） (2024-08-22T22:13:13Z)
• Hallucination Detection: Robustly Discerning Reliable Answers in Large Language Models [70.19081534515371]
  大規模言語モデル(LLM)は様々な自然言語処理タスクで広く採用されている。 それらは、入力源から逸脱する不信または矛盾したコンテンツを生成し、深刻な結果をもたらす。 本稿では,LLMの生成した回答の幻覚を効果的に検出するために,RelDという頑健な識別器を提案する。
  論文  参考訳（メタデータ） (2024-07-04T18:47:42Z)
• LLM Internal States Reveal Hallucination Risk Faced With a Query [62.29558761326031]
  人間は、クエリに直面したとき、私たちが知らないことを認識できる自己認識プロセスを持っています。 本稿では,大規模言語モデルが応答生成に先立って,自身の幻覚リスクを推定できるかどうかを検討する。 確率推定器により, LLM自己評価を利用して, 平均幻覚推定精度84.32%を達成する。
  論文  参考訳（メタデータ） (2024-07-03T17:08:52Z)
• Retrieve Only When It Needs: Adaptive Retrieval Augmentation for Hallucination Mitigation in Large Language Models [68.91592125175787]
  幻覚は、大規模言語モデル(LLM)の実践的実装において重要な課題となる。 本稿では,幻覚に対処するための選択的検索拡張プロセスにより,Lowenを改良する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-02-16T11:55:40Z)
• Enhancing Uncertainty-Based Hallucination Detection with Stronger Focus [99.33091772494751]
  大規模言語モデル(LLM)は、様々な分野にわたる印象的なパフォーマンスで大きな人気を集めている。 LLMは、ユーザの期待を満たさない非現実的あるいは非感覚的なアウトプットを幻覚させる傾向がある。 LLMにおける幻覚を検出するための新しい基準のない不確実性に基づく手法を提案する。
  論文  参考訳（メタデータ） (2023-11-22T08:39:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。