論文の概要: HACK: Hallucinations Along Certainty and Knowledge Axes

• arxiv url: http://arxiv.org/abs/2510.24222v1
• Date: Tue, 28 Oct 2025 09:34:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-29 15:35:36.991903
• Title: HACK: Hallucinations Along Certainty and Knowledge Axes
• Title（参考訳）: HACK: 確信と知識の軸に沿った幻覚
• Authors: Adi Simhi, Jonathan Herzig, Itay Itzhak, Dana Arad, Zorik Gekhman, Roi Reichart, Fazl Barez, Gabriel Stanovsky, Idan Szpektor, Yonatan Belinkov,
• Abstract要約: 本稿では,2つの軸に沿って幻覚を分類する枠組みを提案する。 内部的に正しい知識を持っているにもかかわらず、モデルが確実に幻覚する幻覚のサブセットを特に特定する。
• 参考スコア（独自算出の注目度）: 66.66625343090743
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hallucinations in LLMs present a critical barrier to their reliable usage. Existing research usually categorizes hallucination by their external properties rather than by the LLMs' underlying internal properties. This external focus overlooks that hallucinations may require tailored mitigation strategies based on their underlying mechanism. We propose a framework for categorizing hallucinations along two axes: knowledge and certainty. Since parametric knowledge and certainty may vary across models, our categorization method involves a model-specific dataset construction process that differentiates between those types of hallucinations. Along the knowledge axis, we distinguish between hallucinations caused by a lack of knowledge and those occurring despite the model having the knowledge of the correct response. To validate our framework along the knowledge axis, we apply steering mitigation, which relies on the existence of parametric knowledge to manipulate model activations. This addresses the lack of existing methods to validate knowledge categorization by showing a significant difference between the two hallucination types. We further analyze the distinct knowledge and hallucination patterns between models, showing that different hallucinations do occur despite shared parametric knowledge. Turning to the certainty axis, we identify a particularly concerning subset of hallucinations where models hallucinate with certainty despite having the correct knowledge internally. We introduce a new evaluation metric to measure the effectiveness of mitigation methods on this subset, revealing that while some methods perform well on average, they fail disproportionately on these critical cases. Our findings highlight the importance of considering both knowledge and certainty in hallucination analysis and call for targeted mitigation approaches that consider the hallucination underlying factors.
• Abstract（参考訳）: LLMにおける幻覚は、その信頼性の高い使用に対する重要な障壁となる。 既存の研究は通常、LLMの内部特性よりも外部特性によって幻覚を分類する。 この外部焦点は、幻覚は、その基盤となるメカニズムに基づいて調整された緩和戦略を必要とする可能性があることを見落としている。 本稿では,2つの軸に沿って幻覚を分類する枠組みを提案する。 パラメトリック知識と確実性はモデルによって異なる可能性があるため、分類法はこれらの種類の幻覚を区別するモデル固有のデータセット構築プロセスを含む。 知識軸に沿って、知識の不足に起因する幻覚と、正しい応答の知識を持つモデルにもかかわらず発生する幻覚とを区別する。 モデルアクティベーションを操作するために,パラメトリックな知識の存在に依存するステアリング緩和を適用した。 このことは、二つの幻覚型の間に有意な違いを示すことによって、知識分類を検証するための既存の方法の欠如に対処する。 さらに、モデル間の異なる知識と幻覚パターンを分析し、パラメトリックな知識が共有されているにもかかわらず、異なる幻覚が発生することを示す。 確実性軸に目を向けると、内部的に正しい知識を持っているにもかかわらず、モデルが確実に幻覚する幻覚のサブセットを特に特定する。 このサブセット上での緩和手法の有効性を評価するための新しい評価基準を導入し、いくつかの手法は平均的に良好に機能するが、これらのクリティカルケースでは不均等に失敗することを示した。 本研究は,幻覚分析における知識と確実性の両方を考慮することの重要性を強調し,幻覚の根本要因を考慮に入れた目標緩和アプローチを求めるものである。

関連論文リスト

• Theoretical Foundations and Mitigation of Hallucination in Large Language Models [0.0]
  LLM(英: Hallucination in Large Language Models)とは、入力や実世界の事実に忠実でないコンテンツの生成を指す用語である。 本稿では, LLMにおける幻覚の厳密な処理について述べる。
  論文  参考訳（メタデータ） (2025-07-20T15:22:34Z)
• Trust Me, I'm Wrong: LLMs Hallucinate with Certainty Despite Knowing the Answer [51.7407540261676]
  本研究では,モデルが常に正しい解答を行うことのできる幻覚の別のタイプについて検討するが,一見自明な摂動は,高い確実性で幻覚応答を生じさせる。 この現象は特に医学や法学などの高度な領域において、モデルの確実性はしばしば信頼性の代用として使用される。 CHOKEの例は、プロンプト間で一貫性があり、異なるモデルやデータセットで発生し、他の幻覚と根本的に異なることを示す。
  論文  参考訳（メタデータ） (2025-02-18T15:46:31Z)
• HalluEntity: Benchmarking and Understanding Entity-Level Hallucination Detection [16.27352940098609]
  本稿では,エンティティレベルで幻覚を注釈する新たなデータセットであるHaluEntityを提案する。 このデータセットに基づいて、17の近代LCMにおける不確実性に基づく幻覚検出手法を評価する。 実験の結果,個々のトークン確率に着目した不確実性推定手法は幻覚を過度に予測する傾向があることがわかった。
  論文  参考訳（メタデータ） (2025-02-17T16:01:41Z)
• Distinguishing Ignorance from Error in LLM Hallucinations [43.62904897907926]
  モデルがパラメータに正しい答えを持たない場合、HK-と呼ばれる場合、HK+と呼ばれる必要な知識があるにもかかわらず、モデルが正しく答えない場合の2つのタイプの幻覚を区別する。 モデル固有の幻覚データセットの構築をモチベーションとし,異なるモデルが異なる例に幻覚を呈することを示す。
  論文  参考訳（メタデータ） (2024-10-29T14:31:33Z)
• On Large Language Models' Hallucination with Regard to Known Facts [74.96789694959894]
  大規模な言語モデルはファクトイドの質問に答えることに成功したが、幻覚を起こす傾向がある。 正しい解答知識を持つLLMの現象を推論力学の観点から検討する。 我々の研究は、LLMの幻覚が既知の事実について、そしてより重要なのは、幻覚を正確に予測する理由を理解することに光を当てた。
  論文  参考訳（メタデータ） (2024-03-29T06:48:30Z)
• In-Context Sharpness as Alerts: An Inner Representation Perspective for Hallucination Mitigation [36.31646727970656]
  大規模言語モデル(LLM)は、しばしば幻覚を起こし、事実の誤りを引き起こす。 正しい世代は、不正な世代に比べて、コンテキスト内のトークンの隠された状態において、よりシャープなコンテキストアクティベーションを持つ傾向がある。 本研究では,テキスト内隠れ状態のシャープネス'を定量化し,デコード処理に組み込むエントロピーに基づく計量法を提案する。
  論文  参考訳（メタデータ） (2024-03-03T15:53:41Z)
• Knowledge Verification to Nip Hallucination in the Bud [69.79051730580014]
  本研究では、アライメントデータに存在する外部知識と基礎LPM内に埋め込まれた固有の知識との矛盾を検証し、最小化することにより、幻覚を緩和する可能性を示す。 本稿では,知識一貫性アライメント(KCA, Knowledge Consistent Alignment)と呼ばれる新しい手法を提案する。 6つのベンチマークで幻覚を減らし, バックボーンとスケールの異なる基礎的LCMを利用することで, KCAの優れた効果を実証した。
  論文  参考訳（メタデータ） (2024-01-19T15:39:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。