論文の概要: Investigating Symbolic Triggers of Hallucination in Gemma Models Across HaluEval and TruthfulQA

• arxiv url: http://arxiv.org/abs/2509.09715v1
• Date: Tue, 09 Sep 2025 05:50:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-15 16:03:07.841973
• Title: Investigating Symbolic Triggers of Hallucination in Gemma Models Across HaluEval and TruthfulQA
• Title（参考訳）: HaluEval と TruthfulQA のGemma モデルにおける幻覚の象徴的トリガーの検討
• Authors: Naveen Lamba, Sanju Tiwari, Manas Gaur,
• Abstract要約: 大規模言語モデル(LLM)における幻覚はよく研究されている問題である。 この研究は、重要な特性を特定し、特徴付けし、モデルの内部メカニズムの脆弱性を特定できるようにします。
• 参考スコア（独自算出の注目度）: 9.274826797278582
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hallucination in Large Language Models (LLMs) is a well studied problem. However, the properties that make LLM intrinsically vulnerable to hallucinations have not been identified and studied. This research identifies and characterizes the key properties, allowing us to pinpoint vulnerabilities within the model's internal mechanisms. To solidify on these properties, we utilized two established datasets, HaluEval and TruthfulQA and convert their existing format of question answering into various other formats to narrow down these properties as the reason for the hallucinations. Our findings reveal that hallucination percentages across symbolic properties are notably high for Gemma-2-2B, averaging 79.0% across tasks and datasets. With increased model scale, hallucination drops to 73.6% for Gemma-2-9B and 63.9% for Gemma-2-27B, reflecting a 15 percentage point reduction overall. Although the hallucination rate decreases as the model size increases, a substantial amount of hallucination caused by symbolic properties still persists. This is especially evident for modifiers (ranging from 84.76% to 94.98%) and named entities (ranging from 83.87% to 93.96%) across all Gemma models and both datasets. These findings indicate that symbolic elements continue to confuse the models, pointing to a fundamental weakness in how these LLMs process such inputs--regardless of their scale.
• Abstract（参考訳）: 大規模言語モデル(LLM)における幻覚はよく研究されている問題である。 しかし、LLMを内在的に幻覚に対して脆弱にする性質は特定されておらず、研究されている。 この研究は、重要な特性を特定し、特徴付けし、モデルの内部メカニズムの脆弱性を特定できるようにします。 これらの特性を確固たるものにするために,HaluEval と TruthfulQA という2つの確立したデータセットを使用し,既存の質問応答形式を他の様々な形式に変換することで,これらの特性を幻覚の理由として絞り込んだ。 その結果, Gemma-2Bでは, 記号的特性に対する幻覚率が高く, タスクやデータセットに対する平均79.0%であることがわかった。 モデルスケールの増大に伴い、幻覚はGemma-2-9Bで73.6%、Gemma-2-27Bで63.9%に減少し、全体の15ポイントの減少を反映した。 モデルサイズが大きくなるにつれて幻覚率は低下するが、象徴的な性質によって引き起こされる幻覚の量はかなり残っている。 これは特に修飾子(84.76%から94.98%まで)と命名されたエンティティ(83.87%から93.96%まで)が全てのGemmaモデルと両方のデータセットにまたがる。 これらの結果から、記号的要素はモデルと混同し続けており、これらのLSMがそのような入力をどのように処理するかの根本的な弱点が指摘されている。

関連論文リスト

• HausaNLP at SemEval-2025 Task 3: Towards a Fine-Grained Model-Aware Hallucination Detection [1.8230982862848586]
  本研究の目的は, 幻覚の発生と重篤さに関する, 微妙な, モデルに配慮した理解を英語で提供することである。 自然言語の推論と400サンプルの合成データセットを用いたModernBERTモデルの微調整を行った。 その結果,モデルの信頼度と幻覚の有無との間には,正の相関が認められた。
  論文  参考訳（メタデータ） (2025-03-25T13:40:22Z)
• Distinguishing Ignorance from Error in LLM Hallucinations [43.62904897907926]
  モデルがパラメータに正しい答えを持たない場合、HK-と呼ばれる場合、HK+と呼ばれる必要な知識があるにもかかわらず、モデルが正しく答えない場合の2つのタイプの幻覚を区別する。 モデル固有の幻覚データセットの構築をモチベーションとし,異なるモデルが異なる例に幻覚を呈することを示す。
  論文  参考訳（メタデータ） (2024-10-29T14:31:33Z)
• The Effects of Hallucinations in Synthetic Training Data for Relation Extraction [11.046770690972723]
  文書と文レベルにおける関係抽出の性能に及ぼす幻覚の影響について検討する。 幻覚は、テキストから関係を抽出するモデルの能力を著しく損なう。 本研究では,幻覚の検出手法を開発し,データ品質とモデル性能を向上させる。
  論文  参考訳（メタデータ） (2024-10-10T22:00:16Z)
• AILS-NTUA at SemEval-2024 Task 6: Efficient model tuning for hallucination detection and analysis [1.9939549451457024]
  SemEval-2024 Task-6 - SHROOM - 幻覚と関連する過剰発生に関する共有タスク。 実験では,幻覚検出の訓練済みモデルと自然言語推論(NLI)モデルを微調整した。 最も成功した戦略はこれらのモデルのアンサンブルの作成であり、それぞれモデルに依存しないデータセットで77.8%と79.9%の精度が得られた。
  論文  参考訳（メタデータ） (2024-04-01T16:10:15Z)
• On Large Language Models' Hallucination with Regard to Known Facts [74.96789694959894]
  大規模な言語モデルはファクトイドの質問に答えることに成功したが、幻覚を起こす傾向がある。 正しい解答知識を持つLLMの現象を推論力学の観点から検討する。 我々の研究は、LLMの幻覚が既知の事実について、そしてより重要なのは、幻覚を正確に予測する理由を理解することに光を当てた。
  論文  参考訳（メタデータ） (2024-03-29T06:48:30Z)
• Quantity Matters: Towards Assessing and Mitigating Number Hallucination in Large Vision-Language Models [57.42800112251644]
  本研究では,画像中の特定の物体の数を誤って識別するモデルを参照しながら,特定の種類の幻覚数幻覚に焦点を当てた。 そこで,本研究では,数幻覚を減らすための一貫性向上を目的としたトレーニング手法を考案し,直接微調整法よりも8%の性能向上を図った。
  論文  参考訳（メタデータ） (2024-03-03T02:31:11Z)
• On Early Detection of Hallucinations in Factual Question Answering [4.76359068115052]
  幻覚は依然として ユーザーの信頼を得るための大きな障害です 本研究では、モデル生成に関連するアーティファクトが、生成が幻覚を含むことを示すヒントを提供することができるかどうかを探索する。 以上の結果から,これらのアーティファクトの分布は,ハロゲン化世代と非ハロゲン化世代の違いが示唆された。
  論文  参考訳（メタデータ） (2023-12-19T14:35:04Z)
• "Knowing When You Don't Know": A Multilingual Relevance Assessment Dataset for Robust Retrieval-Augmented Generation [90.09260023184932]
  Retrieval-Augmented Generation (RAG) は、外部の知識源を活用して、事実の幻覚を減らすことで、Large Language Model (LLM) を出力する。 NoMIRACLは18言語にまたがるRAGにおけるLDM堅牢性を評価するための人為的アノテーション付きデータセットである。 本研究は,<i>Halucination rate</i>,<i>Halucination rate</i>,<i>Halucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sr。
  論文  参考訳（メタデータ） (2023-12-18T17:18:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。