論文の概要: Tracing Hallucinations in LLM Reasoning for UML Class Diagram Generation: An Empirical Taxonomy and Mitigation Study

• arxiv url: http://arxiv.org/abs/2610.30946v1
• Date: Thu, 22 Oct 2026 08:59:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.29319
• Title: Tracing Hallucinations in LLM Reasoning for UML Class Diagram Generation: An Empirical Taxonomy and Mitigation Study
• Title（参考訳）: UMLクラスダイアグラム生成のためのLLM推論におけるハロシンの追跡--実証分類学と緩和研究
• Abstract要約: 幻覚サブタイプの経験的分類法を3次元に展開する。 両方のデータセットにおいて、Code FaithfulnessはDeepSeek-R1にとって最も頻繁な次元であった。 生成プロセス内の幻覚の局所化は、ターゲットとなる、即発的な緩和を通知することができる。
• 参考スコア（独自算出の注目度）: 6.640922391415049
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) can generate UML class diagrams from natural language requirements, but hallucinations may compromise the correctness and completeness of the resulting diagrams. Existing evaluations mostly assess the final diagram, without examining the intermediate traces of reasoning-capable LLMs, which can reveal where these hallucinations arise. We develop an empirical taxonomy of eleven hallucination sub-types organised into three dimensions: Prompt Faithfulness (deviations between requirements and reasoning), Code Faithfulness (discrepancies between reasoning and generated PlantUML code), and Reasoning Quality (problems within the reasoning). The taxonomy was derived from 60 manually annotated DeepSeek-R1 traces, applied to 120 further DeepSeek-R1 traces through a dual-LLM annotation pipeline, and examined on 20 DeepSeek-V4-Pro traces. Code Faithfulness was the most frequent dimension for DeepSeek-R1 in both datasets, whereas Prompt Faithfulness dominated for DeepSeek-V4-Pro, suggesting model-dependent failure patterns. In the manually annotated traces, reasoning-trace length showed no significant monotonic association with hallucination frequency, whereas requirement complexity was negatively associated with it, particularly for Prompt Faithfulness errors. In a mitigation experiment on 13 Golden UML ModelSet cases with three Qwen3-based models, adding Prompt Faithfulness and Reasoning Quality constraints to the generation prompt raised the pooled mean F1 score by 4.0 percentage points, whereas a post-hoc Code Faithfulness review provided no consistent further benefit. Relationship modelling remained the lowest-scoring element throughout. These results suggest that localising hallucinations within the generation process can inform targeted, prompt-based mitigation. Whether these findings generalise beyond the DeepSeek and Qwen3 model families remains to be tested.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、自然言語の要求からUMLクラスダイアグラムを生成することができるが、幻覚は結果のダイアグラムの正確性と完全性を損なう可能性がある。 既存の評価は、これらの幻覚の発生場所を明らかにすることができる推論可能なLSMの中間的トレースを調べることなく、最終図を主に評価する。 本研究は,11種類の幻覚サブタイプの実証的分類を,要件と推論の相違(Prompt Faithfulness),コード忠実(Code Faithfulness),品質(Reasoning Quality)の3つの次元に分類した。 分類は、手動で注釈付きDeepSeek-R1トレースから派生し、120のDeepSeek-R1トレースにデュアルLLMアノテーションパイプラインを通して適用され、20のDeepSeek-V4-Proトレースで調査された。 一方、Prompt FaithfulnessはDeepSeek-V4-Proを支配しており、モデル依存の障害パターンを示している。 手書きの注釈付きトレースでは, 推論・トレースの長さは幻覚頻度と有意な単調な関連はみられなかったが, 要求複雑性は特にプロンプト・フェイスフルネスの誤りに負の関連があった。 Qwen3ベースの3つのモデルによる13のGolden UML ModelSetケースに対する緩和実験では、生成にPrompt FaithfulnessとReasoning品質制約を追加して、プールされた平均F1スコアを4.0ポイント引き上げた。 関係モデリングは最下位の要素であり続けた。 これらの結果から, 生成過程における幻覚の局在化は, 標的的, 即効的な緩和に寄与することが示唆された。 これらの発見がDeepSeekおよびQwen3モデルファミリーを超えて一般化するかどうかはまだ検証されていない。

関連論文リスト

• KnowHal: A Knowledge-Driven Benchmark for Comprehensive Multimodal Hallucination Evaluation [9.739392718456843]
  知識関連障害はしばしば別々に調査され、異なる幻覚の次元に統一的な評価枠組みが欠如している。 本研究では,知識幻覚を4次元にわたるマルチモーダル幻覚評価に明示的に組み込んだベンチマークであるKnowHalを提案する。 KnowHalは、共有された画像やエンティティに対して肯定的と否定的な2つの質問を構築し、知覚的エラー、知識関連エラー、虚偽の前提受け入れの制御された比較を可能にする。
  論文  参考訳（メタデータ） (2026-08-04T15:03:29Z)
• Fine-Grained Detection of Context-Grounded Hallucinations Using LLMs [16.173245551933178]
  コンテキストグラウンドド・幻覚(Context-grounded hallucination)は、モデル出力がソーステキストに対して検証できない情報を含む場合である。 このような幻覚を局在化するためのLCMの適用性について検討する。
  論文  参考訳（メタデータ） (2025-09-26T17:03:24Z)
• SHALE: A Scalable Benchmark for Fine-grained Hallucination Evaluation in LVLMs [52.03164192840023]
  LVLM(Large Vision-Language Models)は、いまだ幻覚に悩まされている。 本稿では,スケーラブルで制御可能で多様な評価データを生成する自動データ構築パイプラインを提案する。 我々は,忠実度と事実性幻覚の両方を評価するためのベンチマークであるSHALEを構築した。
  論文  参考訳（メタデータ） (2025-08-13T07:58:01Z)
• MIRAGE: Assessing Hallucination in Multimodal Reasoning Chains of MLLM [58.2298313720146]
  マルチモーダル幻覚は多源性であり、様々な原因から生じる。 既存のベンチマークでは、知覚誘発幻覚と推論誘発幻覚を適切に区別することができない。
  論文  参考訳（メタデータ） (2025-05-30T05:54:36Z)
• Generate, but Verify: Reducing Hallucination in Vision-Language Models with Retrospective Resampling [78.78822033285938]
  VLM(Vision-Language Models)は視覚的理解に優れ、視覚幻覚に悩まされることが多い。 本研究では,幻覚を意識したトレーニングとオンザフライの自己検証を統合した統合フレームワークREVERSEを紹介する。
  論文  参考訳（メタデータ） (2025-04-17T17:59:22Z)
• Reefknot: A Comprehensive Benchmark for Relation Hallucination Evaluation, Analysis and Mitigation in Multimodal Large Language Models [13.48296910438554]
  我々は2万以上の実世界のサンプルからなる関係幻覚を対象とする総合的なベンチマークであるReefknotを紹介した。 関係幻覚を体系的に定義し、知覚的視点と認知的視点を統合するとともに、Visual Genomeのシーングラフデータセットを用いて関係ベースのコーパスを構築する。 本稿では,Reefknotを含む3つのデータセットに対して,幻覚率を平均9.75%削減する信頼性に基づく新たな緩和戦略を提案する。
  論文  参考訳（メタデータ） (2024-08-18T10:07:02Z)
• Lower Layers Matter: Alleviating Hallucination via Multi-Layer Fusion Contrastive Decoding with Truthfulness Refocused [27.894293943142447]
  大規模言語モデル (LLM) は様々な自然言語処理タスクにおいて例外的な性能を示した。 彼らは時に「幻覚」と呼ばれる現象である不正確で反事実的な出力を発生させる。
  論文  参考訳（メタデータ） (2024-08-16T14:23:59Z)
• Investigating Hallucinations in Pruned Large Language Models for Abstractive Summarization [37.55557353462219]
  プルーニング(Pruning)は、余分な重みを取り除くことによってモデルサイズを減らす手法であり、より効率的なスパース推論を可能にする。 本稿では,5つの要約データセット,2つの最先端プルーニング手法,および5つの命令調整LDMに関する実証的研究を行う。 驚いたことに、幻覚はオリジナルのモデルに比べて、刈り取られたLLMからそれほど多くない。
  論文  参考訳（メタデータ） (2023-11-15T19:49:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。