論文の概要: Knowledge-Driven Hallucination in Large Language Models: An Empirical Study on Process Modeling

• arxiv url: http://arxiv.org/abs/2509.15336v1
• Date: Thu, 18 Sep 2025 18:27:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-22 18:18:10.865778
• Title: Knowledge-Driven Hallucination in Large Language Models: An Empirical Study on Process Modeling
• Title（参考訳）: 大規模言語モデルにおける知識駆動型幻覚:プロセスモデリングに関する実証的研究
• Authors: Humam Kourani, Anton Antonov, Alessandro Berti, Wil M. P. van der Aalst,
• Abstract要約: 解析的タスクにおける大規模言語モデルの実用性は、その膨大な事前訓練された知識に根ざしている。 この能力は、私たちが知識駆動幻覚と呼ぶものに対して、重大なリスクをもたらします。 本稿では,自動プロセスモデリングのタスクにおけるLCMの評価により,この現象を考察する。
• 参考スコア（独自算出の注目度）: 46.05103857535919
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The utility of Large Language Models (LLMs) in analytical tasks is rooted in their vast pre-trained knowledge, which allows them to interpret ambiguous inputs and infer missing information. However, this same capability introduces a critical risk of what we term knowledge-driven hallucination: a phenomenon where the model's output contradicts explicit source evidence because it is overridden by the model's generalized internal knowledge. This paper investigates this phenomenon by evaluating LLMs on the task of automated process modeling, where the goal is to generate a formal business process model from a given source artifact. The domain of Business Process Management (BPM) provides an ideal context for this study, as many core business processes follow standardized patterns, making it likely that LLMs possess strong pre-trained schemas for them. We conduct a controlled experiment designed to create scenarios with deliberate conflict between provided evidence and the LLM's background knowledge. We use inputs describing both standard and deliberately atypical process structures to measure the LLM's fidelity to the provided evidence. Our work provides a methodology for assessing this critical reliability issue and raises awareness of the need for rigorous validation of AI-generated artifacts in any evidence-based domain.
• Abstract（参考訳）: 解析的タスクにおけるLarge Language Models(LLM)の有用性は、その膨大な事前訓練された知識に根ざしており、不明瞭な入力を解釈し、欠落した情報を推測することができる。 しかし、この同じ能力は、我々が知識駆動幻覚と呼ぶものに対して重大なリスクをもたらす:モデルの出力が明らかな証拠と矛盾する現象は、モデルが一般化した内部知識に過度に守られるためである。 本稿では, プロセスモデリングの自動化作業におけるLCMの評価により, この現象を解明する。そこでは, 与えられたソースアーティファクトから, 正式なビジネスプロセスモデルを生成することが目的である。 ビジネスプロセス管理のドメイン(BPM)は、多くのコアビジネスプロセスが標準化されたパターンに従っているため、この研究に理想的なコンテキストを提供します。 提案する証拠とLLMの背景知識との間に意図的に衝突するシナリオを作成するための制御実験を行う。 我々は、標準および意図的非定型プロセス構造を記述した入力を用いて、提案された証拠に対するLLMの忠実度を測定する。 我々の研究は、この重要な信頼性問題を評価するための方法論を提供し、あらゆる証拠に基づく領域におけるAI生成アーティファクトの厳密な検証の必要性の認識を高める。

関連論文リスト

• Retrieval Augmented Generation for Topic Modeling in Organizational Research: An Introduction with Empirical Demonstration [0.0]
  本稿では,LLMを用いたトピックモデリング手法として,エージェント検索拡張生成(Agentic RAG)を提案する。 1) LLM の事前訓練された知識を超えた外部データへの自動アクセスを可能にする検索,(2) LLM の機能を利用してテキスト合成を行う生成,(3) エージェント駆動学習, 反復的に検索とクエリの定式化を行う。 本研究は,本手法がより効率的で解釈可能であり,同時に,従来の機械学習手法と比較して信頼性と妥当性が向上することを示した。
  論文  参考訳（メタデータ） (2025-02-28T11:25:11Z)
• FACT-AUDIT: An Adaptive Multi-Agent Framework for Dynamic Fact-Checking Evaluation of Large Language Models [79.41859481668618]
  大規模言語モデル(LLM)はファクトチェック研究を大幅に進歩させた。 既存のファクトチェック評価手法は静的データセットと分類基準に依存している。 本稿では, LLMのファクトチェック機能を適応的かつ動的に評価するエージェント駆動型フレームワークであるFACT-AUDITを紹介する。
  論文  参考訳（メタデータ） (2025-02-25T07:44:22Z)
• Bridging Domain Knowledge and Process Discovery Using Large Language Models [0.0]
  本稿では,Large Language Models(LLM)を利用して,ドメイン知識を直接プロセス発見に統合する。 LLMから派生したルールを使用して、モデル構築をガイドし、ドメイン知識と実際のプロセス実行の整合性を確保します。
  論文  参考訳（メタデータ） (2024-08-30T14:23:40Z)
• Latent Causal Probing: A Formal Perspective on Probing with Causal Models of Data [3.376269351435396]
  構造因果モデル(SCM)を用いた探索の形式的視点を開発する。 我々は,合成グリッドワールドナビゲーションタスクの文脈において,最近のLMの研究を拡張した。 我々の手法は、LMがテキストの根底にある潜在概念を誘発する能力を示す、堅牢な実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2024-07-18T17:59:27Z)
• Adapting Large Language Models for Content Moderation: Pitfalls in Data Engineering and Supervised Fine-tuning [79.53130089003986]
  大規模言語モデル(LLM)は、様々なドメインでタスクを処理するための実現可能なソリューションとなっている。 本稿では、コンテンツモデレーションのためにプライベートにデプロイ可能なLLMモデルを微調整する方法を紹介する。
  論文  参考訳（メタデータ） (2023-10-05T09:09:44Z)
• Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
  オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。 一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
  論文  参考訳（メタデータ） (2023-09-07T01:35:24Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。