論文の概要: Towards Mitigation of Hallucination for LLM-empowered Agents: Progressive Generalization Bound Exploration and Watchdog Monitor

• arxiv url: http://arxiv.org/abs/2507.15903v1
• Date: Mon, 21 Jul 2025 09:08:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-23 21:34:13.804905
• Title: Towards Mitigation of Hallucination for LLM-empowered Agents: Progressive Generalization Bound Exploration and Watchdog Monitor
• Title（参考訳）: LLM利用剤の幻覚の緩和に向けて:進歩的一般化境界探索とウォッチドッグモニター
• Authors: Siyuan Liu, Wenjing Liu, Zhiwei Xu, Xin Wang, Bo Chen, Tao Li,
• Abstract要約: 大型言語モデル(LLM)が生成する幻覚は、知的エージェントの信頼性を損なう。 HalMitは、LCMを動力とするエージェントの一般化境界をモデル化する、新しいブラックボックスウォッチドッグフレームワークである。
• 参考スコア（独自算出の注目度）: 18.9616029343245
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Empowered by large language models (LLMs), intelligent agents have become a popular paradigm for interacting with open environments to facilitate AI deployment. However, hallucinations generated by LLMs-where outputs are inconsistent with facts-pose a significant challenge, undermining the credibility of intelligent agents. Only if hallucinations can be mitigated, the intelligent agents can be used in real-world without any catastrophic risk. Therefore, effective detection and mitigation of hallucinations are crucial to ensure the dependability of agents. Unfortunately, the related approaches either depend on white-box access to LLMs or fail to accurately identify hallucinations. To address the challenge posed by hallucinations of intelligent agents, we present HalMit, a novel black-box watchdog framework that models the generalization bound of LLM-empowered agents and thus detect hallucinations without requiring internal knowledge of the LLM's architecture. Specifically, a probabilistic fractal sampling technique is proposed to generate a sufficient number of queries to trigger the incredible responses in parallel, efficiently identifying the generalization bound of the target agent. Experimental evaluations demonstrate that HalMit significantly outperforms existing approaches in hallucination monitoring. Its black-box nature and superior performance make HalMit a promising solution for enhancing the dependability of LLM-powered systems.
• Abstract（参考訳）: 大規模言語モデル(LLM)を取り入れたインテリジェントエージェントは、オープン環境と対話してAIデプロイメントを促進するための一般的なパラダイムとなっている。 しかし、LSMの出力が生成する幻覚は事実と矛盾するものであり、知的エージェントの信頼性を損なう。 幻覚を緩和できる場合のみ、知的エージェントは破滅的なリスクなく現実世界で使用できる。 したがって, 幻覚の効果的な検出と緩和は, 薬剤の信頼性を確保するために重要である。 残念ながら、関連するアプローチはLSMへのホワイトボックスアクセスに依存するか、幻覚を正確に識別できないかのいずれかである。 知的エージェントの幻覚によって引き起こされる課題に対処するため、我々は、LCMを動力とするエージェントの一般化境界をモデル化し、LCMのアーキテクチャの内部知識を必要とせずに幻覚を検出する新しいブラックボックスウォッチドッグフレームワークであるHalMitを紹介する。 具体的には, 確率的フラクタルサンプリング手法を提案し, 膨大な数のクエリを並列に生成し, 対象エージェントの一般化境界を効率的に同定する。 実験により、HalMitは幻覚モニタリングにおいて既存のアプローチよりも優れていることが示された。 そのブラックボックスの性質と優れた性能により、HalMitはLLM駆動システムの信頼性を高めるための有望なソリューションとなる。

関連論文リスト

• MIRAGE-Bench: LLM Agent is Hallucinating and Where to Find Them [52.764019220214344]
  幻覚は、大きな言語モデル(LLM)ベースのエージェントに重大なリスクをもたらす。 MIRAGE-Benchは対話型環境における幻覚の抽出と評価のための最初の統一ベンチマークである。
  論文  参考訳（メタデータ） (2025-07-28T17:38:29Z)
• A Head to Predict and a Head to Question: Pre-trained Uncertainty Quantification Heads for Hallucination Detection in LLM Outputs [71.97006967209539]
  大規模言語モデル(LLM)は幻覚、すなわち、散発的に偽情報や偽情報を生成する傾向を持つ。 不確実性定量化(UQ)は、モデル出力の信頼性を評価するためのフレームワークを提供する。 我々は、Mistral、Llama、Gemma 2など、人気のあるLLMシリーズ向けのUQヘッドのコレクションを事前訓練する。
  論文  参考訳（メタデータ） (2025-05-13T03:30:26Z)
• Triggering Hallucinations in LLMs: A Quantitative Study of Prompt-Induced Hallucination in Large Language Models [0.0]
  大規模言語モデル(LLM)における幻覚は、現実世界のアプリケーションにまたがる課題が増えていることを示している。 幻覚を系統的に引き起こし定量化するプロンプトベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-01T14:33:47Z)
• HalluLens: LLM Hallucination Benchmark [49.170128733508335]
  大規模言語モデル(LLM)は、しばしばユーザ入力やトレーニングデータから逸脱する応答を生成する。 本稿では,新たな内因性評価タスクと既存内因性評価タスクを併用した総合幻覚ベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-04-24T13:40:27Z)
• Combating Multimodal LLM Hallucination via Bottom-Up Holistic Reasoning [151.4060202671114]
  マルチモーダル大規模言語モデル(MLLM)は、視覚言語タスクを前進させる前例のない能力を示した。 本稿では,MLLMにおける幻覚に対処するためのボトムアップ推論フレームワークを提案する。 本フレームワークは、認識レベル情報と認知レベルコモンセンス知識を検証・統合することにより、視覚とテキストの両方の入力における潜在的な問題に体系的に対処する。
  論文  参考訳（メタデータ） (2024-12-15T09:10:46Z)
• Mitigating Entity-Level Hallucination in Large Language Models [11.872916697604278]
  本稿では,大規模言語モデル(LLM)における幻覚の検出・緩和手法として,幻覚検出(DRAD)に基づく動的検索拡張を提案する。 実験の結果,LDMにおける幻覚の検出と緩和の両面において,DRADは優れた性能を示した。
  論文  参考訳（メタデータ） (2024-07-12T16:47:34Z)
• Retrieve Only When It Needs: Adaptive Retrieval Augmentation for Hallucination Mitigation in Large Language Models [68.91592125175787]
  幻覚は、大規模言語モデル(LLM)の実践的実装において重要な課題となる。 本稿では,幻覚に対処するための選択的検索拡張プロセスにより,Lowenを改良する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-02-16T11:55:40Z)
• A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions [40.79317187623401]
  大規模言語モデル(LLM)の出現は、自然言語処理(NLP)において大きなブレークスルーとなった。 LLMは幻覚を起こす傾向があり、可視だが非現実的な内容を生成する。 この現象は、実世界の情報検索システムにおけるLCMの信頼性に対する重大な懸念を引き起こす。
  論文  参考訳（メタデータ） (2023-11-09T09:25:37Z)
• Siren's Song in the AI Ocean: A Survey on Hallucination in Large Language Models [116.01843550398183]
  大規模言語モデル(LLM)は、様々な下流タスクで顕著な機能を示している。 LLMは時折、ユーザ入力から分岐するコンテンツを生成し、以前生成されたコンテキストと矛盾する。
  論文  参考訳（メタデータ） (2023-09-03T16:56:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。