論文の概要: SelfCheckAgent: Zero-Resource Hallucination Detection in Generative Large Language Models

• arxiv url: http://arxiv.org/abs/2502.01812v1
• Date: Mon, 03 Feb 2025 20:42:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:03:40.061947
• Title: SelfCheckAgent: Zero-Resource Hallucination Detection in Generative Large Language Models
• Title（参考訳）: SelfCheckAgent: 生成型大規模言語モデルにおけるゼロソース幻覚検出
• Authors: Diyana Muhammed, Gollam Rabby, Sören Auer,
• Abstract要約: SelfCheckAgentは、3つの異なるエージェントを統合する新しいフレームワークである。 これらのエージェントは幻覚検出に対する堅牢な多次元アプローチを提供する。 このフレームワークには三角形戦略も組み込まれており、SelfCheckAgentの強みを高めている。
• 参考スコア（独自算出の注目度）: 0.16385815610837165
• License:
• Abstract: Detecting hallucinations in Large Language Models (LLMs) remains a critical challenge for their reliable deployment in real-world applications. To address this, we introduce SelfCheckAgent, a novel framework integrating three different agents: the Symbolic Agent, the Specialized Detection Agent, and the Contextual Consistency Agent. These agents provide a robust multi-dimensional approach to hallucination detection. Notable results include the Contextual Consistency Agent leveraging Llama 3.1 with Chain-of-Thought (CoT) to achieve outstanding performance on the WikiBio dataset, with NonFactual hallucination detection scoring 93.64%, Factual 70.26%, and Ranking 78.48% respectively. On the AIME dataset, GPT-4o with CoT excels in NonFactual detection with 94.89% but reveals trade-offs in Factual with 30.58% and Ranking with 30.68%, underscoring the complexity of hallucination detection in the complex mathematical domains. The framework also incorporates a triangulation strategy, which increases the strengths of the SelfCheckAgent, yielding significant improvements in real-world hallucination identification. The comparative analysis demonstrates SelfCheckAgent's applicability across diverse domains, positioning it as a crucial advancement for trustworthy LLMs. These findings highlight the potentiality of consistency-driven methodologies in detecting hallucinations in LLMs.
• Abstract（参考訳）: LLM(Large Language Models)における幻覚の検出は、現実のアプリケーションへの信頼性の高いデプロイにおいて、依然として重要な課題である。 そこで我々は,シンボルエージェント,特殊検出エージェント,コンテキスト整合エージェントという3つの異なるエージェントを統合した新しいフレームワークであるSelfCheckAgentを紹介する。 これらのエージェントは幻覚検出に対する堅牢な多次元アプローチを提供する。 Llama 3.1とChain-of-Thought (CoT)を併用してWikiBioデータセット上で優れたパフォーマンスを達成しているコンテキスト一貫性エージェントは、非Factual Hallucination検出スコアが93.64%、Factual 70.26%、ランキング78.48%である。 AIMEデータセットでは、CoTのGPT-4oは94.89%で非Factual検出に優れていたが、Factualでは30.58%、ランキングでは30.68%でトレードオフを示し、複雑な数学的領域における幻覚検出の複雑さを浮き彫りにしている。 このフレームワークには三角法戦略も組み込まれており、それはSelfCheckAgentの強みを高め、現実世界の幻覚識別に大きな改善をもたらす。 比較分析は、SelfCheckAgentが様々な領域にまたがって適用可能であることを示している。 これらの知見は,LLMの幻覚検出における整合性駆動法の可能性を明らかにするものである。

関連論文リスト

• Hallucination Mitigation using Agentic AI Natural Language-Based Frameworks [0.0]
  現在のジェネレーティブAIモデルにおいて、幻覚は依然として重要な課題である。 本研究では,複数の人工知能エージェントを編成することで幻覚を緩和する方法について検討する。
  論文  参考訳（メタデータ） (2025-01-19T11:19:25Z)
• Good Parenting is all you need -- Multi-agentic LLM Hallucination Mitigation [0.0]
  本研究では,大規模言語モデル(LLM)エージェントによるAI生成コンテンツの幻覚の検出と修正能力について検討する。 各種のプライマリエージェントとレビューエージェントの組み合わせを含む4900回のテスト実行では、高度なAIモデルは幻覚を識別する上でほぼ完璧に正確であることを示した。
  論文  参考訳（メタデータ） (2024-10-18T08:18:18Z)
• Synchronous Faithfulness Monitoring for Trustworthy Retrieval-Augmented Generation [96.78845113346809]
  Retrieval-augmented Language Model (RALMs) は、知識集約型タスクにおいて、高い性能と幅広い適用性を示している。 本稿では,非偽文の検出に微細な復号力学を利用する軽量モニタであるSynCheckを提案する。 また、長文検索拡張生成のためのビームサーチによって導かれる忠実度指向の復号アルゴリズムであるFODを導入する。
  論文  参考訳（メタデータ） (2024-06-19T16:42:57Z)
• Small Agent Can Also Rock! Empowering Small Language Models as Hallucination Detector [114.88975874411142]
  幻覚検出は大規模言語モデル(LLM)にとって難しい課題である 本稿では,HluAgentと呼ばれる自律型LLMエージェントフレームワークを提案する。 HaluAgentでは、LLM、多機能ツールボックスを統合し、きめ細かい3段階検出フレームワークを設計する。
  論文  参考訳（メタデータ） (2024-06-17T07:30:05Z)
• Agent-FLAN: Designing Data and Methods of Effective Agent Tuning for Large Language Models [56.00992369295851]
  オープンソースのLarge Language Models(LLM)は、さまざまなNLPタスクで大きな成功を収めていますが、エージェントとして振る舞う場合、それでもAPIベースのモデルよりもはるかに劣っています。 本稿では,(1) エージェント学習コーパスを,(1) エージェント学習データの分布から大きくシフトするエージェント推論と,(2) エージェントタスクが必要とする能力に異なる学習速度を示すエージェント学習コーパスと,(3) 幻覚を導入することでエージェント能力を改善する際の副作用について述べる。 本稿では,エージェントのためのFLANモデルを効果的に構築するためのエージェントFLANを提案する。
  論文  参考訳（メタデータ） (2024-03-19T16:26:10Z)
• HypoTermQA: Hypothetical Terms Dataset for Benchmarking Hallucination Tendency of LLMs [0.0]
  幻覚は、大規模言語モデル(LLM)の信頼性と整合性に重大な課題をもたらす 本稿では,LLMの幻覚傾向のベンチマークと効率的な幻覚検出を組み合わせた,スケーラブルな自動フレームワークを提案する。 フレームワークはドメインに依存しないため、任意のドメインでのベンチマーク作成や評価に任意の言語モデルを使用することができる。
  論文  参考訳（メタデータ） (2024-02-25T22:23:37Z)
• "Knowing When You Don't Know": A Multilingual Relevance Assessment Dataset for Robust Retrieval-Augmented Generation [90.09260023184932]
  Retrieval-Augmented Generation (RAG) は、外部の知識源を活用して、事実の幻覚を減らすことで、Large Language Model (LLM) を出力する。 NoMIRACLは18言語にまたがるRAGにおけるLDM堅牢性を評価するための人為的アノテーション付きデータセットである。 本研究は,<i>Halucination rate</i>,<i>Halucination rate</i>,<i>Halucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sr。
  論文  参考訳（メタデータ） (2023-12-18T17:18:04Z)
• Enhancing Uncertainty-Based Hallucination Detection with Stronger Focus [99.33091772494751]
  大規模言語モデル(LLM)は、様々な分野にわたる印象的なパフォーマンスで大きな人気を集めている。 LLMは、ユーザの期待を満たさない非現実的あるいは非感覚的なアウトプットを幻覚させる傾向がある。 LLMにおける幻覚を検出するための新しい基準のない不確実性に基づく手法を提案する。
  論文  参考訳（メタデータ） (2023-11-22T08:39:17Z)
• Weakly Supervised Veracity Classification with LLM-Predicted Credibility Signals [4.895830603263421]
  Pastelは、Webコンテンツから信頼性信号を取り出すために、大きな言語モデルを活用する弱い教師付きアプローチである。 信頼性信号と信頼性の関係について検討し,各信号がモデル性能に与える影響について検討した。
  論文  参考訳（メタデータ） (2023-09-14T11:06:51Z)
• A Stitch in Time Saves Nine: Detecting and Mitigating Hallucinations of LLMs by Validating Low-Confidence Generation [76.34411067299331]
  大規模な言語モデルは、しばしば信頼性を著しく損なう「ハロシン化」する傾向がある。 生成過程における幻覚を積極的に検出・緩和する手法を提案する。 提案手法は, GPT-3.5モデルの幻覚を平均47.5%から14.5%に低減する。
  論文  参考訳（メタデータ） (2023-07-08T14:25:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。