論文の概要: Fluent but Fallible: Benchmarking Hallucination and Factual Reliability in Large Language Models
- arxiv url: http://arxiv.org/abs/2610.27034v1
- Date: Mon, 19 Oct 2026 16:54:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.436268
- Title: Fluent but Fallible: Benchmarking Hallucination and Factual Reliability in Large Language Models
- Title（参考訳）: Fluent but Fallible:大規模言語モデルにおける幻覚とFactual Reliabilityのベンチマーク
- Abstract要約: 大規模言語モデル (LLM) は、自然言語処理と人工知能の応用が大幅に進歩している。
幻覚に弱く、事実的に誤りまたは偽造された内容を生成し、反応偏差を生じさせる。
本研究は10種類の高度なLCMの様々な測定値を用いて比較分析を行う。
- 参考スコア（独自算出の注目度）: 1.6377171301382145
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Large Language Models (LLMs) have significantly advanced natural language processing and artificial intelligence applications through their capabilities in reasoning, text generation and knowledge retrieval. However, LLMs are still vulnerable to two important challenges: hallucination, generating factually incorrect or fabricated content, and response deviation, meaning systematic deviations from ground-truth responses. These limitations raise serious concerns regarding reliability and trustworthiness in academic and research environments. This study offers a thorough comparative analysis using a variety of metrics of ten advanced LLMs ChatGPT, Gemini, Claude~3.5~Sonnet, LLaMA~3, Mistral, Grok, Perplexity, DeepSeek~V3, Falcon, and Gemma based on a benchmark consisting of 70 carefully designed academic prompts across four complexity levels: Basic, Explanation, Advanced, and Tricky, evaluated in February 2025 on specific model versions. Each response was independently evaluated by three reviewers using five metrics: Accuracy, Precision, Recall, Response Deviation Index, and Hallucination Index. Perplexity and DeepSeek~V3 achieved the highest overall accuracy, while Gemini demonstrated strong recall and a well-balanced performance profile across all five metrics. LLaMA~3 showed strong resistance against hallucinations through a conservative method of generation. Advanced-level prompts proved most challenging across all models, while Tricky prompts were handled more reliably owing to their binary true/false structure. Falcon achieved perfect precision and zero hallucinations, but at the cost of the lowest recall and the highest response deviation. The results show a fundamental trade-off between response completeness and factual reliability, intensified by prompt complexity.
- Abstract（参考訳）: 大規模言語モデル(LLM)は推論、テキスト生成、知識検索の能力を通じて、自然言語処理と人工知能の応用を著しく進歩させてきた。
しかし、LLMは幻覚(幻覚)という2つの重要な課題に依然として弱い。
これらの制限は、学術・研究環境における信頼性と信頼性に関する深刻な懸念を引き起こす。
この研究は、2025年2月に特定のモデルバージョンで評価された10の高度なLLM(ChatGPT, Gemini, Claude~3.5~Sonnet, LLaMA~3, Mistral, Grok, Perplexity, DeepSeek~V3, Falcon, Gemma)のメトリクスを、4つの複雑性レベルにわたる70の慎重に設計された学術的なプロンプト(Basic, Explanation, Advanced, Tricky)からなるベンチマークに基づいて、徹底的に比較分析する。
各応答は,精度,精度,リコール,反応偏差指数,幻覚指数の5つの指標を用いて,それぞれ独立に評価された。
PerplexityとDeepSeek〜V3は全体的な精度が最も高く、Geminiは5つのメトリクスすべてに強いリコールとバランスの取れたパフォーマンスプロファイルを示した。
LLaMA~3は保存的生成法により幻覚に対する強い耐性を示した。
高度なプロンプトは全てのモデルで最も困難であることが証明され、トリッキープロンプトは2進的な真偽構造のためにより確実に処理された。
ファルコンは完全な精度と無幻覚を達成したが、最も低いリコールと最も高い応答偏差のコストがかかった。
結果は、応答完全性と事実信頼性の根本的なトレードオフを示し、迅速な複雑性によって強化される。
関連論文リスト
- NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。
既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。
本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
論文 参考訳（メタデータ） (2026-09-10T08:34:56Z) - Towards Lightweight Reliability: Using Soft Prompts for Hallucination Mitigation in Large Language Models [5.019869660665509]
大規模言語モデル(LLM)は様々な領域で広く採用されているが、その信頼性はしばしば幻覚によって損なわれている。
高リスク領域では、これらのエラーは信頼を減らし、現実世界のリスクをもたらす。
本稿では、ソフトプロンプトを用いて幻覚的コンテンツを緩和し、責任ある棄権を促進するパラメータ効率のアプローチを提案する。
論文 参考訳（メタデータ） (2026-05-30T23:02:33Z) - A2RBench: An Automatic Paradigm for Formally Verifiable Abstract Reasoning Benchmark Generation [59.98516959731531]
抽象推論能力は、抽象ルールを抽出し適用するためのLLMの知性と能力を反映する。
既存のベンチマークは、高価な手作業のアノテーション、そのスケールの制限、あるいは真の推論ではなく暗記のリスク測定に頼っている。
我々はA2RBenchという名の自動パイプラインを導入し、生成、拡張、評価、分析を行う。
論文 参考訳（メタデータ） (2026-05-17T06:14:20Z) - From Benchmarking to Reasoning: A Dual-Aspect, Large-Scale Evaluation of LLMs on Vietnamese Legal Text [0.0]
本稿では、このニーズに対処するための総合的な二重アスペクト評価フレームワークを提案する。
正確性、可読性、一貫性の3つの重要な側面にわたる、最先端の4つの大規模言語モデルのパフォーマンスベンチマークを構築します。
Grok-1のようなモデルは可読性と一貫性に優れているが、きめ細かい法的な正確性に妥協する。
論文 参考訳（メタデータ） (2026-04-17T17:28:23Z) - AdversaRiskQA: An Adversarial Factuality Benchmark for High-Risk Domains [3.721111684544962]
大型言語モデル(LLM)における幻覚は、誤報の拡散と公衆信頼の低下に寄与する。
本稿では,最初の検証済みで信頼性の高いベンチマークであるAdversaRiskQAを紹介する。
我々は,Qwen,GPT-OSS,GPTファミリーの6つのオープンソースLCMを評価し,誤情報検出率を測定した。
論文 参考訳（メタデータ） (2026-01-21T22:47:59Z) - Curse of Knowledge: When Complex Evaluation Context Benefits yet Biases LLM Judges [72.3356133063925]
審査員としての大規模言語モデル(LLM)のパラダイムはスケーラブルなソリューションとして登場したが、以前の作業は主に単純な設定に焦点を当てていた。
我々の詳細な分析は、評価信号の精度と妥当性を向上させるための重要な洞察を提供する。
論文 参考訳（メタデータ） (2025-09-03T15:48:33Z) - A Controllable Examination for Long-Context Language Models [62.845852724511964]
本研究では,長文言語モデルを評価するベンチマークである$textbfLongBioBenchを紹介する。
その結果,ほとんどのモデルでは,検索結果に対する意味的理解や基礎的推論が不足していることが判明した。
我々のさらなる分析は、文脈的非コヒーレンスなど、既存の合成ベンチマークで採用されているいくつかの設計選択を示している。
論文 参考訳（メタデータ） (2025-06-03T14:23:06Z) - Verbosity $\neq$ Veracity: Demystify Verbosity Compensation Behavior of Large Language Models [8.846200844870767]
大規模言語モデル(LLM)の好ましくない振る舞いの下位タイプを発見する。
我々はVerbosity Compensation (VC) を不確実性下での人間の鎮静行動と類似しているとしている。
本稿では, 冗長応答を他のモデル生成応答に置き換える, 単純で効果的なカスケードアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-11-12T15:15:20Z) - FactBench: A Dynamic Benchmark for In-the-Wild Language Model Factuality Evaluation [4.773086022844023]
実世界のユーザインタラクションにおける言語モデルの事実性を評価するパイプラインであるVERIFYを提案する。
VERIFYは既存の手法よりも人的評価と相関性が高いことを示す。
我々は、FACTBENCH上でGPT、Gemini、Llamaファミリーから広く使われているLMをベンチマークした。
論文 参考訳（メタデータ） (2024-10-29T17:19:56Z) - FaithEval: Can Your Language Model Stay Faithful to Context, Even If "The Moon is Made of Marshmallows" [74.7488607599921]
FaithEvalは、コンテキストシナリオにおける大規模言語モデル(LLM)の忠実度を評価するためのベンチマークである。
FaithEvalは4.9Kの高品質な問題で構成され、厳格な4段階のコンテキスト構築と検証フレームワークを通じて検証されている。
我々の研究は、最先端のモデルでさえ、与えられた文脈に忠実であり続けるのに苦労することが多く、大きなモデルが必ずしも改善された忠実を示すとは限らないことを明らかにしている。
論文 参考訳（メタデータ） (2024-09-30T06:27:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。