論文の概要: Blind Men and the Elephant: Probing the Epistemic Myopia of LLMs under Long-Tail Divergent Knowledge

• arxiv url: http://arxiv.org/abs/2608.28478v1
• Date: Fri, 28 Aug 2026 16:06:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-31 17:16:04.389551
• Title: Blind Men and the Elephant: Probing the Epistemic Myopia of LLMs under Long-Tail Divergent Knowledge
• Title（参考訳）: 盲人男性とエレファント : 長期の分岐知識に基づくLSMの疫学的近視の探索
• Abstract要約: グラフベースのパイプラインから生成される1,094の質問からなるクローズドブック知識プローブであるElephantBenchを紹介する。 パイプラインは、低露光Webコーパスから関連ドキュメントを取得し、自然に発生する不一致を特定し、それらをマルチアカウントのQAレコードに変換する。 32モデル中、最強のモデルでさえ、52.4%の質問で両アカウントを復元する一方、残りのほとんど全ての質問では他方を省略する。
• 参考スコア（独自算出の注目度）: 25.839419176312266
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Factual question answering (QA) typically assumes a single canonical answer, obscuring whether large language models (LLMs) retain divergent accounts of long-tail facts. To address this gap, we introduce ElephantBench, a closed-book knowledge probe comprising 1,094 questions generated through an auditable graph-based pipeline. The pipeline retrieves related documents from a low-exposure web corpus, identifies naturally occurring disagreements, and converts them into multi-account QA records. Each answer is verified against the originating documents and authoritative public web sources and is then reviewed by human annotators. Across 32 models, even the strongest model recovers both accounts on only 52.4% of questions, while on nearly all remaining questions it recalls one account but omits the other. Scaling model size and inference-time reasoning improve recall but do not eliminate this incompleteness. Corpus analysis further shows that exposure imbalance favors the dominant account, whereas greater minority-side exposure is associated with more complete recall. These findings establish ElephantBench as a reproducible knowledge probe for diagnosing epistemic myopia in parametric memory. More broadly, our graph-based benchmark construction pipeline provides an efficient and scalable way to turn long-tail corpora into source-traceable knowledge probes, supporting efforts to evaluate and advance the epistemic rigour of next-generation LLMs. Code is available at https://github.com/Tencent/ElephantBench.
• Abstract（参考訳）: QA(Factual Question answering)は、大言語モデル(LLM)が長い尾の事実の相違点を保持するかどうかを判断し、単一の正準解を仮定するのが一般的である。 このギャップに対処するために、監査可能なグラフベースのパイプラインから生成される1,094の質問からなるクローズドブック知識プローブであるElephantBenchを紹介する。 パイプラインは、低露光Webコーパスから関連ドキュメントを取得し、自然に発生する不一致を特定し、それらをマルチアカウントのQAレコードに変換する。 各回答は、原文文書や権威のある公開Webソースに対して検証され、その後、人間のアノテーションによってレビューされる。 32モデル中、最強のモデルでさえ、52.4%の質問で両方のアカウントを復元する一方、残りのほとんど全ての質問では1つのアカウントをリコールするが、もう1つを省略する。 モデルサイズと推論時間推論のスケーリングはリコールを改善するが、この不完全性を排除しない。 コーパス分析により、露光の不均衡は支配的な会計を好んでおり、一方、マイノリティ側の露光はより完全なリコールと関連していることが示された。 以上の結果から,ElephantBenchは傍記憶におけるてんかんの診断に有用であると考えられた。 より広範に、我々のグラフベースのベンチマーク構築パイプラインは、ロングテールコーパスをソース追跡可能な知識プローブに変換する、効率的でスケーラブルな方法を提供する。 コードはhttps://github.com/Tencent/ElephantBench.comで入手できる。

関連論文リスト

• Plato-Bio: verification-first biological novelty screening with temporal rediscovery and structural benchmarks [0.0]
  オープンなPlato/Denarioアーキテクチャの拡張であるPlato-Bioを開発した。 Plato-Bioは明示的なワークフローステートを、プロファイランスレコード、引用チェック、クレーム・ツー・エビデンスリンク、スコープドファイル書き込み、パブリッシュゲートと結合する。 現在のクリーンリビジョンでは、完全なPythonスイートが931パス、6スキップ、エラーやエラーは発生しない。
  論文  参考訳（メタデータ） (2026-07-27T03:55:39Z)
• Before the Action: Benchmarking LLMs on Prospective Hypothesis Discovery [95.44432473367836]
  大規模言語モデル(LLM)は、事前に特定された質問に答える能力に優れるが、未解決の未解決段階をナビゲートする能力はほとんど測定されていない。 仮説探索(PHD)を導入し,不確定な証拠から,仮説空間を自律的に構築することをモデルに求める。 本稿では,6つの科学的・分析的領域にわたる988ケースのベンチマークであるHypoArenaと,オープンエンド仮説セットの評価フレームワークであるHypoEvalを紹介する。
  論文  参考訳（メタデータ） (2026-07-17T08:56:43Z)
• AEGIS: From Clues to Verdicts -- Graph-Guided Deep Vulnerability Reasoning via Dialectics and Meta-Auditing [9.271196825503417]
  大きな言語モデル(LLM)は、脆弱性検出にますます採用されているが、その推論は基本的には正しくない。 AEGISは、未解決の投機から、クローズドな事実ベース上の法医学的検証へ、検出をシフトする新しいマルチエージェントフレームワークである。 これは、主要なベースラインと比較して偽陽性率を最大54.40%削減し、1サンプルあたりの平均コストはタスク固有のトレーニングなしで0.09ドルである。
  論文  参考訳（メタデータ） (2026-03-21T04:12:04Z)
• Measuring the Impact of Lexical Training Data Coverage on Hallucination Detection in Large Language Models [26.89705770151822]
  大規模言語モデル(LLM)における幻覚は、特にオープンドメインの質問応答において、根本的な課題である。 これまでの研究は、トークンレベルのエントロピーや生成一貫性といったモデル内部信号による幻覚の検出を試みた。 本研究では,データカバレッジ自体が検出信号として機能するかどうかを検討する。
  論文  参考訳（メタデータ） (2025-11-22T06:59:55Z)
• Hound: Relation-First Knowledge Graphs for Complex-System Reasoning in Security Audits [0.0]
  Houndは、複雑なコンポーネント間のシステムレベルの推論を改善するリレーショナルファーストグラフエンジンである。 2つめのコントリビューションは、永続的な信念システムである。
  論文  参考訳（メタデータ） (2025-09-29T02:46:02Z)
• Beyond Memorization: Reasoning-Driven Synthesis as a Mitigation Strategy Against Benchmark Contamination [77.69093448529455]
  本稿では,arXiv論文から直接研究レベルのQAを合成するために,無限にスケーラブルなフレームワークを用いて実証的研究を行う。 各種サイズ,開発者,リリース日といったモデルについて,知識カットオフ日に近い性能劣化の欠如を評価した。 合成パイプラインで要求される多段階の推論は、浅い記憶よりも深い複雑さをもたらしたと仮定する。
  論文  参考訳（メタデータ） (2025-08-26T16:41:37Z)
• Uncertainty Estimation of Large Language Models in Medical Question Answering [60.72223137560633]
  大規模言語モデル(LLM)は、医療における自然言語生成の約束を示すが、事実的に誤った情報を幻覚させるリスクがある。 医学的問合せデータセットのモデルサイズが異なる人気不確実性推定(UE)手法をベンチマークする。 以上の結果から,本領域における現在のアプローチは,医療応用におけるUEの課題を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-07-11T16:51:33Z)
• Fact-Checking the Output of Large Language Models via Token-Level Uncertainty Quantification [116.77055746066375]
  大型言語モデル(LLM)は幻覚、すなわちその出力に誤った主張を生じさせることで有名である。 本稿では,トークンレベルの不確実性定量化に基づくファクトチェックと幻覚検出パイプラインを提案する。
  論文  参考訳（メタデータ） (2024-03-07T17:44:17Z)
• R-Tuning: Instructing Large Language Models to Say `I Don't Know' [66.11375475253007]
  大きな言語モデル(LLM)は、優れたパフォーマンスで多くのドメインに革命をもたらしたが、それでもその課題に直面している。 事前の指導チューニング方法は、モデルが知識を知っているかどうかに関わらず、モデルに文章を完成させるよう強制する。 我々はRefusal-Aware Instruction Tuning (R-Tuning)と呼ばれる新しいアプローチを提案する。 実験の結果、R-Tuningは、既知の質問に答えたり、未知の質問に答えるのを控えるモデルの能力を効果的に改善することを示した。
  論文  参考訳（メタデータ） (2023-11-16T08:45:44Z)
• FactCHD: Benchmarking Fact-Conflicting Hallucination Detection [64.4610684475899]
  FactCHD は LLM からファクトコンフリクトの幻覚を検出するために設計されたベンチマークである。 FactCHDは、バニラ、マルチホップ、比較、セット操作など、さまざまな事実パターンにまたがる多様なデータセットを備えている。 Llama2 に基づくツール強化 ChatGPT と LoRA-tuning による反射的考察を合成する Truth-Triangulator を提案する。
  論文  参考訳（メタデータ） (2023-10-18T16:27:49Z)
• Elastic Weight Removal for Faithful and Abstractive Dialogue Generation [61.40951756070646]
  対話システムは、関連する文書に含まれる知識に忠実な応答を生成するべきである。 多くのモデルは、それと矛盾したり、検証不可能な情報を含んでいる代わりに幻覚応答を生成する。 本手法は,幻覚と抽出反応を同時に阻止するために拡張できることが示唆された。
  論文  参考訳（メタデータ） (2023-03-30T17:40:30Z)
• FEQA: A Question Answering Evaluation Framework for Faithfulness Assessment in Abstractive Summarization [34.2456005415483]
  我々は,その資料から生成した要約の忠実さを評価する問題に取り組む。 現在のモデルでは、抽象性と忠実性のトレードオフが示されています。 本稿では,信頼度を基準とした質問応答(QA)尺度を提案する。
  論文  参考訳（メタデータ） (2020-05-07T21:00:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。