論文の概要: ListQA: A Benchmark for Evaluating List-Formatted Factual Knowledge Retrieval in Large Language Models

• arxiv url: http://arxiv.org/abs/2610.19165v1
• Date: Tue, 13 Oct 2026 20:30:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.80182
• Title: ListQA: A Benchmark for Evaluating List-Formatted Factual Knowledge Retrieval in Large Language Models
• Title（参考訳）: リストQA: 大規模言語モデルにおけるリスト形式ファクチュアル知識検索のためのベンチマーク
• Abstract要約: ListQAは、9,045件の人間計算、クロスバリデーションされた質問のベンチマークである。 複数の事実を思い出し、3、10個の要素の構造化リストにまとめる必要がある。 質問はフラットリスト("Which NCAA team was undefeed into 2000–2024?")からサブ属性を持つ階層リストまで様々である。
• 参考スコア（独自算出の注目度）: 6.177549801202097
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many real-world questions demand not a single fact but an organized collection of them, yet existing factual knowledge benchmarks almost exclusively target single answer retrieval. We introduce ListQA, a benchmark of 9,045 human-curated, cross-validated questions (audited error rate of 1.7%) that require LLMs to recall multiple facts and compose them into structured lists of 3-10 elements. Questions range from flat lists ("Which NCAA teams went undefeated between 2000 and 2024?") to hierarchical lists with sub-attributes ("...and what was their record and result?"), spanning eight categories across 60+ countries. An evergreen design (explicit temporal constraints or historically immutable facts) keeps ground truth valid without periodic updates. For evaluation, we frame element matching as a linear sum assignment problem: optimal bipartite matching paired with LLM-based semantic grading jointly captures factual accuracy, hallucination, and format compliance. We benchmark 34 models (8 families, 42 configurations across standard and thinking enabled inference) and find: the best standard-inference model scores below 37% LLM-Judge-F1, multi-faceted questions are harder across the board, and providing the source Wikipedia page lifts scores dramatically, confirming that models can organize facts but struggle to retrieve them from parameters alone. Extended analyses cover base vs. instruction-tuned checkpoints and token efficiency. We release the dataset and evaluation code.
• Abstract（参考訳）: 多くの現実世界の質問は、単一の事実ではなく、それらの組織化されたコレクションを要求するが、既存の事実知識ベンチマークはほとんどが単一の回答の検索をターゲットとしている。 我々は,LLMが複数の事実をリコールし,それらを3～10個の要素からなる構造化リストに構成することを要求する,9,045個の人為的・有意な質問(聴取誤差率1.7%)のベンチマークであるListQAを紹介する。 質問はフラットリスト("Which NCAA team was undefeated into 2000–2024?")からサブ属性を持つ階層リスト("...and their record and result?")まで、60以上の国で8つのカテゴリにまたがる。 常緑デザイン(時間的制約や歴史的不変な事実)は、定期的に更新することなく、基礎的な真実を有効に保ちます。 LLMをベースとしたセマンティックグレーディングと組み合わせた最適二部マッチングは、事実の正確性、幻覚、フォーマットコンプライアンスを共同で取得する。 最高の標準推論モデルスコアは37% LLM-Judge-F1未満で、多面的な質問はボード全体で難しいです。 拡張解析では、ベース対命令調整チェックポイントとトークン効率をカバーしている。 データセットと評価コードをリリースします。

関連論文リスト

• Two-Level Meta-Rubrics for Evaluating Open-Ended Generation: GAMUT, a Benchmark for Factual Completeness [8.98920719663984]
  Gamutは、長文生成における事実完全性のベンチマークである。 10の異なる領域にまたがって、実際のウェアラブル画像に基づく1,813の質問を作成します。
  論文  参考訳（メタデータ） (2026-07-21T17:42:50Z)
• GeoChallenge: A Multi-Answer Multiple-Choice Benchmark for Geometric Reasoning with Diagrams [24.006289796467907]
  提案するGeoChallengeは,90Kで自動生成された多重選択幾何証明問題である。 複数の高度なLCMの実験では、モデルと人間の間に明らかなパフォーマンスギャップが示されている。 最高のパフォーマンスモデルであるGPT-5-nanoは75.89の精度で人間と94.74で一致している。
  論文  参考訳（メタデータ） (2026-02-25T08:14:42Z)
• Do Chatbot LLMs Talk Too Much? The YapBench Benchmark [1.6149401958316794]
  YapBenchは、簡潔なイデアルプロンプトでユーザ可視のオーバージェネレーションを定量化するベンチマークである。 各項目は、1ターンプロンプト、キュレートされた最小限のベースライン回答、およびカテゴリラベルで構成される。 カテゴリーレベル中央値YapScoresの一様重み付き平均YapIndexを用いてモデル性能を要約する。
  論文  参考訳（メタデータ） (2026-01-02T09:43:52Z)
• Detecting Corpus-Level Knowledge Inconsistencies in Wikipedia with Large Language Models [11.16952630564181]
  不整合, 特定の事実的不整合に着目し, コーパスレベルの不整合検出の課題を導入する。 本稿では,LLM推論と検索を組み合わせたエージェントシステムであるCLAIREについて述べる。 経験豊富なウィキペディア編集者によるユーザスタディでは、87.5%がCLAIREを使用する際の信頼性が高く、参加者は同じ時間内に64.7%の矛盾が見つかった。
  論文  参考訳（メタデータ） (2025-09-27T10:32:41Z)
• LINKAGE: Listwise Ranking among Varied-Quality References for Non-Factoid QA Evaluation via LLMs [61.57691505683534]
  非F (Non-Factoid) Question Answering (QA) は多種多様な潜在的回答と客観的基準により評価が困難である。 大規模言語モデル (LLM) は、様々なNLPタスクにおいて魅力的な性能を持つため、NFQAの評価に利用されてきた。 提案手法は,LLMを用いて基準回答のランク付けを行う新しい評価手法であるNFQAの評価手法を提案する。
  論文  参考訳（メタデータ） (2024-09-23T06:42:21Z)
• BRIGHT: A Realistic and Challenging Benchmark for Reasoning-Intensive Retrieval [54.54576644403115]
  BRIGHTは、関係する文書を検索するために、集中的推論を必要とする最初のテキスト検索ベンチマークである。 私たちのデータセットは、経済学、心理学、数学、コーディングなど、さまざまな領域にまたがる1,384の現実世界のクエリで構成されています。 クエリに関する明示的な推論を取り入れることで、検索性能が最大12.2ポイント向上することを示す。
  論文  参考訳（メタデータ） (2024-07-16T17:58:27Z)
• FanOutQA: A Multi-Hop, Multi-Document Question Answering Benchmark for Large Language Models [37.34801677290571]
  FanOutQA(ファンアウトQA)は、ウィキペディアによる高品質な質問応答ペアと人間による注釈付き分解のデータセットである。 GPT-4、LLaMA 2、Claude-2.1、Mixtral-8x7Bを含む、データセットとベンチマーク7 LLMの3つのベンチマーク設定を定式化します。
  論文  参考訳（メタデータ） (2024-02-21T20:30:45Z)
• The Earth is Flat? Unveiling Factual Errors in Large Language Models [89.94270049334479]
  ChatGPTのような大規模言語モデル(LLM)は、事前学習や微調整の知識が豊富にあるため、様々な応用がある。 それにもかかわらず、医療、ジャーナリズム、教育といった重要な分野に懸念を抱き、事実と常識の誤りを引き起こす傾向にある。 LLMにおける事実不正確な事実を明らかにすることを目的とした,新しい自動テストフレームワークであるFactCheckerを紹介する。
  論文  参考訳（メタデータ） (2024-01-01T14:02:27Z)
• Evaluating the Factual Consistency of Large Language Models Through News Summarization [97.04685401448499]
  本稿では,要約タスクに着目したFIB(Factual Inconsistency Benchmark)と呼ばれる新しいベンチマークを提案する。 現実的に一貫した要約では、手作業で事実的に一貫したものとして検証する、人書きの参照要約を使用します。 現実的に矛盾しない要約に対して、我々は、事実的に矛盾しているとして手動で注釈付けした一連の要約モデルから要約を生成する。
  論文  参考訳（メタデータ） (2022-11-15T18:50:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。