論文の概要: CruxBench: A Benchmark of Information Discovery

• arxiv url: http://arxiv.org/abs/2609.35879v1
• Date: Sat, 26 Sep 2026 23:28:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:46.876322
• Title: CruxBench: A Benchmark of Information Discovery
• Title（参考訳）: CruxBench: 情報発見のベンチマーク
• Abstract要約: 情報の価値(VOI)によって質問を格付けするベンチマークであるCruxBenchを紹介します。 クレックスベンチは3つの重要な特性の稀な組み合わせを享受している: 建設によって汚染に抵抗する: 基礎的な真実は将来の世界の出来事によって生成される; 正しい1つの数値の答えではなく、オープンエンドで、認められた、複雑なテキストベースの提出; 実世界の信念の定量化された変化に対して測定された情報によって、接地される。
• 参考スコア（独自算出の注目度）: 26.78608131286778
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Benchmarks for large language models (LLMs) typically evaluate the accuracy of answers against fixed reference labels. But a central step in many complex real-world tasks is identifying which questions are worth asking in the first place: decomposing a difficult problem into subquestions -- which we call cruxes -- whose answers provide key steps on the path toward solving the target problem. To evaluate this capability of information discovery, we introduce CruxBench, a benchmark that grades LLM-generated questions by their Value of Information (VOI): how much a model-proposed crux updates beliefs about a target forecasting question. CruxBench enjoys a rare combination of three key properties: it is (1) contamination-resistant by construction, since ground truth is generated by future world events; (2) open-ended, admitting unbounded and complex text-based submissions rather than one correct numeric answer; and (3) grounded, with informativeness measured against quantified changes in real-world beliefs. We evaluate a diverse set of eight models on 293 target forecasting questions and find that VOI correlates highly with independent measures of model capability (r=0.90) and captures cruxes' usefulness for answering target questions. However, information discovery remains challenging even for frontier LLMs, which only narrowly outperform a random-timing baseline.
• Abstract（参考訳）: 大規模言語モデル(LLM)のベンチマークは通常、固定参照ラベルに対する回答の精度を評価する。 しかし、多くの複雑な現実世界のタスクにおける中心的なステップは、そもそもどの質問に価値があるかを特定することだ。 この情報発見能力を評価するために,LLM生成した質問をVOI(Value of Information)によって評価するベンチマークであるCruxBenchを紹介した。 クラックスベンチは、(1) 建設による汚染に抵抗する、なぜなら地下の真実は将来の世界の出来事によって生成されるからである、(2) 正しい数値の答えではなく、開放的で、非有界で複雑なテキストベースの提出を認めること、(3) 現実の信念の量的変化に対して測定された情報性である、という3つの重要な特性の稀な組み合わせを享受している。 我々は,293のターゲット予測質問に対する8つのモデルの多種多様なセットを評価し,VOIがモデル能力の独立度(r=0.90)と高い相関性を示し,ターゲット質問に対するクルークスの有用性を捉えた。 しかし、情報発見はフロンティアのLLMでさえも困難であり、ランダムな入力ベースラインよりもわずかに上回っている。

関連論文リスト

• GISA: A Benchmark for General Information-Seeking Assistant [102.30831921333755]
  GISAは汎用情報検索アシスタントのベンチマークであり、373の人為的なクエリで構成されている。 深い推論と広範囲な情報集約を統合タスクに統合し、暗記に抵抗するために定期的に更新された回答を含むライブサブセットを含む。 主要なLCMと商用検索製品の実験では、最高のパフォーマンスモデルでさえ19.30%の正確なマッチスコアしか達成していないことが示されている。
  論文  参考訳（メタデータ） (2026-02-09T11:44:15Z)
• Encyclo-K: Evaluating LLMs with Dynamically Composed Knowledge Statements [78.87065404966002]
  既存のベンチマークは、主に質問レベルで質問をキュレートする。 ベンチマーク構築をゼロから再考するステートメントベースのベンチマークであるEncyclo-Kを提案する。
  論文  参考訳（メタデータ） (2025-12-31T13:55:54Z)
• Knowing What's Missing: Assessing Information Sufficiency in Question Answering [3.8786514101828167]
  本稿では,堅牢な十分性モデリングのための構造化Identify-then-Verifyフレームワークを提案する。 提案手法は,多様なマルチホップおよび実QAデータセット間で確立されたベースラインに対して評価する。
  論文  参考訳（メタデータ） (2025-12-06T15:58:22Z)
• Curse of Knowledge: When Complex Evaluation Context Benefits yet Biases LLM Judges [72.3356133063925]
  審査員としての大規模言語モデル(LLM)のパラダイムはスケーラブルなソリューションとして登場したが、以前の作業は主に単純な設定に焦点を当てていた。 我々の詳細な分析は、評価信号の精度と妥当性を向上させるための重要な洞察を提供する。
  論文  参考訳（メタデータ） (2025-09-03T15:48:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。