論文の概要: CorporateBench: Large-Scale Q&A Benchmarking with Temporal Knowledge Bases

• arxiv url: http://arxiv.org/abs/2608.27391v1
• Date: Thu, 27 Aug 2026 17:23:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-28 16:30:58.504601
• Title: CorporateBench: Large-Scale Q&A Benchmarking with Temporal Knowledge Bases
• Title（参考訳）: CorporateBench: 時間的知識ベースによる大規模Q&Aベンチマーク
• Abstract要約: 評価コーパスが23万件を超えるマルチタスクQ&Aベンチマークである CorporateBench (CB) を提案する。 CBは、情報抽出と知識ベースクエリの2つの次元にわたるLCMを評価し、12～10,000人の従業員から合成的に生成された4つの会社を通した。 CBはLLM開発者に企業コミュニケーション推論の指標を提供し、ベンチマークエコシステムにおける重要なギャップを埋めます。
• 参考スコア（独自算出の注目度）: 4.369388853857051
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: LLMs are increasingly able to answer complex questions about enterprise-scale document collections. But evaluation is hard: companies don't want to share internal communications, and synthetic datasets have been overly simple. We present CorporateBench (CB), a human-validated multi-task Q&A benchmark whose scale approaches the conditions LLMs encounter in corporate communication networks, with evaluation corpora surpassing 230,000 documents. CB evaluates LLMs across two dimensions (information extraction and knowledge base querying) through four synthetically generated firms ranging from 12 to 10,000 employees. Each corpus is sampled from a temporally evolving knowledge base describing a consistent world, guaranteeing cross-document logical consistency even across hundreds of thousands of documents. We evaluate five LLMs on CB, revealing increasingly poor performance as input size approaches realistic scales. CB provides LLM developers a metric for corporate communication reasoning, filling a crucial gap in the benchmarking ecosystem.
• Abstract（参考訳）: LLMはますます、エンタープライズ規模のドキュメントコレクションに関する複雑な質問に答えるようになっている。 しかし、評価は難しい。企業は内部コミュニケーションを共有したくないし、合成データセットはあまりにもシンプルだ。 評価コーパスが23万件を超える企業通信ネットワークにおいて, LLMが遭遇する状況にスケールがアプローチするマルチタスクQ&Aベンチマークである CorporateBench (CB) を提案する。 CBは、情報抽出と知識ベースクエリの2つの次元にわたるLCMを評価し、12～10,000人の従業員から合成的に生成された4つの会社を通した。 各コーパスは、一貫した世界を記述する時間的に進化した知識ベースからサンプリングされ、数十万のドキュメントにわたって、相互文書間の論理的一貫性が保証される。 我々はCB上で5つのLCMを評価し、入力サイズが現実的なスケールに近づくにつれて性能が低下することを示した。 CBはLLM開発者に企業コミュニケーション推論の指標を提供し、ベンチマークエコシステムにおける重要なギャップを埋めます。

関連論文リスト

• A Large-Scale Multi-Dimensional Empirical Study of LLMs for Conversation Summarization [17.601111891544885]
  OmniCSEvalは6つの実世界のシナリオをまたいだ1,800の多様な会話からなる統合ベンチマークである。 きめ細かな評価には、キーファクトマッチングを統合した双方向のファクトチェックフレームワークを使用し、完全性と簡潔性を評価する。 推論能力とモデルスケールによってグループ分けされた4つのカテゴリにわたる28個のLLMを評価した。
  論文  参考訳（メタデータ） (2026-06-14T18:57:01Z)
• MoNaCo: More Natural and Complex Questions for Reasoning Across Dozens of Documents [107.45764251915062]
  MoNaCoは、1,315の自然で時間のかかる質問のベンチマークで、解決には数十、数百の中間ステップが必要になる。 実世界の時間的問題に手動で答える,分解されたアノテーションパイプラインを開発した。 実世界の情報検索作業の複雑さと多様さに対処するLLMエージェントの限界について検討した。
  論文  参考訳（メタデータ） (2025-08-15T00:58:10Z)
• MEBench: Benchmarking Large Language Models for Cross-Document Multi-Entity Question Answering [21.2349023756007]
  マルチエンタリティ質問応答(MEQA)は,大規模言語モデル(LLM)において重要な課題である。 MEBenchは、断片化された情報の検索、統合、推論を行うLLMの能力を評価するために設計された、新しいマルチドキュメント、マルチエンタリティベンチマークである。 本ベンチマークでは,MEQAタスクにおける情報抽出の完全性と事実的精度の重要性を強調した。
  論文  参考訳（メタデータ） (2025-02-26T09:56:51Z)
• A Real-World Benchmark for Evaluating Fine-Grained Issue Solving Capabilities of Large Language Models [11.087034068992653]
  FAUN-Eval は LLM の Fine-grAined issUe solviNg 機能を評価するために特別に設計されたベンチマークである。 30の有名なGitHubリポジトリからキュレートされたデータセットを使って構築されている。 FAUN-Evalでは,4つのクローズドソースモデルと6つのオープンソースモデルを含む10個のLLMを評価した。
  論文  参考訳（メタデータ） (2024-11-27T03:25:44Z)
• NeedleBench: Evaluating LLM Retrieval and Reasoning Across Varying Information Densities [51.07379913779232]
  NeedleBenchは、長いコンテキストタスクにおける検索と推論のパフォーマンスを評価するためのフレームワークである。 モデルの機能を厳格にテストするために、キーデータポイントをさまざまな深さに埋め込む。 実験の結果,Deep-R1やOpenAIのo3のような推論モデルは,情報密度シナリオにおける連続的な検索と推論に苦労していることがわかった。
  論文  参考訳（メタデータ） (2024-07-16T17:59:06Z)
• DOCBENCH: A Benchmark for Evaluating LLM-based Document Reading Systems [99.17123445211115]
  本稿では,大規模言語モデル(LLM)に基づく文書読解システムを評価するベンチマークであるDocBenchを紹介する。 我々のベンチマークには、人間のアノテーションの募集と、合成質問の生成が含まれる。 実際の文書は229件、質問は1,102件で、5つのドメインにまたがって4種類の質問がある。
  論文  参考訳（メタデータ） (2024-07-15T13:17:42Z)
• Ada-LEval: Evaluating long-context LLMs with length-adaptable benchmarks [76.43527940649939]
  大規模言語モデル(LLM)の長文理解を評価するベンチマークであるAda-LEvalを紹介する。 Ada-LEvalにはTSortとBestAnswerという2つの挑戦的なサブセットが含まれている。 Ada-LEvalを用いた4つの最先端クローズドソースAPIモデルと6つのオープンソースモデルを評価した。
  論文  参考訳（メタデータ） (2024-04-09T17:30:48Z)
• Benchmarking Generation and Evaluation Capabilities of Large Language Models for Instruction Controllable Summarization [132.25202059478065]
  命令制御可能なテキスト要約の大規模言語モデル(LLM)をベンチマークする。 本研究は,LLMにおいて,命令制御可能なテキスト要約が依然として困難な課題であることを示す。
  論文  参考訳（メタデータ） (2023-11-15T18:25:26Z)
• L-Eval: Instituting Standardized Evaluation for Long Context Language Models [91.05820785008527]
  長い文脈言語モデル(LCLM)のより標準化された評価を行うためにL-Evalを提案する。 20のサブタスク、508の長いドキュメント、2000以上の人間ラベルのクエリ応答対を含む新しい評価スイートを構築した。 その結果、一般的なn-gramマッチングの指標は人間の判断とよく相関しないことがわかった。
  論文  参考訳（メタデータ） (2023-07-20T17:59:41Z)
• KoLA: Carefully Benchmarking World Knowledge of Large Language Models [87.96683299084788]
  我々は知識指向LLMアセスメントベンチマーク(KoLA)を構築した。 人間の認知を模倣して、知識関連能力の4段階の分類を形成し、19ドルのタスクをカバーします。 私たちは、LLMによって事前訓練されたコーパスであるウィキペディアと、継続的に収集された新興コーパスを使用して、目に見えないデータや進化する知識を扱う能力を評価します。
  論文  参考訳（メタデータ） (2023-06-15T17:20:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。