論文の概要: PowerBench: A Benchmark for Agentic Retrieval and Reasoning in Power Systems

• arxiv url: http://arxiv.org/abs/2609.34492v1
• Date: Mon, 28 Sep 2026 07:41:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 13:01:44.693605
• Title: PowerBench: A Benchmark for Agentic Retrieval and Reasoning in Power Systems
• Title（参考訳）: PowerBench: 電力システムのエージェント検索と推論のためのベンチマーク
• Abstract要約: 大規模言語モデル(LLM)エージェントは、業界における自動分析の新しい機会を提供する。 このギャップに対処するために,(1)共通依存チェーンを介して相互接続した異種運用データを導出する生成フレームワークと,(2)このフレームワークによって生成された合成データセットからなるPowerBenchを提案する。 このデータセットは100種類のデバイスにまたがる761のデバイスをカバーしており、2年間にわたる1335万時間のテレメトリ記録と24,939の運用文書がある。
• 参考スコア（独自算出の注目度）: 20.058971648669882
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language model (LLM) agents offer new opportunities for automated analysis in industry. However, rigorous evaluation of such agents-for example, within power system scenarios-remains hindered: real operational data are confidential, and existing public resources fail to fully capture the chained dependencies and heterogeneous evidence. To address this gap, we propose PowerBench, comprising (1) a generation framework that derives interconnected heterogeneous operational data through a common dependency chain, and (2) a synthetic dataset generated by this framework. The dataset covers 761 devices across 100 device types, with 13.35 million hourly telemetry records spanning two years and 24,939 operational documents. Building on this dataset, we construct 300 questions across three task families that evaluate frontier LLMs' ability to complete analysis tasks that require autonomous evidence retrieval and reasoning across interconnected and heterogeneous data under restricted tool calls and time budgets. Results demonstrate that the evaluated frontier LLMs remain challenged on these tasks: the best model reaches only 74.2% joint accuracy. Our trace analysis further reveals that model performance varies across evidence discovery, content retrieval, tool use, reasoning over evidence, and answer submission. These findings provide detailed insights for evaluating LLM agents and guiding their reliable deployment in industry. The framework, dataset, and benchmark tasks are available at https://github.com/open-compass/PowerBench.
• Abstract（参考訳）: 大規模言語モデル(LLM)エージェントは、業界における自動分析の新しい機会を提供する。 実際の運用データは機密であり、既存の公開リソースは、連鎖した依存関係や不均一な証拠を完全に把握することができない。 このギャップに対処するために,(1)共通依存チェーンを介して相互接続した異種運用データを導出する生成フレームワークと,(2)このフレームワークによって生成された合成データセットからなるPowerBenchを提案する。 このデータセットは100種類のデバイスにまたがる761のデバイスをカバーしており、2年間にわたる1335万時間のテレメトリ記録と24,939の運用文書がある。 このデータセットに基づいて、3つのタスクファミリーに300の質問を構築し、制限されたツールコールと時間予算の下で相互接続された異種データにわたる自律的証拠検索と推論を必要とする分析タスクを、フロンティアのLLMが完了する能力を評価する。 その結果、評価されたフロンティアLSMはこれらの課題に挑戦し続けており、最良のモデルは74.2%のジョイント精度にしか達していないことがわかった。 追跡分析により, 証拠発見, コンテンツ検索, ツール使用, 証拠の推論, 回答提出など, モデル性能が多岐にわたることが明らかとなった。 これらの知見は, LLM エージェントの評価と, 産業への信頼性の高い展開を導くための詳細な知見を提供する。 フレームワーク、データセット、ベンチマークタスクはhttps://github.com/open-compass/PowerBench.comで入手できる。

関連論文リスト

• QwenPaw-Data: Bridging Facts, Methodology, and Execution for Autonomous Enterprise Data Analytics [45.48758200829718]
  企業におけるインテリジェントなデータ分析のためのエージェントデータシステムであるQwenPaw-Dataを紹介する。 QwenPaw-Dataは異種資産を再利用可能な、管理可能な、進化可能な分析資産に集約し、自然言語要求をエンドツーエンドの分析的データ理解、検索、分析、レポート生成、意思決定支援に変換する。
  論文  参考訳（メタデータ） (2026-07-13T02:38:00Z)
• ComplexMCP: Evaluation of LLM Agents in Dynamic, Interdependent, and Large-Scale Tool Sandbox [61.862814740220806]
  $textbfComplexMCP$は厳格な条件下でエージェントを評価するために設計されたベンチマークである。 Model Context Protocol (MCP)上に構築された$textbfComplexMCP$は300以上の精巧にテストされたツールを提供する。
  論文  参考訳（メタデータ） (2026-05-11T16:20:51Z)
• AIDABench: AI Data Analytics Benchmark [62.45908988324612]
  AIDABenchは、複雑なデータ分析タスクのAIシステムをエンドツーエンドで評価するためのベンチマークである。 AIDABenchは、質問応答、データビジュアライゼーション、ファイル生成という3つのコア機能ディメンションにまたがる600以上の多様なドキュメント分析タスクを含んでいる。 AIDABenchの11の最先端モデルを評価し、プロプライエタリ(Claude Sonnet 4.5、Gemini 3 Pro Previewなど)とオープンソース(Qwen3-Max-2026-01-23-Thinkingなど)の両方を対象とする。
  論文  参考訳（メタデータ） (2026-02-27T08:58:05Z)
• Benchmarking Deep Search over Heterogeneous Enterprise Data [73.55304268238474]
  検索強化生成(RAG)の形式を評価するための新しいベンチマークを提案する。 RAGは、多種多様な、しかし関連するソースに対して、ソースを意識したマルチホップ推論を必要とする。 製品計画、開発、サポートステージをまたいだビジネスをシミュレートする合成データパイプラインを使用して構築します。
  論文  参考訳（メタデータ） (2025-06-29T08:34:59Z)
• InsightBench: Evaluating Business Analytics Agents Through Multi-Step Insight Generation [79.09622602860703]
  3つの重要な特徴を持つベンチマークデータセットであるInsightBenchを紹介します。 財務やインシデント管理といったさまざまなビジネスユースケースを表す100のデータセットで構成されている。 単一のクエリに回答することに焦点を当てた既存のベンチマークとは異なり、InsightBenchは、エンドツーエンドのデータ分析を実行する能力に基づいてエージェントを評価する。
  論文  参考訳（メタデータ） (2024-07-08T22:06:09Z)
• DiscoveryBench: Towards Data-Driven Discovery with Large Language Models [50.36636396660163]
  我々は、データ駆動探索の多段階プロセスを形式化する最初の包括的なベンチマークであるDiscoveryBenchを紹介する。 我々のベンチマークには、社会学や工学などの6つの分野にまたがる264のタスクが含まれている。 私たちのベンチマークでは、自律的なデータ駆動型発見の課題を説明し、コミュニティが前進するための貴重なリソースとして役立ちます。
  論文  参考訳（メタデータ） (2024-07-01T18:58:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。