論文の概要: BI-Agent and BI-Bench: Towards Automating End-to-End Business Intelligence

• arxiv url: http://arxiv.org/abs/2609.20886v1
• Date: Wed, 16 Sep 2026 22:36:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:16.733953
• Title: BI-Agent and BI-Bench: Towards Automating End-to-End Business Intelligence
• Title（参考訳）: BI-AgentとBI-Bench:エンドツーエンドビジネスインテリジェンスの自動化を目指して
• Abstract要約: ビジネスインテリジェンス(Business Intelligence, BI)は、企業の意思決定の基礎であり、Power BIやTableauといったソフトウェアで広く使われている。 従来のBIでは,(1)関連するテーブルを識別し,(2)データ変換を行い,(3)結合関係を構築することでデータを作成する必要がある。 ユーザが手作業で面倒な準備作業を行うことなく,BI質問にエンドツーエンドで回答する能力について検討する。
• 参考スコア（独自算出の注目度）: 17.12541456254804
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Business intelligence (BI) is a cornerstone of enterprise decision-making and is widely used by enterprise users in software such as Power BI and Tableau. In traditional BI workflows, users need to prepare data by (1) identifying relevant tables, (2) performing data transformations, and (3) building join relationships, before they can (4) answer their business questions. These steps can be complex and time-consuming, making BI challenging. Given the strong capabilities of large language models (LLMs) in working with data, we study their ability to answer BI questions end-to-end, without requiring users to manually perform the tedious preparation steps. To do this, we harvest a large collection of real-world BI projects from public sources, and manually extract pairs of (questions, ground-truth answers) from real user dashboards. The resulting benchmark, BI-Bench, is the first benchmark to systematically study LLMs' ability on end-to-end BI. We find that even frontier LLMs perform poorly on BI-Bench, with less than 50% accuracy. To address their limitations, we design a tool-augmented BI-Agent that decomposes BI workflows into subtasks on structured data, such as search, join, and transform, and orchestrates specialized data management methods across BI stages. Furthermore, we develop a post-training framework that synthesizes training trajectories from real BI projects, enabling BI-Agent to be further post-trained using both supervised fine-tuning (SFT) and reinforcement learning (RL). BI-Agent achieves substantial accuracy gains of up to 40 percentage points with vanilla LLMs, and post-trained BI-Agent yields gains of up to 30 points. Our results highlight the importance of combining tool-augmented reasoning with domain-specific post-training in complex BI workflows, and point to promising directions for future research.
• Abstract（参考訳）: ビジネスインテリジェンス(Business Intelligence, BI)は、企業の意思決定の基礎であり、Power BIやTableauといったソフトウェアで広く使われている。 従来のBIワークフローでは、(1)関連するテーブルを識別し、(2)データ変換を行い、(3)ビジネス上の質問に答える前に結合関係を構築することでデータを作成する必要がある。 これらのステップは複雑で時間がかかり、BIを困難にします。 データを扱う上で,大規模言語モデル(LLM)の強い能力を考えると,ユーザが手作業で面倒な準備手順を実行することなく,BI質問にエンドツーエンドで回答する能力について検討する。 これを実現するために、私たちは、パブリックソースから現実世界のBIプロジェクトの大規模なコレクションを取得し、実際のユーザダッシュボードから、手動で一対の(クエスト、地味な回答)を抽出します。 その結果得られたベンチマークであるBI-Benchは、エンド・ツー・エンドのBI上でLLMの能力を体系的に研究した最初のベンチマークである。 BI-Benchでは,フロンティアLLMでさえ50%未満の精度で性能が良くないことがわかった。 これらの制約に対処するため、BIワークフローを検索、結合、変換などの構造化データ上のサブタスクに分解するツール拡張BI-Agentを設計し、BIステージにまたがる特殊なデータ管理手法を編成する。 さらに、実際のBIプロジェクトからトレーニング軌跡を合成し、教師付き微調整(SFT)と強化学習(RL)の両方を用いてBI-Agentをさらにポストトレーニングすることができるポストトレーニングフレームワークを開発した。 BI-Agentは、バニラLSMで最大40パーセントの精度向上を達成し、訓練後のBI-Agentは最大30ポイントの精度向上を達成する。 本結果は,複雑なBIワークフローにおいて,ツール強化推論とドメイン固有のポストトレーニングを組み合わせることの重要性を強調し,今後の研究に向けて有望な方向性を示すものである。

関連論文リスト

• LLM-based Multi-Agent Blackboard System for Information Discovery in Data Science [69.1690891731311]
  従来のAIモデルのためのブラックボードアーキテクチャに着想を得た,新しいマルチエージェント通信パラダイムを提案する。 このフレームワークでは、中央エージェントが共有ブラックボードにリクエストをポストし、自律的な従属エージェントがその能力に基づいて応答する。 明示的なデータ発見を必要とする3つのベンチマークに対して,本手法の評価を行った。
  論文  参考訳（メタデータ） (2025-09-30T22:34:23Z)
• DataLab: A Unified Platform for LLM-Powered Business Intelligence [41.21303493090702]
  我々は,ワンストップLLMベースのエージェントフレームワークと拡張計算ノートブックインターフェースを統合した統合BIプラットフォームであるDataLabを紹介する。 DataLabは、データ準備、分析、可視化において、さまざまなデータロールのためのさまざまなBIタスクをサポートする。 最大58.58%の精度向上と61.65%のトークンコスト削減を実現している。
  論文  参考訳（メタデータ） (2024-12-03T06:47:15Z)
• DS-Agent: Automated Data Science by Empowering Large Language Models with Case-Based Reasoning [56.887047551101574]
  大規模言語モデル(LLM)エージェントとケースベース推論(CBR)を利用した新しいフレームワークであるDS-Agentを提案する。 開発段階では、DS-AgentはCBRフレームワークに従い、自動イテレーションパイプラインを構築する。 デプロイメントの段階では、DS-Agentは、シンプルなCBRパラダイムで低リソースのデプロイメントステージを実装し、LCMの基本能力に対する需要を大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-27T12:26:07Z)
• FinDABench: Benchmarking Financial Data Analysis Ability of Large Language Models [26.99936434072108]
  textttFinDABenchは、大規模言語モデルの財務データ分析能力を評価するために設計されたベンチマークである。 textttFinDABenchは、LLM能力の詳細な分析のための指標を提供することを目的としている。
  論文  参考訳（メタデータ） (2024-01-01T15:26:23Z)
• BI-REC: Guided Data Analysis for Conversational Business Intelligence [11.501574075824132]
  BI-RECは、ユーザーがデータ分析タスクを遂行するのに役立つBIアプリケーションのための対話型レコメンデーションシステムです。 我々は、OLAP立方体定義から抽出したリッチな意味情報を付加したBIパターンを用いて、データ解析の空間を定義する。 BI-RECはBIパターン推奨で83%の精度を達成し、予測の遅延で最大2倍のスピードアップを実現します。
  論文  参考訳（メタデータ） (2021-05-02T13:19:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。