論文の概要: Business Utility of Large Language Models as Exploratory Data Analysis Agents

• arxiv url: http://arxiv.org/abs/2606.00051v1
• Date: Fri, 08 May 2026 08:23:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-07 20:42:22.520349
• Title: Business Utility of Large Language Models as Exploratory Data Analysis Agents
• Title（参考訳）: 探索的データ分析エージェントとしての大規模言語モデルのビジネス利用
• Authors: Rafał Łabędzki, Patryk Miziuła, Hubert Rutkowski, Szymon Betlewski, Cezary Depta, Szymon Janowski, Jarosław Kochanowicz, Jan Kanty Milczek,
• Abstract要約: 大規模言語モデル (LLM) は分析にますます使われているが、ビジネス環境での探索的データ分析 (EDA) エージェントとしての利用性は依然として不確実である。 実際には、デプロイ可能なEDAエージェントは、有用な平均的なパフォーマンスだけでなく、その出力に対する信頼をサポートするのに十分な反復性も提供しなければなりません。 我々はエージェントベースのサプライチェーンシミュレーションに基づいて,この要件を制御されたビジネス関連ベンチマークで評価する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) are increasingly used in analytical workflows, but their suitability as exploratory data analysis (EDA) agents in business settings remains uncertain. In practice, a deployable EDA agent must provide not only useful average performance but also sufficient repeatability to support trust in its outputs. We evaluate this requirement in a controlled, business-relevant benchmark built on an agent-based supply chain simulation. The task is to identify supplier-product combinations responsible for low quality and downstream sales loss by reasoning from indirect operational traces rather than from explicit labels. Fifteen model-variant configurations from eight model families were evaluated under four experimental conditions that varied data representation, prompt clarity, and signal strength, with five trajectories per condition. Outputs were scored against deterministic ground truth using the Jaccard index and assessed through a framework that combines mean score (ms), coefficient of variation (CV), exploratory cross-condition significance tests, and Business utility, a risk-adjusted metric that we propose to summarise quality and repeatability in a single operational measure. The results show that most configurations are not reliable enough for autonomous EDA use, even when their average scores appear acceptable. GPT-5.4 with extra-high reasoning effort achieved the strongest overall profile, with an experiment-averaged ms of 0.8748 and an experiment-averaged Business utility of 0.6952, while the next-best configurations lost substantially more utility after variability discounting. Our findings suggest that evaluation of EDA agents should treat average quality, repeatability, and condition sensitivity as complementary dimensions of operational trustworthiness.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、分析ワークフローでますます使われているが、ビジネス環境での探索的データ分析(EDA)エージェントとしての利用性は、いまだに不確実である。 実際には、デプロイ可能なEDAエージェントは、有用な平均的なパフォーマンスだけでなく、その出力に対する信頼をサポートするのに十分な反復性も提供しなければなりません。 我々はエージェントベースのサプライチェーンシミュレーションに基づいて,この要件を制御されたビジネス関連ベンチマークで評価する。 その課題は、明示的なラベルからではなく間接的な運用トレースから推論することで、品質の低下とダウンストリーム販売損失の原因となるサプライヤーと製品の組み合わせを特定することである。 8種類のモデル群から得られた15種類のモデル変種構成を,データ表現,即発的明瞭度,信号強度の4つの実験条件下で評価した。 また,Jaccardインデックスを用いて,平均スコア(ms),変動係数(CV),探索的クロスコンディショナリティテスト,ビジネスユーティリティを組み合わせて評価した。 その結果、ほとんどの構成は、平均スコアが許容できるとしても、自律的なEDA使用に十分な信頼性を持っていないことがわかった。 GPT-5.4は、実験平均msが0.8748、実験平均ビジネスユーティリティが0.6952であり、最も高い推理能力を持つGPT-5.4は、変動割引により実用性が著しく低下した。 以上の結果から,EDAエージェントの評価は,操作信頼性の相補的次元として,平均品質,再現性,条件感度を治療すべきであることが示唆された。

関連論文リスト

• Unsupervised Skill Discovery for Agentic Data Analysis [55.42853694128929]
  DataCOPEは、データ分析エージェントのための教師なし検証対象のスキル発見フレームワークである。 トラジェクトリ生成のためのデータ分析エージェント、信号抽出のための教師なし検証器、および対照的なスキル蒸留のためのスキルマネージャを反復的にコーディネートする。 我々は,Deep Data Researchのレポートスタイル分析とDABStepの推論スタイル解析についてDataCOPEを評価した。
  論文  参考訳（メタデータ） (2026-06-04T17:20:47Z)
• Rethinking XAI Evaluation: A Human-Centered Audit of Shapley Benchmarks in High-Stakes Settings [8.934085986179019]
  共有価値は、説明可能なAIの基盤だが、競合する定式化への拡散は、断片化された風景を生み出している。 8つのShapley変種間のセマンティックな差異を分離するために、統一アモータイズされたフレームワークを使用します。 空間性や忠実性などの標準的な定量的指標は、人間の知覚的明確性や決定性から切り離されている。
  論文  参考訳（メタデータ） (2026-04-24T15:38:44Z)
• OccuBench: Evaluating AI Agents on Real-World Professional Tasks via Language Environment Simulation [57.505743202759646]
  OccuBenchは10の業界カテゴリと65の専門ドメインにわたる100の現実のプロフェッショナルタスクシナリオをカバーするベンチマークである。 我々のマルチエージェント合成パイプラインは, 可溶性, 校正困難, 文書基底の多様性を保証した評価インスタンスを自動生成する。
  論文  参考訳（メタデータ） (2026-04-13T00:27:32Z)
• Fault-Tolerant Evaluation for Sample-Efficient Model Performance Estimators [13.227055178509524]
  本稿では, バイアスと分散を考慮した耐障害性評価フレームワークを提案する。 我々は、$varepsilon$の適切なキャリブレーションにより、異なる分散状態の信頼性が保証されることを示す。 実世界のデータセットの実験は、我々のフレームワークが推定器の振る舞いに関する包括的で実行可能な洞察を提供することを示した。
  論文  参考訳（メタデータ） (2026-02-06T22:14:46Z)
• Label Curation Using Agentic AI [3.500372926575144]
  本稿では,大規模マルチモーダルデータアノテーションのためのエージェントAIフレームワークであるAURAを紹介する。 AURAは、複数のAIエージェントをコーディネートして、基礎的な真実を必要とせずにラベルを生成し、検証する。 AURAは最大5.8%の精度向上を実現している。 品質アノテータの貧弱さによるより困難な設定では、改善はベースラインよりも最大50%向上する。
  論文  参考訳（メタデータ） (2026-01-30T18:58:52Z)
• Replayable Financial Agents: A Determinism-Faithfulness Assurance Harness for Tool-Using LLM Agents [0.7699235580548228]
  LLMエージェントは、規制監査のリプレイに苦労する: トランザクションフラグ付き決定を同じ入力で再現するように要求された場合、ほとんどのデプロイメントは一貫性のある結果を返すことができません。 本稿では,金融サービスに展開するツール利用エージェントにおけるトラジェクティブ決定性およびエビデンス条件の忠実度を測定するためのフレームワークであるDFAHを紹介する。
  論文  参考訳（メタデータ） (2026-01-17T19:47:55Z)
• Hierarchical Evaluation Function: A Multi-Metric Approach for Optimizing Demand Forecasting Models [0.479839492673697]
  ハイパーパラメータ最適化のためのマルチメトリックフレームワークとして階層評価関数(HEF)を提案する。 HEFは説明力(R2)、過度エラーに対する感度(RMSE)、平均精度(MAE)を統合している。 HEFの性能は予測領域で広く認識されている4つのベンチマークデータセットを用いて評価した。
  論文  参考訳（メタデータ） (2025-08-18T16:25:49Z)
• OmniEAR: Benchmarking Agent Reasoning in Embodied Tasks [52.87238755666243]
  OmniEARは,言語モデルが身体的相互作用やツールの使用,マルチエージェントの協調にどう影響するかを評価するためのフレームワークである。 我々は、家庭と工業領域にまたがる1500のシナリオにおける連続的な物理的特性と複雑な空間的関係をモデル化する。 我々の体系的な評価は、モデルが制約から推論しなければならない場合、厳しい性能劣化を示す。
  論文  参考訳（メタデータ） (2025-08-07T17:54:15Z)
• Conservative Prediction via Data-Driven Confidence Minimization [70.93946578046003]
  機械学習の安全性クリティカルな応用においては、モデルが保守的であることが望ましいことが多い。 本研究では,不確実性データセットに対する信頼性を最小化するデータ駆動信頼性最小化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-08T07:05:36Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。