論文の概要: Exploring the Semantic Gap in Agentic Data Systems: A Formative Study of Operationalization Failures in Analytical Workflows
- arxiv url: http://arxiv.org/abs/2607.00828v1
- Date: Wed, 01 Jul 2026 11:49:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-02 19:56:07.878779
- Title: Exploring the Semantic Gap in Agentic Data Systems: A Formative Study of Operationalization Failures in Analytical Workflows
- Title（参考訳）: エージェントデータシステムにおけるセマンティックギャップの探索:分析ワークフローにおける運用失敗の定式化
- Authors: Jalal Mahmud, Eser Kandogan,
- Abstract要約: 本稿では,エージェント生成分析概念における動作不良に関するクロスドメイン形式研究について述べる。
分析の結果, 比較基盤化, プロセス推論, 定量的推論, 役割混乱, 政策基盤化の5段階が得られた。
これらの結果は、ユーザレベルの分析概念とワークフロー生成システムで利用可能な情報とのセマンティックなギャップを示唆している。
- 参考スコア（独自算出の注目度）: 4.267594643533591
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) are increasingly used to generate queries, invoke tools, and construct analytical workflows. Although recent advances have substantially improved workflow generation and execution, the semantic information required to operationalize analytical concepts often lies beyond what is explicitly represented in database schemas and data values. We present a cross-domain formative study of operationalization failures in agent-generated analytical workflows. Across 236 analytical intents spanning finance, human resources, and public safety domains, we identify 153 recurring failures despite successful workflow generation and execution. Our analysis reveals five recurring classes of failures: comparative grounding, process reasoning, quantitative reasoning, role confusion, and policy grounding. These findings suggest a semantic gap between user-level analytical concepts and the information available to workflow-generation systems. More broadly, they raise questions about the admissibility of analytical operations and suggest that future agentic data systems may require richer semantic representations to bridge the gap between analytical intent and executable computation.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、クエリの生成、ツールの呼び出し、分析ワークフローの構築にますます利用されている。
最近の進歩はワークフローの生成と実行を大幅に改善しているが、分析的な概念を運用するために必要な意味情報は、データベーススキーマやデータ値で明示的に表現されているものを超えることが多い。
本稿では,エージェント生成分析ワークフローにおける動作不良に関するクロスドメイン形式研究について述べる。
ファイナンス、人的資源、公共安全ドメインにまたがる236件の分析目的において、ワークフローの生成と実行が成功したにもかかわらず153件の繰り返し失敗を特定した。
分析の結果, 比較基盤化, プロセス推論, 定量的推論, 役割混乱, 政策基盤化の5段階が得られた。
これらの結果は、ユーザレベルの分析概念とワークフロー生成システムで利用可能な情報とのセマンティックなギャップを示唆している。
より広くは、分析操作の許容性に関する疑問を提起し、分析意図と実行可能計算の間のギャップを埋めるために、将来のエージェントデータシステムはよりリッチな意味表現を必要とすることを示唆している。
関連論文リスト
- Pitfalls in Evaluating Interpretability Agents [91.49742416116635]
我々は,実験を反復的に設計し,仮説を洗練するエージェントシステムを構築した。
我々の研究は、複雑な自動解釈可能性システムを評価する上での根本的な課題を実証している。
論文 参考訳（メタデータ） (2026-03-20T16:27:17Z) - I2I-STRADA -- Information to Insights via Structured Reasoning Agent for Data Analysis [0.0]
現実世界のデータ分析には一貫した認知ワークフローが必要です。
この推論プロセスの形式化を目的としたエージェントアーキテクチャであるI2I-STRADAを紹介する。
論文 参考訳（メタデータ） (2025-07-23T18:58:42Z) - Leveraging Knowledge Graphs and LLM Reasoning to Identify Operational Bottlenecks for Warehouse Planning Assistance [1.2749527861829046]
我々のフレームワークは知識グラフ(KG)とLarge Language Model(LLM)ベースのエージェントを統合している。
生のDESデータを意味的にリッチなKGに変換し、シミュレーションイベントとエンティティの関係をキャプチャする。
LLMベースのエージェントは反復推論を使用し、相互依存的なサブクエストを生成する。各サブクエストに対して、KGインタラクションのためのCypherクエリを生成し、情報を抽出し、エラーを修正する。
論文 参考訳（メタデータ） (2025-07-23T07:18:55Z) - Agentic Predictor: Performance Prediction for Agentic Workflows via Multi-View Encoding [56.565200973244146]
Agentic Predictorは、効率的なエージェントワークフロー評価のための軽量な予測器である。
Agentic Predictorはタスク成功率の近似を学ぶことで、最適なエージェントワークフロー構成の迅速かつ正確な選択を可能にする。
論文 参考訳（メタデータ） (2025-05-26T09:46:50Z) - Illusion or Algorithm? Investigating Memorization, Emergence, and Symbolic Processing in In-Context Learning [50.53703102032562]
大規模トランスフォーマー言語モデル(LM)は、Webスケールデータによる次世代の予測のみを訓練することで、幅広いタスクを解決できる。
この能力の背後にあるメカニズムは、ICL(In-context Learning)と呼ばれ、議論の余地があり、理解が不十分なままである。
論文 参考訳（メタデータ） (2025-05-16T08:50:42Z) - TRAIL: Trace Reasoning and Agentic Issue Localization [5.025960714013197]
この研究は、エージェントワークフロートレースに対する堅牢でダイナミックな評価方法の必要性を明確に示している。
我々は,この分類法を用いて構築され,確立されたエージェント・ベンチマークに基づいて構築された148個の大型人名跡(TRAIL)について述べる。
生態学的妥当性を確保するため,単一エージェントシステムとマルチエージェントシステムの両方のトレースをキュレートする。
論文 参考訳（メタデータ） (2025-05-13T14:55:31Z) - Benchmarking Agentic Workflow Generation [80.74757493266057]
複数面シナリオと複雑なグラフワークフロー構造を備えた統合ワークフロー生成ベンチマークであるWorfBenchを紹介する。
また,サブシーケンスとサブグラフマッチングアルゴリズムを利用したシステム評価プロトコルWorfEvalを提案する。
我々は、生成されたタスクが下流のタスクを強化し、推論中により少ない時間で優れたパフォーマンスを達成することを観察する。
論文 参考訳（メタデータ） (2024-10-10T12:41:19Z) - Data Analysis in the Era of Generative AI [56.44807642944589]
本稿では,AIを活用したデータ分析ツールの可能性について考察する。
我々は、大規模言語とマルチモーダルモデルの出現が、データ分析ワークフローの様々な段階を強化する新しい機会を提供する方法について検討する。
次に、直感的なインタラクションを促進し、ユーザ信頼を構築し、AI支援分析ワークフローを複数のアプリにわたって合理化するための、人間中心の設計原則を調べます。
論文 参考訳（メタデータ） (2024-09-27T06:31:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。