論文の概要: DataWeave: Deploying Human-LLM Analytics for Exploratory Structured Data Analysis
- arxiv url: http://arxiv.org/abs/2610.02679v1
- Date: Fri, 02 Oct 2026 02:00:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 00:14:30.161643
- Title: DataWeave: Deploying Human-LLM Analytics for Exploratory Structured Data Analysis
- Title(参考訳): DataWeave: 探索的構造化データ分析のためのヒューマンLLM分析のデプロイ
- Abstract要約: データWeaveは,対話インタラクション,スキーマ基盤,分析計画,実行時クエリ生成を組み合わせたシステムで,構造化データの探索解析を支援する。
我々は,米国教育省統合後教育データシステム(IPEDS)の分析に,我々のシステムを用いた専門家ジャーナリストのケーススタディを提案する。
本研究は,構造化データ解析における信頼性の高い人間-LLM協調のための設計原則と展開指導を抽出するものである。
- 参考スコア(独自算出の注目度): 6.636723911568773
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Data journalism, the practice of using data analysis to surface newsworthy stories, depends increasingly on the ability of reporters and investigative journalists to uncover trends, disparities, and accountability narratives. In practice, exploring large structured datasets remains slow and brittle: journalists must navigate hundreds of variables across many datasets over years, understand data coding conventions, and write non-trivial analysis code while hypotheses evolve. Although LLMs are often touted as "ask in English, get SQL/answers," real newsroom workflows expose recurring failures, e.g., schema mismatches and drift, misread domain semantics and units, and silent assumptions. We present DataWeave, a system that addresses these needs by combining conversational interaction, schema grounding, analytical planning, and executable query generation to support exploratory analysis over structured data. Rather than treating LLMs as autonomous answer engines, DataWeave frames them as interactive partners whose outputs can be inspected, corrected, and steered as hypotheses shift. We present a case study with professional journalists using our system to analyze the U.S. Department of Education's Integrated Postsecondary Education Data System (IPEDS), a high-stakes public dataset with substantial domain semantics and frequent schema updates. We also report how deployment experience and iterative refinement shaped the current DataWeave architecture and its analytical workflow. Our findings distill design principles and deployment lessons for trustworthy human-LLM collaboration in structured data analysis.
- Abstract(参考訳): データジャーナリズム(Data Journalism)は、データ分析を用いてニュースに値する物語を表面化するプラクティスであり、記者や調査ジャーナリストがトレンド、格差、説明責任の物語を明らかにする能力にますます依存している。
ジャーナリストは、長年にわたって何百もの変数を多くのデータセットでナビゲートし、データのコーディング規約を理解し、仮説が進化している間に非自明な分析コードを記述する必要がある。
LLMは"英語でask, get SQL/answers"と称されることが多いが、実際のニュースルームワークフローでは、繰り返し発生する障害、例えばスキーマミスマッチとドリフト、ミスリードドメインセマンティクスとユニット、サイレント仮定が露呈している。
我々は、これらのニーズに対処するシステムであるDataWeaveについて、対話インタラクション、スキーマ基盤、分析計画、および実行可能なクエリ生成を組み合わせることで、構造化データに対する探索分析をサポートする。
LLMを自律的な応答エンジンとして扱うのではなく、DataWeaveでは、アウトプットを検査、修正、そして仮説シフトとして管理できる対話的なパートナとして捉えている。
本稿では,本システムを用いて,米国教育省統合後教育データシステム(IPEDS,Integrated Postsecondary Education Data System)を解析するための専門家ジャーナリストの事例研究を行う。
また、デプロイメントエクスペリエンスと反復的な改善が、現在のDataWeaveアーキテクチャとその分析ワークフローをどのように形成したかを報告します。
本研究は,構造化データ解析における信頼性の高い人間-LLM協調のための設計原則と展開指導を抽出するものである。
関連論文リスト
- Tracing the Roots: A Multi-Agent Framework for Uncovering Data Lineage in Post-Training LLMs [81.43302841109349]
学習後のデータは、大規模言語モデル(LLM)の機能を形成する上で重要な役割を果たす
本稿では,データセット開発における進化グラフを再構築する自動マルチエージェントフレームワークを提案する。
論文 参考訳(メタデータ) (2026-04-12T06:24:07Z) - DataCross: A Unified Benchmark and Agent Framework for Cross-Modal Heterogeneous Data Analysis [8.171937411588015]
我々は、統合された洞察駆動分析のための新しいベンチマークと協調エージェントフレームワークであるDataCrossを紹介する。
DataCrossBenchには、ファイナンス、ヘルスケア、その他のドメインにわたる200のエンドツーエンド分析タスクが含まれている。
また、人間アナリストの「分割合成」ワークフローにインスパイアされたDataCrossAgentフレームワークを提案する。
論文 参考訳(メタデータ) (2026-01-29T08:40:45Z) - LongDA: Benchmarking LLM Agents for Long-Document Data Analysis [55.32211515932351]
LongDAは、長いドキュメントと複雑なデータをナビゲートする実際の設定をターゲットとしています。
LongTAは、ドキュメントアクセス、検索、コード実行を可能にするツール拡張されたエージェントフレームワークである。
実験の結果, 最先端モデルにおいても, かなりの性能差が認められた。
論文 参考訳(メタデータ) (2026-01-05T23:23:16Z) - Scaling Generalist Data-Analytic Agents [95.05161133349242]
DataMindは、汎用データ分析エージェントを構築するために設計されたスケーラブルなデータ合成およびエージェントトレーニングレシピである。
DataMindは、オープンソースのデータ分析エージェントを構築する上で重要な3つの課題に取り組む。
論文 参考訳(メタデータ) (2025-09-29T17:23:08Z) - LLM/Agent-as-Data-Analyst: A Survey [54.08761322298559]
大規模言語モデル(LLM)とエージェント技術は、データ分析タスクの機能と開発パラダイムに根本的な変化をもたらした。
LLMは複雑なデータ理解、自然言語、意味分析機能、自律パイプラインオーケストレーションを可能にする。
論文 参考訳(メタデータ) (2025-09-28T17:31:38Z) - TAIJI: MCP-based Multi-Modal Data Analytics on Data Lakes [25.05627023905607]
モデルコンテキストプロトコル(MCP)に基づく新しいマルチモーダルデータ分析システムを提案する。
まず,データレイクにおけるマルチモーダルデータのクエリに適したセマンティック演算子階層を定義する。
次に、MPPベースの実行フレームワークを紹介し、各MPPサーバは、特定のデータモダリティに最適化された特別な基礎モデルをホストする。
論文 参考訳(メタデータ) (2025-05-16T14:03:30Z) - ReSpark: Leveraging Previous Data Reports as References to Generate New Reports with LLMs [34.54994059045639]
ReSparkは、既存のレポートから分析ロジックをリバースエンジニアリングし、新しいデータセットに適応するシステムである。
比較およびユーザスタディを通じてReSparkを評価し,既存の解析コードに頼ることなく,データレポート生成の障壁を低くする効果を実証した。
論文 参考訳(メタデータ) (2025-02-04T14:00:32Z) - Graph integration of structured, semistructured and unstructured data
for data journalism [4.508924138721326]
ヘテロジニアスデータセットの動的集合を統合するための完全なアプローチについて述べる。
提案手法はConnectionLensシステム内に実装されており,一連の実験を通じて検証する。
論文 参考訳(メタデータ) (2020-12-16T09:59:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。