論文の概要: AutoDCWorkflow: LLM-based Data Cleaning Workflow Auto-Generation and Benchmark
- arxiv url: http://arxiv.org/abs/2412.06724v3
- Date: Sat, 23 Aug 2025 21:01:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-26 16:37:41.150518
- Title: AutoDCWorkflow: LLM-based Data Cleaning Workflow Auto-Generation and Benchmark
- Title（参考訳）: AutoDCWorkflow: LLMベースのデータクリーニングワークフローの自動生成とベンチマーク
- Authors: Lan Li, Liri Fang, Bertram Ludäscher, Vetle I. Torvik,
- Abstract要約: データクリーニングを自動的に生成するLLMベースのパイプラインであるAutoDCWorkflowを提案する。
パイプラインは生のテーブルとデータ分析の目的を持ち、OpenRefine操作のシーケンスを生成して、最小限のクリーンなテーブルを生成する。
6つの操作は、フォーマットの不整合、型エラー、重複など、一般的なデータ品質の問題に対応する。
- 参考スコア（独自算出の注目度）: 2.742398444005189
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Data cleaning is a time-consuming and error-prone manual process, even with modern workflow tools such as OpenRefine. We present AutoDCWorkflow, an LLM-based pipeline for automatically generating data-cleaning workflows. The pipeline takes a raw table and a data analysis purpose, and generates a sequence of OpenRefine operations designed to produce a minimal, clean table sufficient to address the purpose. Six operations correspond to common data quality issues, including format inconsistencies, type errors, and duplicates. To evaluate AutoDCWorkflow, we create a benchmark with metrics assessing answers, data, and workflow quality for 142 purposes using 96 tables across six topics. The evaluation covers three key dimensions: (1) Purpose Answer: can the cleaned table produce a correct answer? (2) Column (Value): how closely does it match the ground truth table? (3) Workflow (Operations): to what extent does the generated workflow resemble the human-curated ground truth? Experiments show that Llama 3.1, Mistral, and Gemma 2 significantly enhance data quality, outperforming the baseline across all metrics. Gemma 2-27B consistently generates high-quality tables and answers, while Gemma 2-9B excels in producing workflows that closely resemble human-annotated versions.
- Abstract（参考訳）: データクリーニングは、OpenRefineのような現代的なワークフローツールでさえ、時間を要する、エラーを起こしやすい手作業のプロセスである。
データクリーニングワークフローを自動生成するLLMベースのパイプラインであるAutoDCWorkflowを提案する。
パイプラインは生のテーブルとデータ分析の目的を持ち、目的に対応するのに十分な最小限のクリーンなテーブルを生成するように設計されたOpenRefine操作のシーケンスを生成する。
6つの操作は、フォーマットの不整合、型エラー、重複など、一般的なデータ品質の問題に対応する。
AutoDCWorkflowを評価するために、6つのトピックにわたる96のテーブルを使用して、142の目的で回答、データ、ワークフロー品質を評価するメトリクスを備えたベンチマークを作成しました。
1) 目的回答: クリーニングされたテーブルは正しい回答を得られるか?
2)カラム(バリュー): 真実の表にどの程度近いか?
(3) ワークフロー(オペレーション): 生成されたワークフローは、どの程度まで、人間の計算した地上の真実に似ていますか?
実験によると、Llama 3.1、Mistral、Gemma 2はデータ品質を大幅に向上し、すべてのメトリクスでベースラインを上回っている。
Gemma 2-27Bは、高品質なテーブルと回答を一貫して生成し、Gemma 2-9Bは、人間が注釈付けしたバージョンによく似たワークフローを生成するのに優れている。
関連論文リスト
- A Survey of LLM $\ imes$ DATA [71.96808497574658]
大規模言語モデル(LLM)とデータ管理(Data4LLM)の統合は、両方のドメインを急速に再定義しています。
一方、Data data4LLMは、事前トレーニング、後トレーニング、検索強化生成、エージェント生成などの段階に必要なデータの高品質、多様性、タイムラインをLLMに提供する。
一方、LLMはデータ管理のための汎用エンジンとして登場しつつある。
論文 参考訳（メタデータ） (2025-05-24T01:57:12Z) - Are Large Language Models Good Data Preprocessors? [5.954202581988127]
高品質なテキストトレーニングデータは、マルチモーダルデータ処理タスクの成功に不可欠である。
BLIPやGITのような画像キャプションモデルからの出力は、しばしばルールベースの手法で修正が難しいエラーや異常を含む。
論文 参考訳（メタデータ） (2025-02-24T02:57:21Z) - WorkflowLLM: Enhancing Workflow Orchestration Capability of Large Language Models [105.46456444315693]
ワークフローオーケストレーションにおける大規模言語モデルの能力を高めるための,データ中心のフレームワークであるLLMを提案する。
最初は106,763のサンプルで大規模な微調整Benchを構築し、28のカテゴリにわたる83のアプリケーションから1,503のAPIをカバーしている。
LlamaLlamaは複雑なAPIをオーケストレーションする能力を示しながら、優れた一般化性能を実現している。
論文 参考訳（メタデータ） (2024-11-08T09:58:02Z) - Benchmarking Agentic Workflow Generation [80.74757493266057]
複数面シナリオと複雑なグラフワークフロー構造を備えた統合ワークフロー生成ベンチマークであるWorfBenchを紹介する。
また,サブシーケンスとサブグラフマッチングアルゴリズムを利用したシステム評価プロトコルWorfEvalを提案する。
我々は、生成されたタスクが下流のタスクを強化し、推論中により少ない時間で優れたパフォーマンスを達成することを観察する。
論文 参考訳（メタデータ） (2024-10-10T12:41:19Z) - SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。
学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。
ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
論文 参考訳（メタデータ） (2024-07-16T04:41:58Z) - Get my drift? Catching LLM Task Drift with Activation Deltas [55.75645403965326]
タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。
そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。
このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
論文 参考訳（メタデータ） (2024-06-02T16:53:21Z) - TableLLM: Enabling Tabular Data Manipulation by LLMs in Real Office Usage Scenarios [52.73289223176475]
TableLLMは、13億のパラメータを持つ堅牢な大規模言語モデル(LLM)である。
TableLLMはデータ操作タスクを巧みに扱うために構築されている。
我々は、ユーザインタラクションのためのモデルチェックポイント、ソースコード、ベンチマーク、Webアプリケーションをリリースした。
論文 参考訳（メタデータ） (2024-03-28T11:21:12Z) - Task Contamination: Language Models May Not Be Few-Shot Anymore [9.696290050028237]
大きな言語モデル(LLM)は、様々なゼロショットおよび少数ショットタスクで素晴らしいパフォーマンスを提供する。
しかし、ゼロショットや少数ショットの設定での成功はタスクの汚染に影響される可能性がある。
本稿では,LLMのゼロショット性能と少数ショット性能が,時間とともに時間とともにどのように変化したかを検討する。
論文 参考訳（メタデータ） (2023-12-26T21:17:46Z) - TaskBench: Benchmarking Large Language Models for Task Automation [82.2932794189585]
タスク自動化における大規模言語モデル(LLM)の機能を評価するためのフレームワークであるTaskBenchを紹介する。
具体的には、タスクの分解、ツールの選択、パラメータ予測を評価する。
提案手法は, 自動構築と厳密な人的検証を組み合わせることで, 人的評価との整合性を確保する。
論文 参考訳（メタデータ） (2023-11-30T18:02:44Z) - SEED: Domain-Specific Data Curation With Large Language Models [22.54280367957015]
LLM-as-compilerアプローチであるSEEDは,Large Language Models(LLM)を介して,ドメイン固有のデータキュレーションソリューションを自動的に生成する。
SEEDは、4つのLCMアシストモジュールから自動的に選択し、そのタスクに最も適したハイブリッド実行パイプラインを形成する。
論文 参考訳（メタデータ） (2023-10-01T17:59:20Z) - MLLM-DataEngine: An Iterative Refinement Approach for MLLM [62.30753425449056]
本稿では,データ生成,モデルトレーニング,評価を橋渡しする新しいクローズドループシステムを提案する。
各ループ内で、MLLM-DataEngineはまず評価結果に基づいてモデルの弱点を分析する。
ターゲットとして,異なる種類のデータの比率を調整する適応型バッドケースサンプリングモジュールを提案する。
品質については、GPT-4を用いて、各データタイプで高品質なデータを生成する。
論文 参考訳（メタデータ） (2023-08-25T01:41:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。