論文の概要: Prompt2DAG: A Modular Methodology for LLM-Based Data Enrichment Pipeline Generation

• arxiv url: http://arxiv.org/abs/2509.13487v1
• Date: Tue, 16 Sep 2025 19:40:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-18 18:41:50.629599
• Title: Prompt2DAG: A Modular Methodology for LLM-Based Data Enrichment Pipeline Generation
• Title（参考訳）: Prompt2DAG: LLMに基づくデータエンリッチメントパイプライン生成のためのモジュール手法
• Authors: Abubakari Alidu, Michele Ciavotta, Flavio DePaoli,
• Abstract要約: 本稿では,自然言語記述を実行可能なApache Airflow DAGに変換する手法であるPrompt2DAGを紹介する。 260の実験で、ダイレクト、LLMオンリー、ハイブリッド、テンプレートベースの4つの世代アプローチを評価した。
• 参考スコア（独自算出の注目度）: 1.8696215611965206
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Developing reliable data enrichment pipelines demands significant engineering expertise. We present Prompt2DAG, a methodology that transforms natural language descriptions into executable Apache Airflow DAGs. We evaluate four generation approaches -- Direct, LLM-only, Hybrid, and Template-based -- across 260 experiments using thirteen LLMs and five case studies to identify optimal strategies for production-grade automation. Performance is measured using a penalized scoring framework that combines reliability with code quality (SAT), structural integrity (DST), and executability (PCT). The Hybrid approach emerges as the optimal generative method, achieving a 78.5% success rate with robust quality scores (SAT: 6.79, DST: 7.67, PCT: 7.76). This significantly outperforms the LLM-only (66.2% success) and Direct (29.2% success) methods. Our findings show that reliability, not intrinsic code quality, is the primary differentiator. Cost-effectiveness analysis reveals the Hybrid method is over twice as efficient as Direct prompting per successful DAG. We conclude that a structured, hybrid approach is essential for balancing flexibility and reliability in automated workflow generation, offering a viable path to democratize data pipeline development.
• Abstract（参考訳）: 信頼性の高いデータ強化パイプラインを構築するには、重要なエンジニアリングの専門知識が必要です。 本稿では,自然言語記述を実行可能なApache Airflow DAGに変換する手法であるPrompt2DAGを紹介する。 13個のLCMと5つのケーススタディを用いて、260の実験から、ダイレクト、LLMオンリー、ハイブリッド、テンプレートベースの4つの世代アプローチを評価し、プロダクショングレード自動化のための最適な戦略を特定します。 信頼性をコード品質(SAT)、構造整合性(DST)、実行可能性(PCT)と組み合わせて評価する。 ハイブリッドアプローチは最適な生成法として登場し、78.5%の成功率と堅牢な品質スコア(SAT: 6.79, DST: 7.67, PCT: 7.76)を達成した。 これはLSMのみ(66.2%の成功)とダイレクト(29.2%の成功)の手法を大きく上回っている。 以上の結果から,本質的なコード品質ではなく信頼性が主な差別化要因であることが示唆された。 費用対効果分析により、ハイブリッド法はDAGが成功したときのダイレクトプロンプトの2倍の効率であることがわかった。 構造化されたハイブリッドアプローチは、自動ワークフロー生成における柔軟性と信頼性のバランスをとる上で不可欠であり、データパイプライン開発を民主化するための実行可能なパスを提供する、と結論付けています。

関連論文リスト

• Hybrid and Unitary Fine-Tuning of Large Language Models: Methods and Benchmarking under Resource Constraints [0.0]
  微調整された大規模言語モデル(LLM)は、スケールとメモリ要求のため、計算上のボトルネックのままである。 本稿では,LoRA,BOFT,LoRA-GA,uRNNなどのパラメータ効率向上技術について包括的な評価を行った。 勾配ノルムで導かれる階層ごとの適応的な更新を演算することにより、ハイブリッド法は様々なタスクにまたがる収束効率と一般化を向上する。
  論文  参考訳（メタデータ） (2025-07-24T04:00:02Z)
• HybridProver: Augmenting Theorem Proving with LLM-Driven Proof Synthesis and Refinement [7.702809989052384]
  HybridProverは、戦術ベースの生成と全防御合成を組み合わせたデュアルモデル証明フレームワークである。 最適化されたデータセット上にIsabelle定理証明器とファインチューンLPMにHybridProverを実装した。
  論文  参考訳（メタデータ） (2025-05-21T16:45:43Z)
• LLM-based Automated Theorem Proving Hinges on Scalable Synthetic Data Generation [11.045086599038338]
  本研究では,幅広い中間的証明状態にまたがる多様な戦術を創出するために設計された,データ合成の訓練のための新しい実証状態探索手法を提案する。 また,データ合成手法を効果的に活用し,木探索における探索と利用のトレードオフを実現する適応ビームサイズ戦略を提案する。
  論文  参考訳（メタデータ） (2025-05-17T14:47:36Z)
• Enhancing LLM Code Generation with Ensembles: A Similarity-Based Selection Approach [6.93983229112122]
  コード生成における大規模言語モデル(LLM)のアンサンブル手法を提案する。 投票には,CodeBLEUと行動等価性を用いて構文的・意味的類似性を計算する。 実験により,我々のアンサンブルアプローチはスタンドアローンLLMよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2025-03-20T04:38:56Z)
• Dynamic Noise Preference Optimization for LLM Self-Improvement via Synthetic Data [51.62162460809116]
  我々は、イテレーション間で一貫した改善を保証するために、動的ノイズ優先最適化(DNPO)を導入します。 Zephyr-7Bでの実験では、DNPOは既存の手法を一貫して上回り、平均性能は2.6%向上した。 DNPOは、GPT-4評価のベースラインに比べて29.4%のウィンロス率差で、モデル生成データの品質が大幅に向上したことを示している。
  論文  参考訳（メタデータ） (2025-02-08T01:20:09Z)
• ProofAug: Efficient Neural Theorem Proving via Fine-grained Proof Structure Analysis [50.020850767257095]
  本稿では,LLMに様々な粒度で自動化手法を付加するProofAugを提案する。 本手法は,オープンソースのDeep-math-7bベースモデルとIsabelle証明アシスタントを用いて,MiniF2Fベンチマークで検証した。 また、ProofAugのLean 4バージョンを実装し、Kimina-Prover-seek-Distill-1.5Bのパス@1のパフォーマンスを44.3%から50.4%に改善します。
  論文  参考訳（メタデータ） (2025-01-30T12:37:06Z)
• Star-Agents: Automatic Data Optimization with LLM Agents for Instruction Tuning [71.2981957820888]
  本稿では,データセット間のデータ品質向上を自動化する新しいStar-Agentsフレームワークを提案する。 このフレームワークは最初,複数のLDMエージェントを用いた多様なインストラクションデータを生成する。 生成したデータは、難易度と品質の両方を評価する二重モデル法を用いて厳密な評価を行う。
  論文  参考訳（メタデータ） (2024-11-21T02:30:53Z)
• Towards a Competitive End-to-End Speech Recognition for CHiME-6 Dinner Party Transcription [73.66530509749305]
  本稿では,難しい場合であっても,ハイブリッドベースラインに近い性能を示すエンドツーエンドアプローチについて論じる。 CTC-Attention と RNN-Transducer のアプローチと RNN と Transformer のアーキテクチャを比較し,解析する。 RNN-Transducerをベースとしたベストエンド・ツー・エンドモデルでは、ビームサーチの改善とともに、LF-MMI TDNN-F CHiME-6 Challengeのベースラインよりも品質が3.8%向上した。
  論文  参考訳（メタデータ） (2020-04-22T19:08:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。