論文の概要: Prompt2DAG: A Modular Methodology for LLM-Based Data Enrichment Pipeline Generation

• arxiv url: http://arxiv.org/abs/2509.13487v1
• Date: Tue, 16 Sep 2025 19:40:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-18 18:41:50.629599
• Title: Prompt2DAG: A Modular Methodology for LLM-Based Data Enrichment Pipeline Generation
• Title（参考訳）: Prompt2DAG: LLMに基づくデータエンリッチメントパイプライン生成のためのモジュール手法
• Authors: Abubakari Alidu, Michele Ciavotta, Flavio DePaoli,
• Abstract要約: 本稿では,自然言語記述を実行可能なApache Airflow DAGに変換する手法であるPrompt2DAGを紹介する。 260の実験で、ダイレクト、LLMオンリー、ハイブリッド、テンプレートベースの4つの世代アプローチを評価した。
• 参考スコア（独自算出の注目度）: 1.8696215611965206
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Developing reliable data enrichment pipelines demands significant engineering expertise. We present Prompt2DAG, a methodology that transforms natural language descriptions into executable Apache Airflow DAGs. We evaluate four generation approaches -- Direct, LLM-only, Hybrid, and Template-based -- across 260 experiments using thirteen LLMs and five case studies to identify optimal strategies for production-grade automation. Performance is measured using a penalized scoring framework that combines reliability with code quality (SAT), structural integrity (DST), and executability (PCT). The Hybrid approach emerges as the optimal generative method, achieving a 78.5% success rate with robust quality scores (SAT: 6.79, DST: 7.67, PCT: 7.76). This significantly outperforms the LLM-only (66.2% success) and Direct (29.2% success) methods. Our findings show that reliability, not intrinsic code quality, is the primary differentiator. Cost-effectiveness analysis reveals the Hybrid method is over twice as efficient as Direct prompting per successful DAG. We conclude that a structured, hybrid approach is essential for balancing flexibility and reliability in automated workflow generation, offering a viable path to democratize data pipeline development.
• Abstract（参考訳）: 信頼性の高いデータ強化パイプラインを構築するには、重要なエンジニアリングの専門知識が必要です。 本稿では,自然言語記述を実行可能なApache Airflow DAGに変換する手法であるPrompt2DAGを紹介する。 13個のLCMと5つのケーススタディを用いて、260の実験から、ダイレクト、LLMオンリー、ハイブリッド、テンプレートベースの4つの世代アプローチを評価し、プロダクショングレード自動化のための最適な戦略を特定します。 信頼性をコード品質(SAT)、構造整合性(DST)、実行可能性(PCT)と組み合わせて評価する。 ハイブリッドアプローチは最適な生成法として登場し、78.5%の成功率と堅牢な品質スコア(SAT: 6.79, DST: 7.67, PCT: 7.76)を達成した。 これはLSMのみ(66.2%の成功)とダイレクト(29.2%の成功)の手法を大きく上回っている。 以上の結果から,本質的なコード品質ではなく信頼性が主な差別化要因であることが示唆された。 費用対効果分析により、ハイブリッド法はDAGが成功したときのダイレクトプロンプトの2倍の効率であることがわかった。 構造化されたハイブリッドアプローチは、自動ワークフロー生成における柔軟性と信頼性のバランスをとる上で不可欠であり、データパイプライン開発を民主化するための実行可能なパスを提供する、と結論付けています。

関連論文リスト

• Learning Adaptive Parallel Execution for Efficient Code Localization [18.27024381786272]
  現在のコードローカライゼーションエージェントは34.9%の冗長呼び出し率を示している。 我々は、textbfjointの品質効率最適化タスクとして並列コードローカライゼーションを変更するtextbfFuseSearchを提案する。
  論文  参考訳（メタデータ） (2026-01-27T12:59:31Z)
• ROAD: Reflective Optimization via Automated Debugging for Zero-Shot Agent Alignment [1.6968020497268546]
  ROADは、最適化を検索ではなく動的デバッグ調査として扱う新しいフレームワークである。 道路はサンプリング効率が高く、成功率は5.6%、検索精度は3.8%向上している。 これらの結果は、ヒューマンエンジニアリングの失敗分析とパッチングのループを模倣することで、リソース集約的なトレーニングに代わる、実行可能なデータ効率の代替が可能になることを示唆している。
  論文  参考訳（メタデータ） (2025-12-30T07:31:34Z)
• Dynamic Template Selection for Output Token Generation Optimization: MLP-Based and Transformer Approaches [0.0]
  動的テンプレート選択は応答品質を損なうことなく大幅なコスト削減を実現する。 この研究は、機械学習の理論的基礎を持つ形式的問題定式化、それに対応する複雑性解析を伴う4つのアルゴリズム、生産システム全体にわたる広範な実証検証など、いくつかの重要な要素に貢献している。
  論文  参考訳（メタデータ） (2025-11-17T21:00:22Z)
• MM-HELIX: Boosting Multimodal Long-Chain Reflective Reasoning with Holistic Platform and Adaptive Hybrid Policy Optimization [103.74675519953898]
  ロングチェーンのリフレクティブ推論は、複雑な現実世界の問題を解決するための前提条件である。 我々は42の難解な合成タスクの1,260のサンプルからなるベンチマークを構築した。 トレーニング後のデータを生成し、そのようなデータを活用するための学習パラダイムを探索する。
  論文  参考訳（メタデータ） (2025-10-09T17:53:58Z)
• Hybrid and Unitary Fine-Tuning of Large Language Models: Methods and Benchmarking under Resource Constraints [0.0]
  微調整された大規模言語モデル(LLM)は、スケールとメモリ要求のため、計算上のボトルネックのままである。 本稿では,LoRA,BOFT,LoRA-GA,uRNNなどのパラメータ効率向上技術について包括的な評価を行った。 勾配ノルムで導かれる階層ごとの適応的な更新を演算することにより、ハイブリッド法は様々なタスクにまたがる収束効率と一般化を向上する。
  論文  参考訳（メタデータ） (2025-07-24T04:00:02Z)
• HybridProver: Augmenting Theorem Proving with LLM-Driven Proof Synthesis and Refinement [7.702809989052384]
  HybridProverは、戦術ベースの生成と全防御合成を組み合わせたデュアルモデル証明フレームワークである。 最適化されたデータセット上にIsabelle定理証明器とファインチューンLPMにHybridProverを実装した。
  論文  参考訳（メタデータ） (2025-05-21T16:45:43Z)
• LLM-based Automated Theorem Proving Hinges on Scalable Synthetic Data Generation [11.045086599038338]
  本研究では,幅広い中間的証明状態にまたがる多様な戦術を創出するために設計された,データ合成の訓練のための新しい実証状態探索手法を提案する。 また,データ合成手法を効果的に活用し,木探索における探索と利用のトレードオフを実現する適応ビームサイズ戦略を提案する。
  論文  参考訳（メタデータ） (2025-05-17T14:47:36Z)
• Enhancing LLM Code Generation with Ensembles: A Similarity-Based Selection Approach [6.93983229112122]
  コード生成における大規模言語モデル(LLM)のアンサンブル手法を提案する。 投票には,CodeBLEUと行動等価性を用いて構文的・意味的類似性を計算する。 実験により,我々のアンサンブルアプローチはスタンドアローンLLMよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2025-03-20T04:38:56Z)
• Dynamic Noise Preference Optimization for LLM Self-Improvement via Synthetic Data [51.62162460809116]
  我々は、イテレーション間で一貫した改善を保証するために、動的ノイズ優先最適化(DNPO)を導入します。 Zephyr-7Bでの実験では、DNPOは既存の手法を一貫して上回り、平均性能は2.6%向上した。 DNPOは、GPT-4評価のベースラインに比べて29.4%のウィンロス率差で、モデル生成データの品質が大幅に向上したことを示している。
  論文  参考訳（メタデータ） (2025-02-08T01:20:09Z)
• Reward-Guided Speculative Decoding for Efficient LLM Reasoning [80.55186052123196]
  Reward-Guided Speculative Decoding (RSD)は,大規模言語モデル(LLM)における推論の効率向上を目的とした新しいフレームワークである。 RSDは、厳密な偏りを強制する既存の投機的復号法とは対照的に、制御されたバイアスをハイリワード出力の優先順位付けに取り入れている。 RSDは,対象モデルのみでの復号化に対して,高い効率向上を実現し,並列復号法よりも高い精度を実現している。
  論文  参考訳（メタデータ） (2025-01-31T17:19:57Z)
• ProofAug: Efficient Neural Theorem Proving via Fine-grained Proof Structure Analysis [50.020850767257095]
  本稿では,LLMに様々な粒度で自動化手法を付加するProofAugを提案する。 本手法は,オープンソースのDeep-math-7bベースモデルとIsabelle証明アシスタントを用いて,MiniF2Fベンチマークで検証した。 また、ProofAugのLean 4バージョンを実装し、Kimina-Prover-seek-Distill-1.5Bのパス@1のパフォーマンスを44.3%から50.4%に改善します。
  論文  参考訳（メタデータ） (2025-01-30T12:37:06Z)
• LLM2: Let Large Language Models Harness System 2 Reasoning [65.89293674479907]
  大規模言語モデル(LLM)は、無数のタスクにまたがって印象的な機能を示してきたが、時には望ましくない出力が得られる。 本稿では LLM とプロセスベースの検証器を組み合わせた新しいフレームワーク LLM2 を紹介する。 LLMs2は妥当な候補を生成するのに責任を持ち、検証者は望ましい出力と望ましくない出力を区別するためにタイムリーなプロセスベースのフィードバックを提供する。
  論文  参考訳（メタデータ） (2024-12-29T06:32:36Z)
• Star-Agents: Automatic Data Optimization with LLM Agents for Instruction Tuning [71.2981957820888]
  本稿では,データセット間のデータ品質向上を自動化する新しいStar-Agentsフレームワークを提案する。 このフレームワークは最初,複数のLDMエージェントを用いた多様なインストラクションデータを生成する。 生成したデータは、難易度と品質の両方を評価する二重モデル法を用いて厳密な評価を行う。
  論文  参考訳（メタデータ） (2024-11-21T02:30:53Z)
• Towards a Competitive End-to-End Speech Recognition for CHiME-6 Dinner Party Transcription [73.66530509749305]
  本稿では,難しい場合であっても,ハイブリッドベースラインに近い性能を示すエンドツーエンドアプローチについて論じる。 CTC-Attention と RNN-Transducer のアプローチと RNN と Transformer のアーキテクチャを比較し,解析する。 RNN-Transducerをベースとしたベストエンド・ツー・エンドモデルでは、ビームサーチの改善とともに、LF-MMI TDNN-F CHiME-6 Challengeのベースラインよりも品質が3.8%向上した。
  論文  参考訳（メタデータ） (2020-04-22T19:08:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。