論文の概要: AutoStreamPipe: LLM Assisted Automatic Generation of Data Stream Processing Pipelines

• arxiv url: http://arxiv.org/abs/2510.23408v1
• Date: Mon, 27 Oct 2025 15:11:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 15:28:15.584138
• Title: AutoStreamPipe: LLM Assisted Automatic Generation of Data Stream Processing Pipelines
• Title（参考訳）: AutoStreamPipe: LLMによるデータストリーム処理パイプラインの自動生成
• Authors: Abolfazl Younesi, Zahra Najafabadi Samani, Thomas Fahringer,
• Abstract要約: AutoStreamPipeは、大規模言語モデル(LLM)を使用して、ストリーム処理パイプラインの設計、生成、デプロイを自動化するフレームワークである。 我々は,新しいエラーフリースコア (EFS) を用いて,AutoStreamPipe が開発時間 (x6.3) とエラー率 (x5.19) を著しく低減することを示した。
• 参考スコア（独自算出の注目度）: 0.764671395172401
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data pipelines are essential in stream processing as they enable the efficient collection, processing, and delivery of real-time data, supporting rapid data analysis. In this paper, we present AutoStreamPipe, a novel framework that employs Large Language Models (LLMs) to automate the design, generation, and deployment of stream processing pipelines. AutoStreamPipe bridges the semantic gap between high-level user intent and platform-specific implementations across distributed stream processing systems for structured multi-agent reasoning by integrating a Hypergraph of Thoughts (HGoT) as an extended version of GoT. AutoStreamPipe combines resilient execution strategies, advanced query analysis, and HGoT to deliver pipelines with good accuracy. Experimental evaluations on diverse pipelines demonstrate that AutoStreamPipe significantly reduces development time (x6.3) and error rates (x5.19), as measured by a novel Error-Free Score (EFS), compared to LLM code-generation methods.
• Abstract（参考訳）: データパイプラインは、リアルタイムデータの効率的な収集、処理、配信を可能にし、高速なデータ分析をサポートするため、ストリーム処理において不可欠である。 本稿では,大規模言語モデル(LLM)を用いてストリーム処理パイプラインの設計,生成,展開を自動化する新しいフレームワークであるAutoStreamPipeを提案する。 AutoStreamPipeは、構造化マルチエージェント推論のための分散ストリーム処理システム間の高レベルのユーザ意図とプラットフォーム固有の実装間のセマンティックギャップを、GoTの拡張バージョンとしてHypergraph of Thoughts(HGoT)を統合することで橋渡しする。 AutoStreamPipeは、回復力のある実行戦略、高度なクエリ分析、HGoTを組み合わせて、パイプラインを高い精度で提供する。 多様なパイプラインに対する実験的評価により、AutoStreamPipeはLLMコード生成法と比較して開発時間(x6.3)とエラー率(x5.19)を大幅に削減することが示された。

関連論文リスト

• LLM-AutoDiff: Auto-Differentiate Any LLM Workflow [58.56731133392544]
  自動プロンプト工学(APE)のための新しいフレームワーク LLM-AutoDiff について紹介する。 LLMs-AutoDiffは、各テキスト入力をトレーニング可能なパラメータとして扱い、フリーズした後方エンジンを使用して、テキスト勾配に対するフィードバック・アキンを生成する。 精度とトレーニングコストの両方において、既存のテキスト勾配ベースラインを一貫して上回ります。
  論文  参考訳（メタデータ） (2025-01-28T03:18:48Z)
• AutoML-Agent: A Multi-Agent LLM Framework for Full-Pipeline AutoML [56.565200973244146]
  自動機械学習(Automated Machine Learning, ML)は、開発パイプライン内のタスクを自動化することによって、AI開発を加速する。 近年の作業では,そのような負担を軽減するために,大規模言語モデル(LLM)の利用が始まっている。 本稿では,フルパイプのAutoMLに適した新しいマルチエージェントフレームワークであるAutoML-Agentを提案する。
  論文  参考訳（メタデータ） (2024-10-03T20:01:09Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• Fast Chain-of-Thought: A Glance of Future from Parallel Decoding Leads to Answers Faster [61.83949316226113]
  FastCoTは並列デコーディングに基づくモデルに依存しないフレームワークである。 我々は、FastCoTが通常のアプローチと比較して、無視できる性能低下だけで、推論時間を20%近く削減できることを示します。
  論文  参考訳（メタデータ） (2023-11-14T15:56:18Z)
• Deep Pipeline Embeddings for AutoML [11.168121941015015]
  AutoMLは、最小限の人間の専門知識で機械学習システムを自動デプロイすることで、AIを民主化するための有望な方向である。 既存のパイプライン最適化テクニックでは、パイプラインステージ/コンポーネント間の深いインタラクションを探索できない。 本稿では,機械学習パイプラインのコンポーネント間のディープインタラクションをキャプチャするニューラルアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-05-23T12:40:38Z)
• eTOP: Early Termination of Pipelines for Faster Training of AutoML Systems [12.933957727351666]
  適切なAI/MLモデルを見つけるのは、複雑でコストのかかるプロセスです。 我々は,任意のAutoMLシステム上で動作するeTOPフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-17T20:22:30Z)
• SubStrat: A Subset-Based Strategy for Faster AutoML [5.833272638548153]
  SubStratは、設定スペースではなく、データサイズに取り組むAutoML最適化戦略である。 既存のAutoMLツールをラップし、データセット全体を直接実行する代わりに、SubStratは遺伝的アルゴリズムを使用して小さなサブセットを見つける。 その後、小さなサブセットにAutoMLツールを使用し、最後に、大きなデータセット上で制限された、はるかに短いAutoMLプロセスを実行することで、結果のパイプラインを洗練する。
  論文  参考訳（メタデータ） (2022-06-07T07:44:06Z)
• AutoWeka4MCPS-AVATAR: Accelerating Automated Machine Learning Pipeline Composition and Optimisation [13.116806430326513]
  本稿では,サロゲートモデル(AVATAR)を用いて,実行せずにMLパイプラインの有効性を評価する手法を提案する。 AVATARは、データセットの特徴に対するMLアルゴリズムの機能と効果を自動的に学習することで、知識ベースを生成する。 AVATARはその妥当性を評価するためにオリジナルのMLパイプラインを実行する代わりに、MLパイプラインコンポーネントの機能と効果によって構築されたサロゲートモデルを評価する。
  論文  参考訳（メタデータ） (2020-11-21T14:05:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。