論文の概要: Trustworthy Self-Composable Big-Data-as-a-Service: An LLM-Orchestrated Multi-Agent Framework for Automated Data Engineering, AutoML, MLOps Deployment, and Drift-Aware Lifecycle Optimization
- arxiv url: http://arxiv.org/abs/2606.17915v1
- Date: Tue, 16 Jun 2026 13:34:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-17 17:15:32.455376
- Title: Trustworthy Self-Composable Big-Data-as-a-Service: An LLM-Orchestrated Multi-Agent Framework for Automated Data Engineering, AutoML, MLOps Deployment, and Drift-Aware Lifecycle Optimization
- Title(参考訳): 信頼できる自己コンパイル可能なビッグデータ・アズ・ア・サービス: 自動データエンジニアリング、AutoML、MLOpsデプロイメント、ドリフト対応ライフサイクル最適化のためのLLMオーケストレーションマルチエージェントフレームワーク
- Authors: Aueaphum Aueawatthanaphisut, Badri Raj Lamichhane,
- Abstract要約: 本稿では,LLM-orchestrated multi-agentコラボレーションに基づく,信頼性の高い自己コンパイル可能なBDフレームワークを提案する。
提案したアーキテクチャは、BDライフサイクルを、データ取り込み、データクリーニング、機能エンジニアリング、AutoMLトレーニング、モデル評価、MLOpsのデプロイ、監視、ドリフト検出のための特別なエージェントに分解する。
フレームワークには、共有アーティファクトガバナンス、サポート、Human-in-the-loopチェックポイント、ドリフト対応フィードバックループも含まれている。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Big-Data-as-a-Service (BDaaS) platforms require re liable automation across data ingestion, cleaning, feature engi neering, model development, deployment, and post-deployment monitoring. However, existing LLM-based data science agents and AutoML systems mainly focus on isolated workflow stages, leaving limited support for lifecycle-level orchestration, artifact governance, human oversight, and drift-aware adaptation. This paper proposes a trustworthy self-composable BDaaS frame work based on LLM-orchestrated multi-agent collaboration. The proposed architecture decomposes the BDaaS lifecycle into specialized agents for data ingestion, data cleaning, feature engineering, AutoML training, model evaluation, MLOps de ployment, monitoring, and drift detection. A central LLM or chestration layer coordinates agent execution, validates interme diate outputs, manages workflow context, and enables dynamic workflow composition. The framework also incorporates shared artifact governance, reproducibility support, human-in-the-loop checkpoints, and drift-aware feedback loops. A prototype-based evaluation is conducted using controlled tabular benchmark datasets with missing values, categorical variables, outliers, class imbalance, and simulated covariate drift. Compared with manual ML, AutoML-only, and single-agent LLM baselines, the pro posed multi-agent BDaaS pipeline achieves competitive predictive performance while improving lifecycle-level reliability, including workflow completion, artifact traceability, deployment readiness, reproducibility, and drift recovery. The results suggest that LLM-orchestrated multi-agent systems can extend conventional AutoML toward trustworthy, adaptive, and production-oriented BDaaS lifecycle automation.
- Abstract(参考訳): ビッグデータ・アズ・ア・サービス(BDaaS)プラットフォームには、データ取り込み、クリーニング、機能engiネアリング、モデル開発、デプロイメント、デプロイ後の監視といった、信頼性の高い自動化が必要です。
しかし、既存のLLMベースのデータサイエンスエージェントとAutoMLシステムは、主に独立したワークフローステージに焦点を当てており、ライフサイクルレベルのオーケストレーション、アーティファクトガバナンス、人間の監視、ドリフト対応の適応を限定的にサポートしている。
本稿では,LLM-orchestrated multi-agentコラボレーションに基づく,信頼性の高い自己コンパイル可能なBDaaSフレームワークを提案する。
提案されたアーキテクチャは、BDaaSライフサイクルを、データ取り込み、データクリーニング、機能エンジニアリング、AutoMLトレーニング、モデル評価、MLOpsのデプロイ、監視、ドリフト検出のための特別なエージェントに分解する。
中央のLCMまたはチェストレーション層はエージェントの実行をコーディネートし、インターミート出力を検証し、ワークフローコンテキストを管理し、動的ワークフロー合成を可能にする。
このフレームワークには、共有アーティファクトガバナンス、再現性のサポート、ヒューマン・イン・ザ・ループのチェックポイント、ドリフト・アウェアのフィードバックループも組み込まれている。
プロトタイプベースの評価は、制御された表式ベンチマークデータセットを用いて、値の欠如、分類変数、外乱、クラス不均衡、シミュレーションされた共変量ドリフトを用いて行われる。
手動のML、AutoMLのみ、シングルエージェントのLMベースラインと比較して、提案されているマルチエージェントのBDaaSパイプラインは、ワークフローの補完、アーティファクトトレーサビリティ、デプロイメントの即応性、再現性、ドリフトリカバリといったライフサイクルレベルの信頼性を改善しながら、競合的な予測パフォーマンスを達成する。
以上の結果から,従来のAutoMLを信頼性,適応性,生産指向のBDaaSライフサイクル自動化に拡張できる可能性が示唆された。
関連論文リスト
- GRACE-DS: a Guarded Reward-guided Agent Correction Environment in Data Science [39.146761527401424]
GRACE-DSは、LSMを用いたオートMLエージェントの事前デプロイ評価のための、データサイエンスにおけるリワード誘導エージェント補正環境である。
エージェントをリアルなワークフローステージに公開し、計画やデータインスペクションから機能エンジニアリング、モデル開発、バリデーション、コード修正まで、最終提出まで。
これらの結果から、GRACE-DSはLLMベースのAutoMLエージェントが実運用環境下で機械学習を実行する能力を評価するための堅牢なプラットフォームとして確立された。
論文 参考訳(メタデータ) (2026-06-14T19:58:06Z) - Chimera: Latency- and Performance-Aware Multi-agent Serving for Heterogeneous LLMs [62.17306142810532]
ヘテロジニアスLSMクラスタ上で動作するマルチエージェントワークフローの予測スケジューリングシステムであるChimeraを提案する。
Chimeは最高のレイテンシをトレースし、エンドツーエンドのレイテンシを1.2-2.4$times$で削減し、タスクパフォーマンスを平均8.0-9.5ポイント改善する。
論文 参考訳(メタデータ) (2026-03-23T17:01:42Z) - LeJOT-AutoML: LLM-Driven Feature Engineering for Job Execution Time Prediction in Databricks Cost Optimization [27.72622904072875]
Databricksのジョブオーケストレーションシステム(例:LeJOT)は、レイテンシと依存性の制約を満たしながら、低価格の計算を選択することで、クラウドコストを削減する。
既存のパイプラインは、静的で手動で構築されたランタイム効果に依存している。
エージェント駆動型AutoMLフレームワークであるLeJOT-AutoMLについて,MLライフサイクルを通じて大規模言語モデルエージェントを組み込む。
論文 参考訳(メタデータ) (2026-03-09T02:31:50Z) - Rethinking the Value of Multi-Agent Workflow: A Strong Single Agent Baseline [38.16649115214312]
一つのエージェントがKVキャッシュの再利用による効率上の利点を生かして均一性を実現できることを示す。
本稿では,単一エージェントの実行を自動的に調整し,推論コストを削減するアルゴリズムを提案する。
論文 参考訳(メタデータ) (2026-01-18T08:16:09Z) - Let It Flow: Agentic Crafting on Rock and Roll, Building the ROME Model within an Open Agentic Learning Ecosystem [90.17610617854247]
本稿では,エージェントモデルの生産パイプラインを最適化する基盤インフラであるエージェント学習エコシステム(ALE)を紹介する。
ALEは、重量最適化のためのトレーニング後のフレームワークであるROLL、軌道生成のためのサンドボックス環境マネージャであるROCK、効率的なコンテキストエンジニアリングのためのエージェントフレームワークであるiFlow CLIの3つのコンポーネントで構成されている。
ROMEはALEが基盤として100万件以上のトラジェクトリをトレーニングしたオープンソースエージェントです。
論文 参考訳(メタデータ) (2025-12-31T14:03:39Z) - FABRIC: Framework for Agent-Based Realistic Intelligence Creation [3.940391073007047]
大規模言語モデル(LLM)はエージェントとしてますます多くデプロイされ、目標を分解し、ツールを実行し、動的環境で結果を検証することが期待されている。
本稿では,LLMのみを用いたエージェントデータの統一化フレームワークを提案する。
論文 参考訳(メタデータ) (2025-10-20T18:20:22Z) - MLE-Dojo: Interactive Environments for Empowering LLM Agents in Machine Learning Engineering [57.156093929365255]
自律型大規模言語モデル(LLM)エージェントを体系的に強化し、評価し、改善するためのガイムスタイルのフレームワーク。
MLE-Dojoは、現実的なエンジニアリングシナリオを反映した、多様でオープンなMLEタスクを慎重にキュレートする。
完全に実行可能な環境は、教師付き微調整と強化学習の両方を通して包括的なエージェントトレーニングをサポートする。
論文 参考訳(メタデータ) (2025-05-12T17:35:43Z) - DatawiseAgent: A Notebook-Centric LLM Agent Framework for Adaptive and Robust Data Science Automation [10.390461679868197]
我々は、適応的で堅牢なデータサイエンス自動化のためのノートブック中心の大規模言語モデル(LLM)エージェントフレームワークであるDatawiseAgentを紹介する。
人間のデータサイエンティストが計算ノートブックでどのように機能するかに触発されたDatawiseAgentは、統一された相互作用表現とマルチステージアーキテクチャを導入した。
論文 参考訳(メタデータ) (2025-03-10T08:32:33Z) - AutoML-Agent: A Multi-Agent LLM Framework for Full-Pipeline AutoML [56.565200973244146]
自動機械学習(Automated Machine Learning, ML)は、開発パイプライン内のタスクを自動化することによって、AI開発を加速する。
近年の作業では,そのような負担を軽減するために,大規模言語モデル(LLM)の利用が始まっている。
本稿では,フルパイプのAutoMLに適した新しいマルチエージェントフレームワークであるAutoML-Agentを提案する。
論文 参考訳(メタデータ) (2024-10-03T20:01:09Z) - MLLM-DataEngine: An Iterative Refinement Approach for MLLM [62.30753425449056]
本稿では,データ生成,モデルトレーニング,評価を橋渡しする新しいクローズドループシステムを提案する。
各ループ内で、MLLM-DataEngineはまず評価結果に基づいてモデルの弱点を分析する。
ターゲットとして,異なる種類のデータの比率を調整する適応型バッドケースサンプリングモジュールを提案する。
品質については、GPT-4を用いて、各データタイプで高品質なデータを生成する。
論文 参考訳(メタデータ) (2023-08-25T01:41:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。