論文の概要: Agentic Self-Healing for Data and AI Pipelines: An Affordable Vendor-Agnostic Architecture using Open-Source Software
- arxiv url: http://arxiv.org/abs/2608.01955v1
- Date: Mon, 03 Aug 2026 09:26:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.468486
- Title: Agentic Self-Healing for Data and AI Pipelines: An Affordable Vendor-Agnostic Architecture using Open-Source Software
- Title（参考訳）: データとAIパイプラインのためのエージェントによるセルフヒーリング - オープンソースソフトウェアを使用した拡張可能なベンダ非依存アーキテクチャ
- Abstract要約: 本稿では,AIを用いたパイプライン監視,根本原因分析,自動修復のための既成の既成ソリューションを比較した。
自己修復パイプラインに必要な材料はすでに存在していますが、ベンダ固有のプラットフォーム、可観測性ツール、インシデントシステム、オープンソースコンポーネントで断片化されています。
本稿では,オープンソースおよび低コストツールを用いたエージェント型自己修復パイプラインのための,手頃でベンダに依存しない参照アーキテクチャを提案する。
- 参考スコア（独自算出の注目度）: 1.6612854433953734
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern organizations rely on data, machine learning, and software delivery pipelines to move data, train models, deploy applications, refresh dashboards, and support business-critical decisions. However, these pipelines often fail because of data quality issues, schema changes, upstream source changes, infrastructure problems, orchestration failures, and model workflow issues. Existing ZeroOps, observability, and AI operations platforms can help teams detect incidents, investigate root causes, and in some cases recommend or execute fixes. However, many of these solutions are expensive, vendor-specific, or difficult for smaller teams to adapt across different tools and environments. This paper first compares existing off-the-shelf solutions for AI-assisted pipeline monitoring, root-cause analysis, and automated remediation, including their strengths, limitations, and practical trade-offs. Based on this comparison, we find that the main gap is architectural rather than technological: the required ingredients for self-healing pipelines already exist, but they are fragmented across vendor-specific platforms, observability tools, incident systems, and open-source components. We therefore propose an affordable, vendor-agnostic reference architecture for agentic self-healing pipelines using open-source and low-cost tools. The proposed architecture combines monitoring, pipeline metadata, incident history, deterministic policy checks, AI-assisted diagnosis, approval workflows, and controlled remediation actions to help teams detect, diagnose, repair, verify, and learn from pipeline issues with less manual effort. The goal is to provide a practical reference architecture that can be adapted across data engineering, machine learning operations, and software delivery environments.
- Abstract（参考訳）: 現代の組織は、データ移動、モデルトレーニング、アプリケーションのデプロイ、ダッシュボードのリフレッシュ、ビジネスクリティカルな決定をサポートするために、データ、マシンラーニング、ソフトウェアデリバリパイプラインに依存しています。
しかしながら、これらのパイプラインは、データ品質の問題、スキーマの変更、アップストリームソースの変更、インフラストラクチャの問題、オーケストレーションの失敗、モデルワークフローの問題によって失敗することが多い。
既存のZeroOps、可観測性、AI運用プラットフォームは、チームがインシデントを検出し、根本原因を調査し、場合によっては修正を推奨または実行するのに役立ちます。
しかしながら、これらのソリューションの多くは高価でベンダ固有のものや、小規模なチームがさまざまなツールや環境にまたがって適応することが難しいものが多い。
本稿では、AI支援パイプライン監視、根本原因分析、およびその強度、制限、実用的なトレードオフを含む自動修復のための既存のオフザシェルフソリューションを比較した。
自己修復パイプラインに必要な材料はすでに存在していますが、ベンダ固有のプラットフォーム、可観測性ツール、インシデントシステム、オープンソースコンポーネントで断片化されています。
そこで我々は,オープンソースおよび低コストツールを用いたエージェント型自己修復パイプラインのための,手頃でベンダに依存しない参照アーキテクチャを提案する。
提案されたアーキテクチャは、監視、パイプラインメタデータ、インシデント履歴、決定論的ポリシチェック、AI支援診断、承認ワークフロー、コントロールされた修正アクションを組み合わせて、チームが手作業の少ないパイプライン問題の検出、診断、修正、検証、学習を支援する。
目標は、データエンジニアリング、機械学習操作、ソフトウェアデリバリ環境に適応可能な実用的なリファレンスアーキテクチャを提供することだ。
関連論文リスト
- Benchmarking AI Agents for Hardware Design Automation via MCP Tool Calling [1.6639892342953113]
ローカルにデプロイされた大規模言語モデルを利用したAIエージェントが、業界現実的なツールコール設定で、専門家が定義したハードウェア設計を確実に自動化できるかどうかを問う。
この設定を研究するために、組み込みシステム開発に使用されるプロプライエタリなハードウェア設計ツールの状態と依存性ロジックを再現するモデルコンテキストプロトコル(MCP)サーバを構築した。
我々は、システムプロンプト、ツール記述の詳細、コンテキストスコープ、シングルエージェント対マルチエージェントアーキテクチャを含むパイプライン選択を比較した7つのオープンソースモデルを評価する。
論文 参考訳（メタデータ） (2026-08-25T15:33:50Z) - QwenPaw-Data: Bridging Facts, Methodology, and Execution for Autonomous Enterprise Data Analytics [45.48758200829718]
企業におけるインテリジェントなデータ分析のためのエージェントデータシステムであるQwenPaw-Dataを紹介する。
QwenPaw-Dataは異種資産を再利用可能な、管理可能な、進化可能な分析資産に集約し、自然言語要求をエンドツーエンドの分析的データ理解、検索、分析、レポート生成、意思決定支援に変換する。
論文 参考訳（メタデータ） (2026-07-13T02:38:00Z) - VADAOrchestra: Neurosymbolic Orchestration of Adaptive Reasoning Workflows [47.70653885737167]
実世界の環境での意思決定は、固定されたスクリプトに従うことはめったにない。代わりに、動的推論プロセスとして展開する。
VADAOrchestraは、複雑な推論過程をモデル化するニューロシンボリックなフレームワークである。
論文 参考訳（メタデータ） (2026-06-21T13:10:48Z) - The Evolution of Tool Use in LLM Agents: From Single-Tool Call to Multi-Tool Orchestration [58.61149924275458]
ツールの使用により、大きな言語モデルが外部情報にアクセスし、ソフトウェアシステムを実行し、モデルパラメータだけで解決できるもの以外のデジタル環境で動作することができる。
エージェントシステムが進化するにつれて、中央の問題は、中途半端な状態、実行フィードバック、環境の変化、安全性、コスト、検証可能性といった実践的な制約によって、孤立呼び出しからマルチツールオーケストレーションへと移行した。
推論時の計画と実行、トレーニングと軌道構築、安全と制御、リソース制約下での効率性、オープン環境における能力の完全性、およびベンチマーク設計と評価の6つの分野に関する文献を整理する。
論文 参考訳（メタデータ） (2026-03-24T07:05:05Z) - kRAIG: A Natural Language-Driven Agent for Automated DataOps Pipeline Generation [0.5833117322405447]
我々は、自然言語仕様をプロダクション対応KubeReason Pipelines(KFP)に変換するAIエージェントであるkRAIGを紹介する。
ユーザ意図の曖昧さを解決するために,パイプライン合成に先立って意図を明確に示すインタラクションフレームワークReQuesActを提案する。
本フレームワークは,最先端のエージェントベースラインと比較して,抽出とロードの精度が3倍向上し,変換精度が25%向上する。
論文 参考訳（メタデータ） (2026-03-19T17:53:00Z) - Agentic Diagnostic Reasoning over Telecom and Datacenter Infrastructure [0.0]
根本原因分析のためのエージェント診断フレームワークを提案する。
アプリケーションに因果ロジックを埋め込む代わりに、エージェントはインフラストラクチャモデルを自律的にナビゲートする。
この研究は、自律的な変化による影響緩和の基礎を築いた。
論文 参考訳（メタデータ） (2026-01-12T09:13:04Z) - Simple Agents Outperform Experts in Biomedical Imaging Workflow Optimization [69.36509281190662]
生産レベルのコンピュータビジョンツールを科学データセットに適応させることは、重要な"ラストマイル"ボトルネックである。
我々は、AIエージェントを使ってこの手動コーディングを自動化し、最適なエージェント設計のオープンな問題に焦点を当てる。
簡単なエージェントフレームワークが、人間-専門家のソリューションよりも優れた適応コードを生成することを実証する。
論文 参考訳（メタデータ） (2025-12-02T18:42:26Z) - Design and Evaluation of a Scalable Data Pipeline for AI-Driven Air Quality Monitoring in Low-Resource Settings [0.4681310436826459]
本稿では,AirQoデータパイプラインの設計,実装,評価について述べる。
Apache Airflow、Apache Kafka、Google BigQueryといったオープンソースの技術を使って構築されている。
我々は、400以上の監視装置から毎月数百万の空気品質の測定を取り込み、変換し、分散するパイプラインの能力を実証する。
論文 参考訳（メタデータ） (2025-08-20T06:19:27Z) - RCAgent: Cloud Root Cause Analysis by Autonomous Agents with Tool-Augmented Large Language Models [46.476439550746136]
近年,クラウド根本原因分析(RCA)における言語モデル (LLM) の適用が活発に検討されている。
RCAgentは、実用的でプライバシに配慮した産業RCA利用のためのツール強化LDM自律エージェントフレームワークである。
RCAgentはGPTファミリではなく、内部的にデプロイされたモデル上で動作し、フリーフォームのデータ収集とツールによる包括的な分析を行うことができる。
論文 参考訳（メタデータ） (2023-10-25T03:53:31Z) - Trusted Provenance of Automated, Collaborative and Adaptive Data Processing Pipelines [2.186901738997927]
ソリューションアーキテクチャと、Provenance Holderと呼ばれるサービスのコンセプト実装の証明を提供しています。
Provenance Holderは、コラボレーティブで適応的なデータ処理パイプラインを信頼できる方法で実現可能にする。
論文 参考訳（メタデータ） (2023-10-17T17:52:27Z) - PyRCA: A Library for Metric-based Root Cause Analysis [66.72542200701807]
PyRCAは、AIOps(AIOps)のためのRoot Cause Analysis(RCA)のオープンソースの機械学習ライブラリである。
複雑なメトリクス因果依存性を明らかにし、インシデントの根本原因を自動的に特定する、包括的なフレームワークを提供する。
論文 参考訳（メタデータ） (2023-06-20T09:55:10Z) - SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。
しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
論文 参考訳（メタデータ） (2021-12-22T14:45:37Z) - MLCask: Efficient Management of Component Evolution in Collaborative
Data Analytics Pipelines [29.999324319722508]
マシンラーニングパイプラインのデプロイ時に発生する2つの大きな課題に対処し、エンドツーエンド分析システムMLCaskのバージョニング設計で対処する。
我々は,再利用可能な履歴記録とパイプライン互換性情報を用いて,パイプライン探索木を刈り取ることで,メートル法駆動のマージ操作を定義し,高速化する。
MLCaskの有効性は、いくつかの実世界の展開事例に関する広範な研究を通じて評価される。
論文 参考訳（メタデータ） (2020-10-17T13:34:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。