論文の概要: Governing Cloud Data Pipelines with Agentic AI
- arxiv url: http://arxiv.org/abs/2512.23737v1
- Date: Wed, 24 Dec 2025 19:30:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-01 23:27:28.111039
- Title: Governing Cloud Data Pipelines with Agentic AI
- Title（参考訳）: Agentic AIによるクラウドデータパイプラインのGoverning
- Authors: Aswathnarayan Muthukrishnan Kirubakaran, Adithya Parthasarathy, Nitin Saksena, Ram Sekhar Bodala, Akshay Deshpande, Suhas Malempati, Shiva Carimireddy, Abhirup Mazumder,
- Abstract要約: Agentic Cloud Data Engineeringは、バウンドAIエージェントをクラウドデータパイプラインのガバナンスとコントロールプレーンに統合する、ポリシー対応のコントロールアーキテクチャである。
Agentic Cloud Data Engineeringプラットフォームは、平均パイプラインリカバリ時間を最大45%削減し、運用コストを約25%削減し、静的オーケストレーションと比較して手動の介入イベントを70%以上削減する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Cloud data pipelines increasingly operate under dynamic workloads, evolving schemas, cost constraints, and strict governance requirements. Despite advances in cloud-native orchestration frameworks, most production pipelines rely on static configurations and reactive operational practices, resulting in prolonged recovery times, inefficient resource utilization, and high manual overhead. This paper presents Agentic Cloud Data Engineering, a policy-aware control architecture that integrates bounded AI agents into the governance and control plane of cloud data pipelines. In Agentic Cloud Data Engineering platform, specialized agents analyze pipeline telemetry and metadata, reason over declarative cost and compliance policies, and propose constrained operational actions such as adaptive resource reconfiguration, schema reconciliation, and automated failure recovery. All agent actions are validated against governance policies to ensure predictable and auditable behavior. We evaluate Agentic Cloud Data Engineering platform using representative batch and streaming analytics workloads constructed from public enterprise-style datasets. Experimental results show that Agentic Cloud Data Engineering platform reduces mean pipeline recovery time by up to 45%, lowers operational cost by approximately 25%, and decreases manual intervention events by over 70% compared to static orchestration, while maintaining data freshness and policy compliance. These results demonstrate that policy-bounded agentic control provides an effective and practical approach for governing cloud data pipelines in enterprise environments.
- Abstract（参考訳）: クラウドデータパイプラインは、動的ワークロード、スキーマの進化、コスト制約、厳格なガバナンス要件の下でますます運用されている。
クラウドネイティブなオーケストレーションフレームワークの進歩にもかかわらず、ほとんどの運用パイプラインは、静的な設定とリアクティブな運用プラクティスに依存しており、長いリカバリ時間、非効率なリソース利用、手動のオーバーヘッドが高い。
本稿では,AIエージェントをクラウドデータパイプラインのガバナンスとコントロールプレーンに統合するポリシ対応制御アーキテクチャであるAgentic Cloud Data Engineeringを提案する。
Agentic Cloud Data Engineeringプラットフォームでは、特殊なエージェントがパイプラインのテレメトリとメタデータを分析し、宣言的なコストとコンプライアンスポリシーを判断し、アダプティブリソースの再構成、スキーマの整合性、自動障害復旧などの制約のあるオペレーションアクションを提案する。
すべてのエージェントアクションは、予測可能で監査可能な振る舞いを保証するために、ガバナンスポリシーに対して検証されます。
我々は、パブリックなエンタープライズスタイルのデータセットから構築された代表バッチとストリーミング分析ワークロードを使用して、Agentic Cloud Data Engineeringプラットフォームを評価した。
Agentic Cloud Data Engineeringプラットフォームは、平均パイプラインリカバリ時間を最大45%削減し、運用コストを約25%削減し、データ更新とポリシーコンプライアンスを維持しながら、手動の介入イベントを静的オーケストレーションと比較して70%以上削減する。
これらの結果は、ポリシーに縛られたエージェント制御が、企業環境におけるクラウドデータパイプラインの管理に効果的で実践的なアプローチを提供することを示している。
関連論文リスト
- Analyzing and Internalizing Complex Policy Documents for LLM Agents [53.14898416858099]
大規模言語モデル(LLM)ベースのエージェントシステムは、多様なビジネスルールをコードするコンテキスト内ポリシー文書に依存している。
これは、パフォーマンスを保ちながら、ポリシー文書をモデルプリエントに組み込む内部化手法の開発を動機付けます。
CC-Genは4つのレベルにまたがる制御可能な複雑度を持つエージェントベンチマークジェネレータである。
論文 参考訳（メタデータ） (2025-10-13T16:30:07Z) - Autonomous Data Agents: A New Opportunity for Smart Data [50.02229219403014]
DataAgentsは、自律的なデータから知識システムへのパラダイムシフトを表している、とReportは主張する。
DataAgentsは、複雑で非構造化されたデータをコヒーレントで行動可能な知識に変換する。
エージェントAIとデータ・トゥ・ナレッジシステムの収束が重要なトレンドとなっている理由を最初に検討する。
論文 参考訳（メタデータ） (2025-09-23T06:46:41Z) - Large Language Model-Empowered Decision Transformer for UAV-Enabled Data Collection [71.84636717632206]
空間分散デバイスからの信頼性とエネルギー効率のよいデータ収集のための無人航空機(UAV)は、IoT(Internet of Things)アプリケーションをサポートする上で大きな可能性を秘めている。
有効なUAV制御ポリシーを学習するための共同言語モデル(LLM)を提案する。
LLM-CRDTは、現在の最先端DTアプローチよりも最大36.7%高いエネルギー効率を達成し、オンラインおよびオフラインメソッドのベンチマークより優れている。
論文 参考訳（メタデータ） (2025-09-17T13:05:08Z) - Design and Evaluation of a Scalable Data Pipeline for AI-Driven Air Quality Monitoring in Low-Resource Settings [0.4681310436826459]
本稿では,AirQoデータパイプラインの設計,実装,評価について述べる。
Apache Airflow、Apache Kafka、Google BigQueryといったオープンソースの技術を使って構築されている。
我々は、400以上の監視装置から毎月数百万の空気品質の測定を取り込み、変換し、分散するパイプラインの能力を実証する。
論文 参考訳（メタデータ） (2025-08-20T06:19:27Z) - Building Scalable AI-Powered Applications with Cloud Databases: Architectures, Best Practices and Performance Considerations [0.0]
AIベースのアプリケーションの急速な採用は、高性能でスケーラブルで効率的なクラウドデータベースソリューションを必要とする。
本稿では,汎用技術を活用することによって,クラウドネイティブデータベースがAI駆動アプリケーションを実現する方法について検討する。
パフォーマンスベンチマーク、スケーラビリティの考慮、コスト効率の戦略を評価し、AI対応アプリケーションの設計をガイドする。
論文 参考訳（メタデータ） (2025-04-26T04:17:46Z) - Automated Planning for Optimal Data Pipeline Instantiation [10.501636306956385]
我々は、最適なデータパイプライン配置の問題を、アクションコストによる計画としてモデル化する。
本稿では,全実行時間を最小化する戦略を提案する。
実験結果から, 戦略がベースライン展開より優れていることが示唆された。
論文 参考訳（メタデータ） (2025-03-16T19:43:12Z) - Deep Reinforcement Learning for Job Scheduling and Resource Management in Cloud Computing: An Algorithm-Level Review [10.015735252600793]
深層強化学習(Dep Reinforcement Learning, DRL)は、これらの課題に対する有望な解決策として登場した。
DRLにより、システムは環境の継続的な観察に基づいてポリシーを学習し、適応することができる。
この調査は、クラウドコンピューティングにおけるジョブスケジューリングとリソース管理のためのDRLベースのアルゴリズムの包括的なレビューを提供する。
論文 参考訳（メタデータ） (2025-01-02T02:08:00Z) - Scalable Discovery and Continuous Inventory of Personal Data at Rest in
Cloud Native Systems [0.0]
クラウドネイティブシステムは、多数の多パラダイムデータストアを通じて大量の個人データを処理している。
プライバシーエンジニアリングの観点では、個人情報が保存されているすべての正確な場所を追跡することが重要な課題だ。
i) 個人データの安静時のスケーラブルな発見のためのワークフローパターンと,i) クラウドネイティブシステムアーキテクチャと,そのワークフローパターンのオープンソースプロトタイプ実装からなるTeresiasを提案する。
論文 参考訳（メタデータ） (2022-09-09T10:45:34Z) - SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。
しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
論文 参考訳（メタデータ） (2021-12-22T14:45:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。