論文の概要: Enabling Secure and Ephemeral AI Workloads in Data Mesh Environments
- arxiv url: http://arxiv.org/abs/2506.00352v1
- Date: Sat, 31 May 2025 02:30:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-04 21:47:32.79545
- Title: Enabling Secure and Ephemeral AI Workloads in Data Mesh Environments
- Title（参考訳）: データメッシュ環境におけるセキュアなAIワークロードと短命なAIワークロードの実現
- Authors: Chinkit Patel, Kee Siong Ng,
- Abstract要約: 多くの大企業は、データとAIチームをサポートする効率的で効果的な方法を持っていません。
本稿では、オンデマンドのセルフサービスデータプラットフォームインフラストラクチャという形で、全体的な問題に対するソリューションの鍵となる部分を提案する。
- 参考スコア（独自算出の注目度）: 3.322555975389833
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many large enterprises that operate highly governed and complex ICT environments have no efficient and effective way to support their Data and AI teams in rapidly spinning up and tearing down self-service data and compute infrastructure, to experiment with new data analytic tools, and deploy data products into operational use. This paper proposes a key piece of the solution to the overall problem, in the form of an on-demand self-service data-platform infrastructure to empower de-centralised data teams to build data products on top of centralised templates, policies and governance. The core innovation is an efficient method to leverage immutable container operating systems and infrastructure-as-code methodologies for creating, from scratch, vendor-neutral and short-lived Kubernetes clusters on-premises and in any cloud environment. Our proposed approach can serve as a repeatable, portable and cost-efficient alternative or complement to commercial Platform-as-a-Service (PaaS) offerings, and this is particularly important in supporting interoperability in complex data mesh environments with a mix of modern and legacy compute infrastructure.
- Abstract（参考訳）: 高度に管理された複雑なICT環境を運用している大企業の多くは、データとAIチームをサポートし、セルフサービスデータと計算インフラを素早くスピンアップして分解し、新しいデータ分析ツールを試し、データ製品を運用にデプロイする、効率的かつ効果的な方法を持っていません。
本稿では、中央集権型データチームに対して、中央集権型テンプレート、ポリシー、ガバナンスの上にデータ製品を構築するための、オンデマンドのセルフサービスデータプラットフォームインフラストラクチャという形で、この問題に対するソリューションの鍵となる部分を提案する。
コアイノベーションは、イミュータブルなコンテナオペレーティングシステムと、スクラッチからベンダニュートラルで短命なKubernetesクラスタをオンプレミスおよび任意のクラウド環境で作成するためのインフラストラクチャ・アズ・コード方法論を活用するための効率的な方法である。
提案したアプローチは、反復可能でポータブルで費用効率のよい代替手段として機能したり、商用のPlatform-as-a-Service(PaaS)を補完するものとして機能します。
関連論文リスト
- Unlocking the Value of Decentralized Data: A Federated Dual Learning Approach for Model Aggregation [20.023295646723312]
フェデレートラーニング(FL)は、AIモデルを分散データでトレーニング可能にすることで、有望な代替手段を提供する。
既存のFLアプローチは、異種データ分散や通信遅延といった課題により、集中トレーニングのパフォーマンスに匹敵する。
クライアントからのモデル更新のマージをガイドするために,サーバにおける集中型データを活用するデュアルラーニング手法を提案する。
論文 参考訳（メタデータ） (2025-03-26T01:00:35Z) - Towards Human-Guided, Data-Centric LLM Co-Pilots [53.35493881390917]
CliMB-DCは、機械学習コパイロットのための、ヒューマンガイド付き、データ中心のフレームワークである。
高度なデータ中心ツールとLLM駆動推論を組み合わせることで、堅牢でコンテキスト対応のデータ処理を可能にする。
CliMB-DCが未処理のデータセットをML対応フォーマットに変換する方法を示す。
論文 参考訳（メタデータ） (2025-01-17T17:51:22Z) - A Blueprint Architecture of Compound AI Systems for Enterprise [18.109450556443782]
我々は、企業環境で運用する複合AIシステムのための青写真アーキテクチャを、費用対効果と実用性で導入する。
提案したアーキテクチャは,既存の計算とデータインフラストラクチャとのシームレスな統合を目標としています。
論文 参考訳（メタデータ） (2024-06-02T01:16:32Z) - Blockchain-enabled Trustworthy Federated Unlearning [50.01101423318312]
フェデレートアンラーニング(Federated Unlearning)は、分散クライアントのデータオーナシップを保護するための、有望なパラダイムである。
既存の作業では、分散クライアントからの履歴モデルパラメータを保持するために、中央サーバが必要である。
本稿では,ブロックチェーンによる信頼性の高いフェデレーションアンラーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2024-01-29T07:04:48Z) - Bringing AI to the edge: A formal M&S specification to deploy effective
IoT architectures [0.0]
モノのインターネットは私たちの社会を変え、生活の質と資源管理を改善する新しいサービスを提供しています。
これらのアプリケーションは、限られたコンピューティングリソースとパワーを持つ、複数の分散デバイスのユビキタスネットワークに基づいている。
フォグコンピューティングのような新しいアーキテクチャが登場し、コンピューティング基盤をデータソースに近づけている。
論文 参考訳（メタデータ） (2023-05-11T21:29:58Z) - Outsourcing Training without Uploading Data via Efficient Collaborative
Open-Source Sampling [49.87637449243698]
従来のアウトソーシングでは、デバイスデータをクラウドサーバにアップロードする必要がある。
我々は、公開および異種ソースから収集された膨大なデータセットである、広く利用可能なオープンソースデータを活用することを提案する。
我々は,オープンソースデータからクラウドトレーニングのためのプロキシデータセットを構築するための,ECOS(Efficient Collaborative Open-source Sampling)と呼ばれる新しい戦略を開発した。
論文 参考訳（メタデータ） (2022-10-23T00:12:18Z) - Data augmentation through multivariate scenario forecasting in Data
Centers using Generative Adversarial Networks [0.18416014644193063]
人工知能に基づくグローバルなエネルギー効率戦略を実現する上での大きな課題は、アルゴリズムを供給するために大量のデータが必要であることです。
本稿では,データセンタ内の合成シナリオ予測に基づく時系列データ拡張手法を提案する。
我々の研究は、データセンターで消費されるエネルギーを最適化するのに役立ちます。
論文 参考訳（メタデータ） (2022-01-12T15:09:10Z) - SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。
しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
論文 参考訳（メタデータ） (2021-12-22T14:45:37Z) - CateCom: a practical data-centric approach to categorization of
computational models [77.34726150561087]
本稿では,物理モデルとデータ駆動型計算モデルのランドスケープを整理する取り組みについて述べる。
オブジェクト指向設計の概念を適用し、オープンソース協調フレームワークの基礎を概説する。
論文 参考訳（メタデータ） (2021-09-28T02:59:40Z) - The MIT Supercloud Dataset [3.375826083518709]
我々は、大規模なHPCとデータセンター/クラウドオペレーションの分析において、革新的なAI/MLアプローチを促進することを目的とした、MIT Supercloudデータセットを紹介します。
我々は、ジョブ毎のCPUおよびGPU使用率、メモリ使用率、ファイルシステムログ、物理モニタリングデータを含む、MIT Supercloudシステムから詳細な監視ログを提供する。
本稿では,データセットの詳細,収集手法,データ可用性について論じ,このデータを用いて開発されている潜在的な課題について論じる。
論文 参考訳（メタデータ） (2021-08-04T13:06:17Z) - A Privacy-Preserving Distributed Architecture for
Deep-Learning-as-a-Service [68.84245063902908]
本稿では,ディープラーニング・アズ・ア・サービスのための分散アーキテクチャを提案する。
クラウドベースのマシンとディープラーニングサービスを提供しながら、ユーザの機密データを保存できる。
論文 参考訳（メタデータ） (2020-03-30T15:12:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。