論文の概要: stratum: A System Infrastructure for Massive Agent-Centric ML Workloads

• arxiv url: http://arxiv.org/abs/2603.03589v2
• Date: Thu, 05 Mar 2026 07:47:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-06 15:25:24.359282
• Title: stratum: A System Infrastructure for Massive Agent-Centric ML Workloads
• Title（参考訳）: stratum: 大規模エージェント中心のMLワークロードのためのシステムインフラストラクチャ
• Authors: Arnab Phani, Elias Strauss, Sebastian Schelter,
• Abstract要約: 大規模言語モデル(LLM)は、完全な機械学習(ML)パイプラインを生成し、検証し、最適化する。 既存のPythonベースのMLエコシステムは、Panda scikit-learnのようなライブラリを中心に構築されている。 パイプライン実行を計画と推論から分離する統合システムインフラストラクチャである Stratum を提案する。
• 参考スコア（独自算出の注目度）: 8.123450153690424
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in large language models (LLMs) transform how machine learning (ML) pipelines are developed and evaluated. LLMs enable a new type of workload, agentic pipeline search, in which autonomous or semi-autonomous agents generate, validate, and optimize complete ML pipelines. These agents predominantly operate over popular Python ML libraries and exhibit highly exploratory behavior. This results in thousands of executions for data profiling, pipeline generation, and iterative refinement of pipeline stages. However, the existing Python-based ML ecosystem is built around libraries such as Pandas and scikit-learn, which are designed for human-centric, interactive, sequential workflows and remain constrained by Python's interpretive execution model, library-level isolation, and limited runtime support for executing large numbers of pipelines. Meanwhile, many high-performance ML systems proposed by the systems community either target narrow workload classes or require specialized programming models, which limits their integration with the Python ML ecosystem and makes them largely ill-suited for LLM-based agents. This growing mismatch exposes a fundamental systems challenge in supporting agentic pipeline search at scale. We therefore propose stratum, a unified system infrastructure that decouples pipeline execution from planning and reasoning during agentic pipeline search. Stratum integrates seamlessly with existing Python libraries, compiles batches of pipelines into optimized execution graphs, and efficiently executes them across heterogeneous backends, including a novel Rust-based runtime. We present stratum's architectural vision along with an early prototype, discuss key design decisions, and outline open challenges and research directions. Finally, preliminary experiments show that stratum can significantly speed up large-scale agentic pipeline search up to 16.6x.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、機械学習(ML)パイプラインの開発と評価方法を変える。 LLMは、自律的または半自律的なエージェントが完全なMLパイプラインを生成し、検証し、最適化する、新しいタイプのワークロード、エージェントパイプラインサーチを可能にする。 これらのエージェントは主に人気のあるPython MLライブラリ上で動作し、探索的な振る舞いを示す。 これにより、データプロファイリング、パイプライン生成、パイプラインステージの反復的な洗練のための数千の実行が実現される。 しかしながら、既存のPythonベースのMLエコシステムは、PandasやScikit-learnなどのライブラリを中心に構築されている。これは、人間中心でインタラクティブでシーケンシャルなワークフロー用に設計され、Pythonの解釈実行モデル、ライブラリレベルの分離、多数のパイプラインを実行するためのランタイムサポートの制限が保たれている。 一方、システムコミュニティによって提案された高性能MLシステムは、狭いワークロードクラスをターゲットにするか、Python MLエコシステムとの統合を制限する特別なプログラミングモデルを必要とする。 この増大するミスマッチは、エージェントパイプライン検索を大規模にサポートする上での基本的なシステム課題を露呈する。 そこで我々は,エージェントパイプライン探索時の計画と推論からパイプライン実行を分離する統合システム基盤である Stratum を提案する。 Stratumは既存のPythonライブラリとシームレスに統合され、パイプラインのバッチを最適化された実行グラフにコンパイルし、新しいRustベースのランタイムを含む異種バックエンドで効率的に実行する。 我々は、初期プロトタイプとともに、成層のアーキテクチャビジョンを提示し、重要な設計決定について議論し、オープンな課題と研究の方向性を概説する。 最後に、予備実験により、地層は大規模エージェントパイプラインの探索を16.6倍に高速化できることが示された。

関連論文リスト

• SemPipes -- Optimizable Semantic Data Operators for Tabular Machine Learning Pipelines [12.816711873869984]
  本稿では,セマンティックデータ演算子をMLパイプラインに統合する新しい宣言型プログラミングモデルであるSemPipesを紹介する。 SemPipesはデータ特性、演算子命令、パイプラインコンテキストに基づいて、カスタム演算子実装を合成する。 セマンティック演算子は、専門家が設計したパイプラインとエージェント生成パイプラインの両方において、エンドツーエンドの予測性能を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2026-02-04T23:36:29Z)
• Plug-and-Play Benchmarking of Reinforcement Learning Algorithms for Large-Scale Flow Control [61.155940786140455]
  強化学習(RL)は,アクティブフロー制御(AFC)において有望な結果を示した。 現在のAFCベンチマークは、外部計算流体力学(CFD)の解法に依存しており、完全には微分不可能であり、3Dとマルチエージェントのサポートが限られている。 AFCにおけるRLのための最初のスタンドアロンで完全に差別化可能なベンチマークスイートであるFluidGymを紹介する。
  論文  参考訳（メタデータ） (2026-01-21T14:13:44Z)
• AdaPtis: Reducing Pipeline Bubbles with Adaptive Pipeline Parallelism on Heterogeneous Models [59.7059443712562]
  AdaPtisは、適応パイプライン並列性をサポートする大規模言語モデル(LLM)のトレーニングシステムである。 大規模な実験により、AdaPtisはMegatron-LM I-1F1Bよりも平均1.42倍(最大2.14倍)のスピードアップを達成した。
  論文  参考訳（メタデータ） (2025-09-28T08:05:13Z)
• AutoML-Agent: A Multi-Agent LLM Framework for Full-Pipeline AutoML [56.565200973244146]
  自動機械学習(Automated Machine Learning, ML)は、開発パイプライン内のタスクを自動化することによって、AI開発を加速する。 近年の作業では,そのような負担を軽減するために,大規模言語モデル(LLM)の利用が始まっている。 本稿では,フルパイプのAutoMLに適した新しいマルチエージェントフレームワークであるAutoML-Agentを提案する。
  論文  参考訳（メタデータ） (2024-10-03T20:01:09Z)
• Instrumentation and Analysis of Native ML Pipelines via Logical Query Plans [3.2362171533623054]
  私たちは、データサイエンティストが機械学習パイプラインを開発し、検証し、監視し、分析するのを支援するために、高度に自動化されたソフトウェアプラットフォームを構想しています。 一般的なライブラリに依存したMLパイプラインコードから"論理クエリプラン"を抽出する。 これらの計画に基づいて、パイプラインのセマンティクスとインスツルメンタを自動で推論し、MLパイプラインを書き換えて、データサイエンティストが手動でアノテートしたり、コードを書き換えたりすることなく、さまざまなユースケースを可能にします。
  論文  参考訳（メタデータ） (2024-07-10T11:35:02Z)
• Deep Pipeline Embeddings for AutoML [11.168121941015015]
  AutoMLは、最小限の人間の専門知識で機械学習システムを自動デプロイすることで、AIを民主化するための有望な方向である。 既存のパイプライン最適化テクニックでは、パイプラインステージ/コンポーネント間の深いインタラクションを探索できない。 本稿では,機械学習パイプラインのコンポーネント間のディープインタラクションをキャプチャするニューラルアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-05-23T12:40:38Z)
• NumS: Scalable Array Programming for the Cloud [82.827921577004]
  タスクベース分散システム上でNumPyのような表現を最適化する配列プログラミングライブラリであるNumSを提案する。 これはLoad Simulated Hierarchical Scheduling (LSHS)と呼ばれる新しいスケジューラによって実現される。 LSHSは、ネットワーク負荷を2倍減らし、メモリを4倍減らし、ロジスティック回帰問題において実行時間を10倍減らし、Rayの性能を向上させる。
  論文  参考訳（メタデータ） (2022-06-28T20:13:40Z)
• SapientML: Synthesizing Machine Learning Pipelines by Learning from Human-Written Solutions [28.718446733713183]
  既存のデータセットとその人手によるパイプラインのコーパスから学習できるAutoML SapientMLを提案する。 我々は、170のデータセットにまたがる1094のパイプラインのトレーニングコーパスを作成し、41のベンチマークデータセットでSapientMLを評価した。 我々の評価によると、SapientMLは27のベンチマークでベストまたは同等の精度で、第2のツールでは9のインスタンスでパイプラインを生成できない。
  論文  参考訳（メタデータ） (2022-02-18T20:45:47Z)
• VolcanoML: Speeding up End-to-End AutoML via Scalable Search Space Decomposition [57.06900573003609]
  VolcanoMLは、大規模なAutoML検索スペースを小さなものに分解するフレームワークである。 最新のデータベースシステムでサポートされているような、Volcanoスタイルの実行モデルをサポートしている。 評価の結果,VolcanoMLは,AutoMLにおける検索空間分解の表現性を向上するだけでなく,分解戦略の実際の発見につながることが示された。
  論文  参考訳（メタデータ） (2021-07-19T13:23:57Z)
• TeraPipe: Token-Level Pipeline Parallelism for Training Large-Scale Language Models [60.23234205219347]
  TeraPipeは、Transformerベースの言語モデルの同期モデル並列トレーニングのための高性能トークンレベルのパイプライン並列アルゴリズムです。 TeraPipeは、AWSクラスタ上で1750億のパラメータを持つ最大のGPT-3モデルのトレーニングを5.0倍高速化できることを示す。
  論文  参考訳（メタデータ） (2021-02-16T07:34:32Z)
• AutoWeka4MCPS-AVATAR: Accelerating Automated Machine Learning Pipeline Composition and Optimisation [13.116806430326513]
  本稿では,サロゲートモデル(AVATAR)を用いて,実行せずにMLパイプラインの有効性を評価する手法を提案する。 AVATARは、データセットの特徴に対するMLアルゴリズムの機能と効果を自動的に学習することで、知識ベースを生成する。 AVATARはその妥当性を評価するためにオリジナルのMLパイプラインを実行する代わりに、MLパイプラインコンポーネントの機能と効果によって構築されたサロゲートモデルを評価する。
  論文  参考訳（メタデータ） (2020-11-21T14:05:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。