論文の概要: Enabling more efficient and cost-effective AI/ML systems with Collective Mind, virtualized MLOps, MLPerf, Collective Knowledge Playground and reproducible optimization tournaments

• arxiv url: http://arxiv.org/abs/2406.16791v2
• Date: Mon, 02 Dec 2024 00:12:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-03 16:54:18.250019
• Title: Enabling more efficient and cost-effective AI/ML systems with Collective Mind, virtualized MLOps, MLPerf, Collective Knowledge Playground and reproducible optimization tournaments
• Title（参考訳）: 集合的マインド、仮想化MLOps、MLPerf、集合的知識プレイグラウンド、再現可能な最適化トーナメントによるより効率的で費用効率の良いAI/MLシステムの実現
• Authors: Grigori Fursin,
• Abstract要約: このホワイトペーパーでは、AI、ML、その他の新興ワークロードの実行方法を学ぶための、私の教育コミュニティイニシアチブを紹介します。 私は最小限の依存関係を持つ小型でポータブルなPythonパッケージとしてCollective Mindを作りました。 私は、学界と産業のコラボレーションを促進するために、CK、CM、CM4MLOpsをMLCommonsに寄付しました。
• 参考スコア（独自算出の注目度）: 0.09065034043031665
• License:
• Abstract: This white paper introduces my educational community initiative to learn how to run AI, ML and other emerging workloads in the most efficient and cost-effective way across diverse models, data sets, software and hardware. This project leverages Collective Mind (CM), virtualized MLOps and DevOps (CM4MLOps), MLPerf benchmarks, and the Collective Knowledge playground (CK), which I have developed in collaboration with the community and MLCommons. I created Collective Mind as a small and portable Python package with minimal dependencies, a unified CLI and Python API to help researchers and engineers automate repetitive, tedious, and time-consuming tasks. I also designed CM as a distributed framework, continuously enhanced by the community through the CM4* repositories, which function as the unified interface for organizing and managing various collections of automations and artifacts. For example, CM4MLOps repository includes many automations, also known as CM scripts, to streamline the process of building, running, benchmarking, and optimizing AI, ML, and other workflows across ever-evolving models, data, and systems. I donated CK, CM and CM4MLOps to MLCommons to foster collaboration between academia and industry to learn how to co-design more efficient and cost-effective AI systems while capturing and encoding knowledge within Collective Mind, protecting intellectual property, enabling portable skills, and accelerating the transition of the state-of-the-art research into production. My ultimate goal is to collaborate with the community to complete my two-decade journey toward creating self-optimizing software and hardware that can automatically learn how to run any workload in the most efficient and cost-effective manner based on user requirements and constraints such as cost, latency, throughput, accuracy, power consumption, size, and other critical factors.
• Abstract（参考訳）: この白書では、AI、ML、その他の新興ワークロードを、さまざまなモデル、データセット、ソフトウェア、ハードウェアにわたって、最も効率的かつコスト効率のよい方法で実行する方法を学ぶための、私の教育コミュニティイニシアチブを紹介します。 このプロジェクトは、私がコミュニティやMLCommonsと共同で開発した、集合的マインド(CM)、仮想化されたMLOpsとDevOps(CM4MLOps)、MLPerfベンチマーク、および集合的知識遊び場(CK)を活用しています。 私は、最小限の依存関係と統一されたCLIとPython APIを備えた、小さなポータブルなPythonパッケージとして、Collective Mindを作りました。 私はまた、CMを分散フレームワークとして設計し、CM4*リポジトリを通じてコミュニティによって継続的に強化しました。 例えば、CM4MLOpsリポジトリには、進化を続けるモデル、データ、システム間でAI、ML、その他のワークフローを構築し、実行し、ベンチマークし、最適化するプロセスを合理化する、CMスクリプトとしても知られる多くの自動化が含まれている。 CK、CM、CM4MLOpsをMLCommonsに寄贈して、より効率的で費用効率のよいAIシステムを共同設計する方法を学びながら、知的財産の保護、ポータブルなスキルの実現、最先端の研究のプロダクションへの移行を加速させました。 私の最終的な目標は、ユーザ要件やコスト、レイテンシ、スループット、正確性、消費電力、サイズ、その他の重要な要因に基づいて、あらゆるワークロードを最も効率的かつコスト効率のよい方法で自動的に実行する方法を学ぶことのできる、自己最適化ソフトウェアとハードウェアを開発するための、コミュニティとの2年にわたる旅を完了させることです。

関連論文リスト

• Ilargi: a GPU Compatible Factorized ML Model Training Framework [11.291108172692438]
  Ilargiは、CPUとGPU環境間の自動因数分解を容易にする、コストのかかるリレーショナル結合を必要としない、新しい因数分解学習フレームワークである。 IlargiはMLベースのコスト推定器を組み込んで、データ特性、アルゴリズムの複雑さ、ハードウェア環境、およびそれらのインタラクションに基づいて、因子化と物質化をインテリジェントに選択する。
  論文  参考訳（メタデータ） (2025-02-04T03:59:17Z)
• ComfyBench: Benchmarking LLM-based Agents in ComfyUI for Autonomously Designing Collaborative AI Systems [80.69865295743149]
  この研究は、LLMベースのエージェントを使用して、協調AIシステムを自律的に設計する試みである。 ComfyBenchをベースとしたComfyAgentは,エージェントが自律的に協調的なAIシステムを生成して設計できるようにするフレームワークである。 ComfyAgentは、o1-previewに匹敵する解像度を達成し、ComfyBenchの他のエージェントをはるかに上回っているが、ComfyAgentはクリエイティブタスクの15%しか解決していない。
  論文  参考訳（メタデータ） (2024-09-02T17:44:10Z)
• Spider2-V: How Far Are Multimodal Agents From Automating Data Science and Engineering Workflows? [73.81908518992161]
  我々は、プロのデータサイエンスとエンジニアリングに焦点を当てた最初のマルチモーダルエージェントベンチマークであるSpider2-Vを紹介する。 Spider2-Vは、本物のコンピュータ環境における現実世界のタスクを特徴とし、20のエンタープライズレベルのプロフェッショナルアプリケーションを組み込んでいる。 これらのタスクは、エンタープライズデータソフトウェアシステムにおいて、コードを書き、GUIを管理することで、マルチモーダルエージェントがデータ関連のタスクを実行する能力を評価する。
  論文  参考訳（メタデータ） (2024-07-15T17:54:37Z)
• CARLOS: An Open, Modular, and Scalable Simulation Framework for the Development and Testing of Software for C-ITS [0.0]
  CARLOS - C-ITSにおけるソフトウェアの開発とテストのためのオープンでモジュール化されたスケーラブルなシミュレーションフレームワークを提案する。 このフレームワークの中核となるビルディングブロックを提供し、コミュニティによってどのように利用され、拡張されるかを説明します。 本稿では、重要な設計原則を説明し、3つの主要なユースケースを示すことによって、アーキテクチャのモチベーションを高める。
  論文  参考訳（メタデータ） (2024-04-02T10:48:36Z)
• Experiential Co-Learning of Software-Developing Agents [83.34027623428096]
  大規模言語モデル(LLM)は、特にソフトウェア開発において、様々な領域に大きな変化をもたらした。 本稿では,新しいLLM学習フレームワークであるExperiential Co-Learningを紹介する。 実験では、このフレームワークにより、エージェントは、目に見えないソフトウェア開発タスクをより効果的に対処できることを示した。
  論文  参考訳（メタデータ） (2023-12-28T13:50:42Z)
• In Situ Framework for Coupling Simulation and Machine Learning with Application to CFD [51.04126395480625]
  近年、流体力学計算を容易にする機械学習(ML)の多くの成功例が報告されている。 シミュレーションが大きくなるにつれて、従来のオフライン学習のための新しいトレーニングデータセットの生成は、I/Oとストレージのボトルネックを生み出します。 この作業は、この結合を単純化し、異種クラスタでのその場トレーニングと推論を可能にするソリューションを提供する。
  論文  参考訳（メタデータ） (2023-06-22T14:07:54Z)
• OmniForce: On Human-Centered, Large Model Empowered and Cloud-Edge Collaborative AutoML System [85.8338446357469]
  我々は人間中心のAutoMLシステムであるOmniForceを紹介した。 我々は、OmniForceがAutoMLシステムを実践し、オープン環境シナリオにおける適応型AIを構築する方法について説明する。
  論文  参考訳（メタデータ） (2023-03-01T13:35:22Z)
• MALib: A Parallel Framework for Population-based Multi-agent Reinforcement Learning [61.28547338576706]
  人口ベースマルチエージェント強化学習(PB-MARL)は、強化学習(RL)アルゴリズムでネストした一連の手法を指す。 PB-MARLのためのスケーラブルで効率的な計算フレームワークMALibを提案する。
  論文  参考訳（メタデータ） (2021-06-05T03:27:08Z)
• Collective Knowledge: organizing research projects as a database of reusable components and portable workflows with common APIs [0.2538209532048866]
  この記事では、集合的知識フレームワーク(CKまたはcKnowledge)のモチベーションと概要について述べる。 CKの概念は、研究プロジェクトを研究成果物をカプセル化した再利用可能なコンポーネントに分解することである。 長期的な目標は、研究者と実践者を結びつけて、すべての知識を共有し再利用することで、イノベーションを加速させることである。
  論文  参考訳（メタデータ） (2020-11-02T17:42:59Z)
• The Collective Knowledge project: making ML models more portable and reproducible with open APIs, reusable best practices and MLOps [0.2538209532048866]
  本稿では、集合知識技術(CKまたはcKnowledge CK)の概要を紹介する。 CKはMLとシステムの研究を再現しやすくし、実運用環境にMLモデルをデプロイし、データセット、モデル、研究技術、ソフトウェア、ハードウェアの変更に適応させようとしている。
  論文  参考訳（メタデータ） (2020-06-12T13:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。