論文の概要: Enabling more efficient and cost-effective AI/ML systems with Collective Mind, virtualized MLOps, MLPerf, Collective Knowledge Playground and reproducible optimization tournaments

• arxiv url: http://arxiv.org/abs/2406.16791v1
• Date: Mon, 24 Jun 2024 16:55:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-25 13:55:51.394552
• Title: Enabling more efficient and cost-effective AI/ML systems with Collective Mind, virtualized MLOps, MLPerf, Collective Knowledge Playground and reproducible optimization tournaments
• Title（参考訳）: 集合的マインド、仮想化MLOps、MLPerf、集合的知識プレイグラウンド、再現可能な最適化トーナメントによるより効率的で費用効率の良いAI/MLシステムの実現
• Authors: Grigori Fursin,
• Abstract要約: コミュニティの取り組みとして、AI、ML、その他の一般的なワークロードに対して、より安く、より速く、よりエネルギー効率の高いワークロードを自動で共同設計する取り組みを紹介します。 私は、急速に進化するオープンソースおよびプロプライエタリなAI/MLモデル、データセット、ソフトウェア、ハードウェアにわたる複雑なアプリケーションの構築、実行、プロファイリング、最適化という面倒なプロセスをモジュール化、自動化、仮想化するCMを開発しました。 CMとCM4MLOpsを寄付して、学界と業界を結びつけることで、AIやその他の新興ワークロードを、最も効率的かつコスト効率のよい方法で構築し、実行する方法を学びました。
• 参考スコア（独自算出の注目度）: 0.09065034043031665
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this white paper, I present my community effort to automatically co-design cheaper, faster and more energy-efficient software and hardware for AI, ML and other popular workloads with the help of the Collective Mind framework (CM), virtualized MLOps, MLPerf benchmarks and reproducible optimization tournaments. I developed CM to modularize, automate and virtualize the tedious process of building, running, profiling and optimizing complex applications across rapidly evolving open-source and proprietary AI/ML models, datasets, software and hardware. I achieved that with the help of portable, reusable and technology-agnostic automation recipes (ResearchOps) for MLOps and DevOps (CM4MLOps) discovered in close collaboration with academia and industry when reproducing more than 150 research papers and organizing the 1st mass-scale community benchmarking of ML and AI systems using CM and MLPerf. I donated CM and CM4MLOps to MLCommons to help connect academia and industry to learn how to build and run AI and other emerging workloads in the most efficient and cost-effective way using a common and technology-agnostic automation, virtualization and reproducibility framework while unifying knowledge exchange, protecting everyone's intellectual property, enabling portable skills, and accelerating transfer of the state-of-the-art research to production. My long-term vision is to make AI accessible to everyone by making it a commodity automatically produced from the most suitable open-source and proprietary components from different vendors based on user demand, requirements and constraints such as cost, latency, throughput, accuracy, energy, size and other important characteristics.
• Abstract（参考訳）: このホワイトペーパーで、私はコミュニティの取り組みとして、集団マインドフレームワーク(CM)、仮想化MLOps、MLPerfベンチマーク、再現可能な最適化トーナメントの助けを借りて、AI、MLや他の一般的なワークロードのための、より安く、より速く、よりエネルギー効率の良いソフトウェアとハードウェアを自動で設計する取り組みを紹介します。 私は、急速に進化するオープンソースおよびプロプライエタリなAI/MLモデル、データセット、ソフトウェア、ハードウェアにわたる複雑なアプリケーションの構築、実行、プロファイリング、最適化という面倒なプロセスをモジュール化、自動化、仮想化するCMを開発しました。 MLOpsとDevOps(CM4MLOps)のためのポータブルで再利用性があり、テクノロジに依存しない自動化レシピ(ResearchOps)の助けを借りて、150以上の研究論文を再現し、CMとMLPerfを使用してMLとAIシステムの第1の大規模コミュニティベンチマークを組織した時に、学術と産業の密接なコラボレーションで見つけました。 CMとCM4MLOpsをMLCommonsに寄贈して、一般的な技術に依存しない自動化、仮想化と再現性フレームワークを使用して、AIやその他の新興ワークロードを最も効率的かつコスト効率のよい方法で構築し、運用する方法を学ぶのに役立つようにしました。 私の長期的なビジョンは、コスト、レイテンシ、スループット、正確性、エネルギー、サイズ、その他の重要な特性といった要求と制約に基づいて、異なるベンダーから最も適したオープンソースおよびプロプライエタリなコンポーネントから自動生成されるコモディティを提供することによって、AIを誰でも利用できるようにすることです。

関連論文リスト

• Ilargi: a GPU Compatible Factorized ML Model Training Framework [11.291108172692438]
  Ilargiは、CPUとGPU環境間の自動因数分解を容易にする、コストのかかるリレーショナル結合を必要としない、新しい因数分解学習フレームワークである。 IlargiはMLベースのコスト推定器を組み込んで、データ特性、アルゴリズムの複雑さ、ハードウェア環境、およびそれらのインタラクションに基づいて、因子化と物質化をインテリジェントに選択する。
  論文  参考訳（メタデータ） (2025-02-04T03:59:17Z)
• ComfyBench: Benchmarking LLM-based Agents in ComfyUI for Autonomously Designing Collaborative AI Systems [80.69865295743149]
  この研究は、LLMベースのエージェントを使用して、協調AIシステムを自律的に設計する試みである。 ComfyBenchをベースとしたComfyAgentは,エージェントが自律的に協調的なAIシステムを生成して設計できるようにするフレームワークである。 ComfyAgentは、o1-previewに匹敵する解像度を達成し、ComfyBenchの他のエージェントをはるかに上回っているが、ComfyAgentはクリエイティブタスクの15%しか解決していない。
  論文  参考訳（メタデータ） (2024-09-02T17:44:10Z)
• Spider2-V: How Far Are Multimodal Agents From Automating Data Science and Engineering Workflows? [73.81908518992161]
  我々は、プロのデータサイエンスとエンジニアリングに焦点を当てた最初のマルチモーダルエージェントベンチマークであるSpider2-Vを紹介する。 Spider2-Vは、本物のコンピュータ環境における現実世界のタスクを特徴とし、20のエンタープライズレベルのプロフェッショナルアプリケーションを組み込んでいる。 これらのタスクは、エンタープライズデータソフトウェアシステムにおいて、コードを書き、GUIを管理することで、マルチモーダルエージェントがデータ関連のタスクを実行する能力を評価する。
  論文  参考訳（メタデータ） (2024-07-15T17:54:37Z)
• CARLOS: An Open, Modular, and Scalable Simulation Framework for the Development and Testing of Software for C-ITS [0.0]
  CARLOS - C-ITSにおけるソフトウェアの開発とテストのためのオープンでモジュール化されたスケーラブルなシミュレーションフレームワークを提案する。 このフレームワークの中核となるビルディングブロックを提供し、コミュニティによってどのように利用され、拡張されるかを説明します。 本稿では、重要な設計原則を説明し、3つの主要なユースケースを示すことによって、アーキテクチャのモチベーションを高める。
  論文  参考訳（メタデータ） (2024-04-02T10:48:36Z)
• Experiential Co-Learning of Software-Developing Agents [83.34027623428096]
  大規模言語モデル(LLM)は、特にソフトウェア開発において、様々な領域に大きな変化をもたらした。 本稿では,新しいLLM学習フレームワークであるExperiential Co-Learningを紹介する。 実験では、このフレームワークにより、エージェントは、目に見えないソフトウェア開発タスクをより効果的に対処できることを示した。
  論文  参考訳（メタデータ） (2023-12-28T13:50:42Z)
• In Situ Framework for Coupling Simulation and Machine Learning with Application to CFD [51.04126395480625]
  近年、流体力学計算を容易にする機械学習(ML)の多くの成功例が報告されている。 シミュレーションが大きくなるにつれて、従来のオフライン学習のための新しいトレーニングデータセットの生成は、I/Oとストレージのボトルネックを生み出します。 この作業は、この結合を単純化し、異種クラスタでのその場トレーニングと推論を可能にするソリューションを提供する。
  論文  参考訳（メタデータ） (2023-06-22T14:07:54Z)
• OmniForce: On Human-Centered, Large Model Empowered and Cloud-Edge Collaborative AutoML System [85.8338446357469]
  我々は人間中心のAutoMLシステムであるOmniForceを紹介した。 我々は、OmniForceがAutoMLシステムを実践し、オープン環境シナリオにおける適応型AIを構築する方法について説明する。
  論文  参考訳（メタデータ） (2023-03-01T13:35:22Z)
• MALib: A Parallel Framework for Population-based Multi-agent Reinforcement Learning [61.28547338576706]
  人口ベースマルチエージェント強化学習(PB-MARL)は、強化学習(RL)アルゴリズムでネストした一連の手法を指す。 PB-MARLのためのスケーラブルで効率的な計算フレームワークMALibを提案する。
  論文  参考訳（メタデータ） (2021-06-05T03:27:08Z)
• Collective Knowledge: organizing research projects as a database of reusable components and portable workflows with common APIs [0.2538209532048866]
  この記事では、集合的知識フレームワーク(CKまたはcKnowledge)のモチベーションと概要について述べる。 CKの概念は、研究プロジェクトを研究成果物をカプセル化した再利用可能なコンポーネントに分解することである。 長期的な目標は、研究者と実践者を結びつけて、すべての知識を共有し再利用することで、イノベーションを加速させることである。
  論文  参考訳（メタデータ） (2020-11-02T17:42:59Z)
• The Collective Knowledge project: making ML models more portable and reproducible with open APIs, reusable best practices and MLOps [0.2538209532048866]
  本稿では、集合知識技術(CKまたはcKnowledge CK)の概要を紹介する。 CKはMLとシステムの研究を再現しやすくし、実運用環境にMLモデルをデプロイし、データセット、モデル、研究技術、ソフトウェア、ハードウェアの変更に適応させようとしている。
  論文  参考訳（メタデータ） (2020-06-12T13:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。