論文の概要: Data Virtualization for Machine Learning

• arxiv url: http://arxiv.org/abs/2507.17293v1
• Date: Wed, 23 Jul 2025 07:53:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-24 22:33:14.907937
• Title: Data Virtualization for Machine Learning
• Title（参考訳）: 機械学習のためのデータ仮想化
• Authors: Saiful Khan, Joyraj Chakraborty, Philip Beaucamp, Niraj Bhujel, Min Chen,
• Abstract要約: 機械学習(ML)チームは、異なるアプリケーションに対して複数の並行MLを持っている。 組織的には、保存、処理、維持される大量の中間データがあります。 データ仮想化は、MLを提供するインフラストラクチャにおいて重要な技術になる。
• 参考スコア（独自算出の注目度）: 2.3137533618070503
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Nowadays, machine learning (ML) teams have multiple concurrent ML workflows for different applications. Each workflow typically involves many experiments, iterations, and collaborative activities and commonly takes months and sometimes years from initial data wrangling to model deployment. Organizationally, there is a large amount of intermediate data to be stored, processed, and maintained. \emph{Data virtualization} becomes a critical technology in an infrastructure to serve ML workflows. In this paper, we present the design and implementation of a data virtualization service, focusing on its service architecture and service operations. The infrastructure currently supports six ML applications, each with more than one ML workflow. The data virtualization service allows the number of applications and workflows to grow in the coming years.
• Abstract（参考訳）: 今日では、機械学習(ML)チームは、異なるアプリケーションのための複数の並行MLワークフローを持っている。 各ワークフローは通常、多くの実験、イテレーション、協調的なアクティビティを伴い、通常、最初のデータラングリングからモデルデプロイメントまで数ヶ月、時には数年を要します。 組織的には、保存、処理、維持される大量の中間データがあります。 \emph{Data virtualization}は、MLワークフローを提供するインフラストラクチャにおいて、重要な技術になる。 本稿では,データ仮想化サービスの設計と実装について述べる。 現在、インフラストラクチャは6つのMLアプリケーションをサポートしており、それぞれに1つ以上のMLワークフローがある。 データ仮想化サービスにより、今後数年間でアプリケーションやワークフローの数が増える。

関連論文リスト

• On Domain-Adaptive Post-Training for Multimodal Large Language Models [72.67107077850939]
  本稿では,MLLMのドメイン適応をポストトレーニングにより体系的に検討する。 データ合成、トレーニングパイプライン、タスク評価に重点を置いています。 バイオメディシン、食品、リモートセンシングなどの高インパクト領域で実験を行う。
  論文  参考訳（メタデータ） (2024-11-29T18:42:28Z)
• WorkflowLLM: Enhancing Workflow Orchestration Capability of Large Language Models [105.46456444315693]
  ワークフローオーケストレーションにおける大規模言語モデルの能力を高めるための,データ中心のフレームワークであるLLMを提案する。 最初は106,763のサンプルで大規模な微調整Benchを構築し、28のカテゴリにわたる83のアプリケーションから1,503のAPIをカバーしている。 LlamaLlamaは複雑なAPIをオーケストレーションする能力を示しながら、優れた一般化性能を実現している。
  論文  参考訳（メタデータ） (2024-11-08T09:58:02Z)
• Spider2-V: How Far Are Multimodal Agents From Automating Data Science and Engineering Workflows? [73.81908518992161]
  我々は、プロのデータサイエンスとエンジニアリングに焦点を当てた最初のマルチモーダルエージェントベンチマークであるSpider2-Vを紹介する。 Spider2-Vは、本物のコンピュータ環境における現実世界のタスクを特徴とし、20のエンタープライズレベルのプロフェッショナルアプリケーションを組み込んでいる。 これらのタスクは、エンタープライズデータソフトウェアシステムにおいて、コードを書き、GUIを管理することで、マルチモーダルエージェントがデータ関連のタスクを実行する能力を評価する。
  論文  参考訳（メタデータ） (2024-07-15T17:54:37Z)
• The Synergy between Data and Multi-Modal Large Language Models: A Survey from Co-Development Perspective [53.48484062444108]
  モデルとデータの開発は2つの別々のパスではなく、むしろ相互接続であることがわかった。 一方,MLLMはデータ開発に役立てることができるため,MLLMの性能向上に寄与する。 MLLMコミュニティにおけるデータモデル共同開発を促進するために,データモデル共同開発の観点からMLLMに関連する既存の研究を体系的にレビューする。
  論文  参考訳（メタデータ） (2024-07-11T15:08:11Z)
• Couler: Unified Machine Learning Workflow Optimization in Cloud [6.769259207650922]
  Coulerは、クラウドにおけるMLワークフローの統一最適化のために設計されたシステムである。 大規模言語モデル(LLM)をワークフロー生成に統合し、さまざまなワークフローエンジンに統一されたプログラミングインターフェースを提供する。 Couerは、CPU/メモリ使用率を15%以上改善し、ワークフロー完了率を約17%向上させた。
  論文  参考訳（メタデータ） (2024-03-12T12:47:32Z)
• In Situ Framework for Coupling Simulation and Machine Learning with Application to CFD [51.04126395480625]
  近年、流体力学計算を容易にする機械学習(ML)の多くの成功例が報告されている。 シミュレーションが大きくなるにつれて、従来のオフライン学習のための新しいトレーニングデータセットの生成は、I/Oとストレージのボトルネックを生み出します。 この作業は、この結合を単純化し、異種クラスタでのその場トレーニングと推論を可能にするソリューションを提供する。
  論文  参考訳（メタデータ） (2023-06-22T14:07:54Z)
• MLOps: A Step Forward to Enterprise Machine Learning [0.0]
  この研究は、MLOps、そのメリット、困難、進化、および重要な基盤技術に関する詳細なレビューを提示する。 MLOpsワークフローは、モデルとデータ探索とデプロイメントの両方に必要なさまざまなツールとともに、詳細に説明されている。 この記事では、さまざまな成熟度の高い自動パイプラインを使用して、MLプロジェクトのエンドツーエンド生産にも光を当てます。
  論文  参考訳（メタデータ） (2023-05-27T20:44:14Z)
• Efficient Device Scheduling with Multi-Job Federated Learning [64.21733164243781]
  本稿では,複数のジョブの並列学習プロセスを実現するための,新しいマルチジョブフェデレーション学習フレームワークを提案する。 コストを最小化しつつ、複数のジョブに対してデバイスをスケジュールする強化学習法とベイズ最適化法を提案する。 提案手法は,トレーニング時間(最大8.67倍高速)と精度(最大44.6%高)において,ベースラインアプローチよりも有意に優れていた。
  論文  参考訳（メタデータ） (2021-12-11T08:05:11Z)
• Exploring the potential of flow-based programming for machine learning deployment in comparison with service-oriented architectures [8.677012233188968]
  理由のひとつは、データ収集と分析に関するアクティビティのために設計されていないインフラストラクチャである、と私たちは論じています。 本稿では,データストリームを用いたフローベースのプログラミングを,ソフトウェアアプリケーション構築に広く使用されるサービス指向アーキテクチャの代替として検討する。
  論文  参考訳（メタデータ） (2021-08-09T15:06:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。