論文の概要: A Preliminary Investigation of MLOps Practices in GitHub

• arxiv url: http://arxiv.org/abs/2209.11453v1
• Date: Fri, 23 Sep 2022 07:29:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-26 17:24:33.801154
• Title: A Preliminary Investigation of MLOps Practices in GitHub
• Title（参考訳）: GitHubにおけるMLOpsの実践に関する予備調査
• Authors: Fabio Calefato, Filippo Lanubile, Luigi Quaranta
• Abstract要約: 機械学習アプリケーションはMLOpsへの関心が高まっている。 GitHubから取得したML対応システムのセットで実装されているMLOpsプラクティスについて、まず最初に調査する。
• 参考スコア（独自算出の注目度）: 10.190501703364234
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Background. The rapid and growing popularity of machine learning (ML) applications has led to an increasing interest in MLOps, that is, the practice of continuous integration and deployment (CI/CD) of ML-enabled systems. Aims. Since changes may affect not only the code but also the ML model parameters and the data themselves, the automation of traditional CI/CD needs to be extended to manage model retraining in production. Method. In this paper, we present an initial investigation of the MLOps practices implemented in a set of ML-enabled systems retrieved from GitHub, focusing on GitHub Actions and CML, two solutions to automate the development workflow. Results. Our preliminary results suggest that the adoption of MLOps workflows in open-source GitHub projects is currently rather limited. Conclusions. Issues are also identified, which can guide future research work.
• Abstract（参考訳）: 背景。 機械学習(ML)アプリケーションの急速な普及により、MLOps、すなわち、ML対応システムの継続的インテグレーションとデプロイメント(CI/CD)のプラクティスへの関心が高まっている。 狙いだ 変更はコードだけでなく、MLモデルパラメータやデータ自体にも影響する可能性があるため、運用時のモデル再トレーニングを管理するためには、従来のCI/CDの自動化を拡張する必要がある。 方法。 本稿では,GitHubから取得したML対応システムのセットに実装されているMLOpsプラクティスについて,開発ワークフローを自動化する2つのソリューションであるGitHub ActionsとCMLに着目した最初の調査を行う。 結果だ 予備的な結果は、オープンソースGitHubプロジェクトにおけるMLOpsワークフローの採用が、現在かなり制限されていることを示唆しています。 結論だ 課題も特定され、将来の研究を導くことができる。

関連論文リスト

• Position: A Call to Action for a Human-Centered AutoML Paradigm [83.78883610871867]
  自動機械学習(AutoML)は、機械学習(ML)を自動かつ効率的に構成する基本的目的を中心に形成された。 AutoMLの完全な可能性を解き放つ鍵は、現在探索されていないAutoMLシステムとのユーザインタラクションの側面に対処することにある、と私たちは主張する。
  論文  参考訳（メタデータ） (2024-06-05T15:05:24Z)
• Are you still on track!? Catching LLM Task Drift with Activations [55.75645403965326]
  タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。 そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。 このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
  論文  参考訳（メタデータ） (2024-06-02T16:53:21Z)
• On the effectiveness of Large Language Models for GitHub Workflows [9.82254417875841]
  大規模言語モデル(LLM)は、様々なソフトウェア開発タスクにおいてその効果を実証している。 異なるレベルのプロンプトを持つ5つのワークフロー関連タスクにおけるLLMの有効性を理解するための、最初の総合的研究を行う。 現状のLLMと細調整した3種類のLLMの評価結果から,LLMの現在の有効性と欠点について,様々な興味深い知見が得られた。
  論文  参考訳（メタデータ） (2024-03-19T05:14:12Z)
• YAMLE: Yet Another Machine Learning Environment [4.985768723667417]
  YAMLEはオープンソースのフレームワークで、機械学習(ML)モデルとメソッドによる迅速なプロトタイピングと実験を容易にする。 YAMLEにはコマンドラインインターフェースと、人気があり保守状態の良いPyTorchベースのライブラリとの統合が含まれている。 YAMLEの目標は、研究者や実践者が既存の実装を素早く構築し比較できる共有エコシステムに成長することだ。
  論文  参考訳（メタデータ） (2024-02-09T09:34:36Z)
• ML-Bench: Evaluating Large Language Models and Agents for Machine Learning Tasks on Repository-Level Code [76.84199699772903]
  ML-Benchは、既存のコードリポジトリを利用してタスクを実行する現実世界のプログラミングアプリケーションに根ざしたベンチマークである。 LLM(Large Language Model)とAIエージェントの両方を評価するために、事前に定義されたデプロイメント環境でLLMのテキスト-コード変換を評価するML-LLM-Benchと、Linuxサンドボックス環境でエンドツーエンドのタスク実行で自律エージェントをテストするML-Agent-Benchの2つの設定が採用されている。
  論文  参考訳（メタデータ） (2023-11-16T12:03:21Z)
• Octavius: Mitigating Task Interference in MLLMs via LoRA-MoE [83.00018517368973]
  LLM(Large Language Models)は、命令チューニングを通じて、ゼロショット能力をマルチモーダル学習に拡張することができる。 ネガティブな対立や干渉は パフォーマンスに悪影響を及ぼすかもしれない 我々は、よく知られたMixture-of-Experts(MoE)と代表的なPEFT技法の1つであるLoRA(LoRA-MoE)を組み合わせて、マルチモーダル学習のための新しいLLMベースのデコーダ(LoRA-MoE)を設計する。
  論文  参考訳（メタデータ） (2023-11-05T15:48:29Z)
• MLAgentBench: Evaluating Language Agents on Machine Learning Experimentation [96.71370747681078]
  我々は,CIFAR-10におけるモデル性能の改善から,BabyLMのような最近の研究課題まで,13のタスクからなるMLAgentBenchを紹介した。 各タスクに対して、エージェントはファイルの読み書き、コードの実行、出力の検査などのアクションを実行することができる。 我々は、Claude v1.0、Claude v2.1、Claude v3 Opus、GPT-4、GPT-4-turbo、Gemini-Pro、Mixtralに基づいてベンチマークエージェントをベンチマークし、Claude v3 Opusエージェントが成功率の点で最高であることを示す。
  論文  参考訳（メタデータ） (2023-10-05T04:06:12Z)
• MLOps: A Step Forward to Enterprise Machine Learning [0.0]
  この研究は、MLOps、そのメリット、困難、進化、および重要な基盤技術に関する詳細なレビューを提示する。 MLOpsワークフローは、モデルとデータ探索とデプロイメントの両方に必要なさまざまなツールとともに、詳細に説明されている。 この記事では、さまざまな成熟度の高い自動パイプラインを使用して、MLプロジェクトのエンドツーエンド生産にも光を当てます。
  論文  参考訳（メタデータ） (2023-05-27T20:44:14Z)
• OmniForce: On Human-Centered, Large Model Empowered and Cloud-Edge Collaborative AutoML System [85.8338446357469]
  我々は人間中心のAutoMLシステムであるOmniForceを紹介した。 我々は、OmniForceがAutoMLシステムを実践し、オープン環境シナリオにおける適応型AIを構築する方法について説明する。
  論文  参考訳（メタデータ） (2023-03-01T13:35:22Z)
• Enabling Un-/Semi-Supervised Machine Learning for MDSE of the Real-World CPS/IoT Applications [0.5156484100374059]
  我々は、スマートサイバー物理システム(CPS)とIoT(Internet of Things)の現実的なユースケースシナリオに対して、ドメイン固有モデル駆動ソフトウェアエンジニアリング(MDSE)をサポートする新しいアプローチを提案する。 人工知能(AI)の本質において利用可能なデータの大部分はラベルが付けられていないと我々は主張する。したがって、教師なしおよび/または半教師なしのMLアプローチが実践的な選択である。 提案手法は,既存の最先端MDSEツールと完全に実装され,CPS/IoTドメインを提供する。
  論文  参考訳（メタデータ） (2021-07-06T15:51:39Z)
• MLModelCI: An Automatic Cloud Platform for Efficient MLaaS [15.029094196394862]
  当社はこのプラットフォームを,Apache 2.0ライセンス下でGitHub上でオープンソースプロジェクトとしてリリースしています。 私たちのシステムは、現在のMLトレーニングとサービスシステムのギャップを埋めます。
  論文  参考訳（メタデータ） (2020-06-09T07:48:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。