論文の概要: Jup2Kub: algorithms and a system to translate a Jupyter Notebook pipeline to a fault tolerant distributed Kubernetes deployment

• arxiv url: http://arxiv.org/abs/2311.12308v1
• Date: Tue, 21 Nov 2023 02:54:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-23 02:20:39.588078
• Title: Jup2Kub: algorithms and a system to translate a Jupyter Notebook pipeline to a fault tolerant distributed Kubernetes deployment
• Title（参考訳）: Jup2Kub:Jupyter Notebookパイプラインをフォールトトレラントな分散Kubernetesデプロイメントに変換するアルゴリズムとシステム
• Authors: Jinli Duan, Shasha Dennis
• Abstract要約: 科学は計算、データ操作、時には科学的データ分析のための可視化ステップを促進する。 Jupyterノートブックは、より大きなデータセットでスケールするのに苦労し、耐障害性がなく、基盤となるツールやパッケージの安定性に大きく依存している。 Jup2KupはJupyterノートブックから分散された高性能環境に変換し、フォールトトレランスを向上させる。
• 参考スコア（独自算出の注目度）: 0.9790236766474201
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scientific workflows facilitate computational, data manipulation, and sometimes visualization steps for scientific data analysis. They are vital for reproducing and validating experiments, usually involving computational steps in scientific simulations and data analysis. These workflows are often developed by domain scientists using Jupyter notebooks, which are convenient yet face limitations: they struggle to scale with larger data sets, lack failure tolerance, and depend heavily on the stability of underlying tools and packages. To address these issues, Jup2Kup has been developed. This software system translates workflows from Jupyter notebooks into a distributed, high-performance Kubernetes environment, enhancing fault tolerance. It also manages software dependencies to maintain operational stability amidst changes in tools and packages.
• Abstract（参考訳）: 科学ワークフローは、計算、データ操作、時には科学的データ分析のための可視化ステップを促進する。 これらは、通常、科学シミュレーションとデータ分析の計算ステップを含む実験の再現と検証に不可欠である。 これらのワークフローはドメイン科学者がJupyterノートブックを使って開発することが多いが、大きなデータセットでスケールするのに苦労し、耐障害性に欠け、基盤となるツールやパッケージの安定性に大きく依存する。 これらの問題に対処するため、Jup2Kupが開発された。 このソフトウェアシステムは、jupyterノートブックからワークフローを分散で高性能なkubernetes環境に変換し、フォールトトレランスを高めます。 ツールやパッケージの変更に対して,運用上の安定性を維持するため,ソフトウェアの依存関係も管理する。

関連論文リスト

• Cuvis.Ai: An Open-Source, Low-Code Software Ecosystem for Hyperspectral Processing and Classification [0.4038539043067986]
  cuvis.aiは、データ取得、前処理、モデルトレーニングのためのオープンソースでローコードなソフトウェアエコシステムである。 パッケージはPythonで書かれており、一般的な機械学習ライブラリのラッパーを提供する。
  論文  参考訳（メタデータ） (2024-11-18T06:33:40Z)
• KGym: A Platform and Dataset to Benchmark Large Language Models on Linux Kernel Crash Resolution [59.20933707301566]
  大規模言語モデル(LLM)は、ますます現実的なソフトウェア工学(SE)タスクにおいて一貫して改善されている。 現実世界のソフトウェアスタックでは、Linuxカーネルのような基本的なシステムソフトウェアの開発にSEの取り組みが費やされています。 このような大規模システムレベルのソフトウェアを開発する際にMLモデルが有用かどうかを評価するため、kGymとkBenchを紹介する。
  論文  参考訳（メタデータ） (2024-07-02T21:44:22Z)
• Untangling Knots: Leveraging LLM for Error Resolution in Computational Notebooks [4.318590074766604]
  本稿では,反復型LCMエージェントを用いて,計算ノートブックの誤りを解消するための潜在的解決策を提案する。 本稿では,本手法によって提起された問題について議論し,バグを含む新しい計算ノートブックのデータセットを共有する。
  論文  参考訳（メタデータ） (2024-03-26T18:53:17Z)
• Pynblint: a Static Analyzer for Python Jupyter Notebooks [10.190501703364234]
  Pynblintは、Pythonで書かれたJupyterノートブックの静的アナライザである。 経験的に検証されたベストプラクティスのセットで、ノートブック(および周辺のリポジトリ)のコンプライアンスをチェックする。
  論文  参考訳（メタデータ） (2022-05-24T09:56:03Z)
• Satellite Image Time Series Analysis for Big Earth Observation Data [50.591267188664666]
  本稿では,機械学習を用いた衛星画像時系列解析のためのオープンソースRパッケージである sit について述べる。 本手法は, Cerrado Biome のケーススタディにより, 土地利用と土地被覆マップの精度が高いことを示す。
  論文  参考訳（メタデータ） (2022-04-24T15:23:25Z)
• Kubric: A scalable dataset generator [73.78485189435729]
  KubricはPythonフレームワークで、PyBulletやBlenderとインターフェースして写真リアリスティックなシーンを生成する。 本研究では,3次元NeRFモデルの研究から光フロー推定まで,13種類の異なるデータセットを提示することで,Kubricの有効性を実証する。
  論文  参考訳（メタデータ） (2022-03-07T18:13:59Z)
• SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
  本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。 しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
  論文  参考訳（メタデータ） (2021-12-22T14:45:37Z)
• Robust and Transferable Anomaly Detection in Log Data using Pre-Trained Language Models [59.04636530383049]
  クラウドのような大規模コンピュータシステムにおける異常や障害は、多くのユーザに影響を与える。 システム情報の主要なトラブルシューティングソースとして,ログデータの異常検出のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-23T09:17:05Z)
• Superiority of Simplicity: A Lightweight Model for Network Device Workload Prediction [58.98112070128482]
  本稿では,歴史観測に基づく時系列予測のための軽量な解を提案する。 ニューラルネットワークと平均予測器という2つのモデルからなる異種アンサンブル法で構成されている。 利用可能なFedCSIS 2020チャレンジデータセットの総合的なR2$スコア0.10を達成している。
  論文  参考訳（メタデータ） (2020-07-07T15:44:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。