論文の概要: Jup2Kub: algorithms and a system to translate a Jupyter Notebook
pipeline to a fault tolerant distributed Kubernetes deployment
- arxiv url: http://arxiv.org/abs/2311.12308v1
- Date: Tue, 21 Nov 2023 02:54:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-23 02:20:39.588078
- Title: Jup2Kub: algorithms and a system to translate a Jupyter Notebook
pipeline to a fault tolerant distributed Kubernetes deployment
- Title（参考訳）: Jup2Kub:Jupyter Notebookパイプラインをフォールトトレラントな分散Kubernetesデプロイメントに変換するアルゴリズムとシステム
- Authors: Jinli Duan, Shasha Dennis
- Abstract要約: 科学は計算、データ操作、時には科学的データ分析のための可視化ステップを促進する。
Jupyterノートブックは、より大きなデータセットでスケールするのに苦労し、耐障害性がなく、基盤となるツールやパッケージの安定性に大きく依存している。
Jup2KupはJupyterノートブックから分散された高性能環境に変換し、フォールトトレランスを向上させる。
- 参考スコア（独自算出の注目度）: 0.9790236766474201
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Scientific workflows facilitate computational, data manipulation, and
sometimes visualization steps for scientific data analysis. They are vital for
reproducing and validating experiments, usually involving computational steps
in scientific simulations and data analysis. These workflows are often
developed by domain scientists using Jupyter notebooks, which are convenient
yet face limitations: they struggle to scale with larger data sets, lack
failure tolerance, and depend heavily on the stability of underlying tools and
packages. To address these issues, Jup2Kup has been developed. This software
system translates workflows from Jupyter notebooks into a distributed,
high-performance Kubernetes environment, enhancing fault tolerance. It also
manages software dependencies to maintain operational stability amidst changes
in tools and packages.
- Abstract（参考訳）: 科学ワークフローは、計算、データ操作、時には科学的データ分析のための可視化ステップを促進する。
これらは、通常、科学シミュレーションとデータ分析の計算ステップを含む実験の再現と検証に不可欠である。
これらのワークフローはドメイン科学者がJupyterノートブックを使って開発することが多いが、大きなデータセットでスケールするのに苦労し、耐障害性に欠け、基盤となるツールやパッケージの安定性に大きく依存する。
これらの問題に対処するため、Jup2Kupが開発された。
このソフトウェアシステムは、jupyterノートブックからワークフローを分散で高性能なkubernetes環境に変換し、フォールトトレランスを高めます。
ツールやパッケージの変更に対して,運用上の安定性を維持するため,ソフトウェアの依存関係も管理する。
関連論文リスト
- StableToolBench: Towards Stable Large-Scale Benchmarking on Tool
Learning of Large Language Models [77.70468921984005]
ToolBenchから進化したベンチマークであるStableToolBenchを紹介します。
仮想APIサーバには、キャッシングシステムとAPIシミュレータが含まれており、APIステータスの変更を緩和するための補完となる。
安定評価システムは、GPT-4を自動評価器として使用し、評価中のランダム性を排除し、解決可能なパスと勝利率を設計する。
論文 参考訳（メタデータ） (2024-03-12T14:57:40Z) - Revisiting Sentiment Analysis for Software Engineering in the Era of
Large Language Models [12.440597259254286]
ゼロショットシナリオと少数ショットシナリオの両方において,オープンソースの3つのbLLMの性能について検討した。
実験により,bLLMsは訓練データと不均衡分布に制限されたデータセットに対して最先端の性能を示すことが示された。
論文 参考訳（メタデータ） (2023-10-17T09:53:03Z) - Applying Machine Learning Analysis for Software Quality Test [0.0]
メンテナンスのトリガーと予測されるかどうかを理解することは重要です。
生成したプログラムの複雑さを評価する多くの手法は有用な予測モデルを生成する。
本稿では,機械学習を利用可能なデータに適用し,累積ソフトウェア故障レベルを算出する。
論文 参考訳（メタデータ） (2023-05-16T06:10:54Z) - Pynblint: a Static Analyzer for Python Jupyter Notebooks [10.190501703364234]
Pynblintは、Pythonで書かれたJupyterノートブックの静的アナライザである。
経験的に検証されたベストプラクティスのセットで、ノートブック(および周辺のリポジトリ)のコンプライアンスをチェックする。
論文 参考訳（メタデータ） (2022-05-24T09:56:03Z) - Satellite Image Time Series Analysis for Big Earth Observation Data [50.591267188664666]
本稿では,機械学習を用いた衛星画像時系列解析のためのオープンソースRパッケージである sit について述べる。
本手法は, Cerrado Biome のケーススタディにより, 土地利用と土地被覆マップの精度が高いことを示す。
論文 参考訳（メタデータ） (2022-04-24T15:23:25Z) - Kubric: A scalable dataset generator [73.78485189435729]
KubricはPythonフレームワークで、PyBulletやBlenderとインターフェースして写真リアリスティックなシーンを生成する。
本研究では,3次元NeRFモデルの研究から光フロー推定まで,13種類の異なるデータセットを提示することで,Kubricの有効性を実証する。
論文 参考訳（メタデータ） (2022-03-07T18:13:59Z) - SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。
しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
論文 参考訳（メタデータ） (2021-12-22T14:45:37Z) - Robust and Transferable Anomaly Detection in Log Data using Pre-Trained
Language Models [59.04636530383049]
クラウドのような大規模コンピュータシステムにおける異常や障害は、多くのユーザに影響を与える。
システム情報の主要なトラブルシューティングソースとして,ログデータの異常検出のためのフレームワークを提案する。
論文 参考訳（メタデータ） (2021-02-23T09:17:05Z) - Superiority of Simplicity: A Lightweight Model for Network Device
Workload Prediction [58.98112070128482]
本稿では,歴史観測に基づく時系列予測のための軽量な解を提案する。
ニューラルネットワークと平均予測器という2つのモデルからなる異種アンサンブル法で構成されている。
利用可能なFedCSIS 2020チャレンジデータセットの総合的なR2$スコア0.10を達成している。
論文 参考訳（メタデータ） (2020-07-07T15:44:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。