論文の概要: Context-aware Execution Migration Tool for Data Science Jupyter Notebooks on Hybrid Clouds

• arxiv url: http://arxiv.org/abs/2107.00187v1
• Date: Thu, 1 Jul 2021 02:33:18 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-02 13:39:38.737195
• Title: Context-aware Execution Migration Tool for Data Science Jupyter Notebooks on Hybrid Clouds
• Title（参考訳）: ハイブリッドクラウド上のデータサイエンスJupyterノートのコンテキスト対応実行移行ツール
• Authors: Renato L. F. Cunha, Lucas V. Real, Renan Souza, Bruno Silva, Marco A. S. Netto
• Abstract要約: 本稿では,Jupyter拡張として開発された,どのセルを選択するか,どのシナリオで,より適切な実行プラットフォームに移行するべきかを自動選択するソリューションを提案する。 地球科学(リモートセンシング)、画像認識、手書き桁識別(機械学習)のノートブックを用いて、本実験では、ノートブックの状態が最大55倍に低下し、ユーザとノートブックとの対話性が考慮された場合、移行決定が最大3.25倍に向上することを示す。
• 参考スコア（独自算出の注目度）: 0.22908242575265025
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Interactive computing notebooks, such as Jupyter notebooks, have become a popular tool for developing and improving data-driven models. Such notebooks tend to be executed either in the user's own machine or in a cloud environment, having drawbacks and benefits in both approaches. This paper presents a solution developed as a Jupyter extension that automatically selects which cells, as well as in which scenarios, such cells should be migrated to a more suitable platform for execution. We describe how we reduce the execution state of the notebook to decrease migration time and we explore the knowledge of user interactivity patterns with the notebook to determine which blocks of cells should be migrated. Using notebooks from Earth science (remote sensing), image recognition, and hand written digit identification (machine learning), our experiments show notebook state reductions of up to 55x and migration decisions leading to performance gains of up to 3.25x when the user interactivity with the notebook is taken into consideration.
• Abstract（参考訳）: jupyter notebooksのような対話型コンピューティングノートブックは、データ駆動モデルの開発と改善のための一般的なツールとなっている。 このようなノートブックは、ユーザのマシンまたはクラウド環境で実行される傾向があり、両方のアプローチに欠点とメリットがある。 本稿では,どのセルを自動的に選択し,そのセルがより適切な実行プラットフォームに移行すべきシナリオを選択するjupyter拡張として開発されたソリューションを提案する。 我々は,ノートブックの実行状態を削減してマイグレーション時間を短縮する方法について述べるとともに,ノートブックとユーザのインタラクションパターンに関する知識を調査し,移行すべきセルのブロックを判断する。 地球科学(リモートセンシング)、画像認識、手書き桁識別(機械学習)のノートブックを用いて、本実験では、ノートブックの状態が最大55倍に低下し、ユーザとノートブックとの対話性が考慮された場合、移行決定が最大3.25倍に向上することを示す。

関連論文リスト

• MOON: Assisting Students in Completing Educational Notebook Scenarios [0.0]
  ノートブックには、テキストの説明、マルチメディアコンテンツ、実行可能コードなど、多くの魅力的な機能がある。 この実行モデルは、生徒が教師の意図した実行順序に従わなければ、すぐに問題となる。 この問題の解決を目的とした新しいアプローチMOONを提案する。
  論文  参考訳（メタデータ） (2023-09-28T06:49:30Z)
• Bridging the Gap: Learning Pace Synchronization for Open-World Semi-Supervised Learning [49.07038093130949]
  オープンワールドの半教師付き学習において、機械学習モデルはラベルなしのデータから新しいカテゴリを明らかにすることを任務とする。 モデルは、正確な監督情報によって、前者をより早く学習する。 本稿では,1) クラス分布の推定に基づく適応的マージンの損失,2) 学習ペースの同期化,2) 出力空間の同じクラスからサンプルを抽出する擬似ラベルコントラストクラスタリングについて紹介する。
  論文  参考訳（メタデータ） (2023-09-21T09:44:39Z)
• Notably Inaccessible -- Data Driven Understanding of Data Science Notebook (In)Accessibility [13.428631054625797]
  各種アクセシビリティ問題を特定するために,10000 Jupyter ノートの大規模システム解析を行った。 ノートのアーティファクトのアクセシビリティ向上,オーサリングプラクティスの提案,ノートブックのアクセス性向上のためのインフラストラクチャの変更を提案する。
  論文  参考訳（メタデータ） (2023-08-07T01:33:32Z)
• SuperNOVA: Design Strategies and Opportunities for Interactive Visualization in Computational Notebooks [12.922842159000373]
  ノートブックにおける視覚分析(VA)ツールの適切な設計について検討する。 本分析では,学術論文から得られた62のシステムと,55kのノートブックから得られた103のシステムを含む。 我々は、研究者が既存のノートブックVAツールを探索し、関連する作業を探すのに役立つオープンソースのインタラクティブツールであるSuperNOVAを開発した。
  論文  参考訳（メタデータ） (2023-05-04T17:57:54Z)
• MetaNetwork: A Task-agnostic Network Parameters Generation Framework for Improving Device Model Generalization [65.02542875281233]
  そこで本研究では,デバイス上でのトレーニングを伴わずに,クラウドから適応的なデバイスモデルパラメータを生成するための,MetaNetworkという新しいタスク非依存フレームワークを提案する。 MetaGeneratorは、サンプルからモデルパラメータへのマッピング関数を学習するために設計されており、デバイスからクラウドにアップロードされたサンプルに基づいて、適応パラメータをデバイスに生成および配信することができる。 MetaStabilizerは、MetaGeneratorの振動を減らし、収束を加速し、トレーニングと推論の両方でモデルパフォーマンスを改善することを目的としている。
  論文  参考訳（メタデータ） (2022-09-12T13:26:26Z)
• Fine-Grained Scene Graph Generation with Data Transfer [127.17675443137064]
  シーングラフ生成(SGG)は、画像中の三つ子(オブジェクト、述語、オブジェクト)を抽出することを目的としている。 最近の研究は、SGGを着実に進歩させ、高レベルの視覚と言語理解に有用なツールを提供している。 そこで本研究では,プレー・アンド・プラグ方式で適用可能で,約1,807の述語クラスを持つ大規模SGGに拡張可能な,内部・外部データ転送(IETrans)手法を提案する。
  論文  参考訳（メタデータ） (2022-03-22T12:26:56Z)
• X2T: Training an X-to-Text Typing Interface with Online Learning from User Feedback [83.95599156217945]
  ユーザがキーボードを操作できないが、他の入力を供給できる、補助型タイピングアプリケーションに焦点を当てる。 標準メソッドは、ユーザ入力の固定データセット上でモデルをトレーニングし、そのミスから学ばない静的インターフェースをデプロイする。 このようなインターフェースが時間の経過とともに改善されるようなシンプルなアイデアを,ユーザによる最小限の努力で検討する。
  論文  参考訳（メタデータ） (2022-03-04T00:07:20Z)
• StickyLand: Breaking the Linear Presentation of Computational Notebooks [5.1175396458764855]
  StickyLandはノートブックの拡張機能で、ユーザは自由にコードをリニアな方法で整理できる。 常に画面に表示される粘着性のあるセルを使えば、ユーザーはノートに素早くアクセスでき、実験結果をすぐに観察でき、インタラクティブなダッシュボードを簡単に構築できる。
  論文  参考訳（メタデータ） (2022-02-22T18:25:54Z)
• SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
  本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。 しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
  論文  参考訳（メタデータ） (2021-12-22T14:45:37Z)
• Realistic simulation of users for IT systems in cyber ranges [63.20765930558542]
  ユーザアクティビティを生成するために,外部エージェントを用いて各マシンを計測する。 このエージェントは、決定論的および深層学習に基づく手法を組み合わせて、異なる環境に適応する。 また,会話や文書の作成を容易にする条件付きテキスト生成モデルを提案する。
  論文  参考訳（メタデータ） (2021-11-23T10:53:29Z)
• GIS and Computational Notebooks [0.0]
  この章では、地理的文脈で計算ノートを紹介します。 これはまず、ノートブックの根底にある計算パラダイムと哲学を説明することから始まる。 そして、そのアーキテクチャをアンパックして、ノートブックユーザの典型的なワークフローを図示する。
  論文  参考訳（メタデータ） (2021-01-02T01:59:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。