論文の概要: Context-aware Execution Migration Tool for Data Science Jupyter Notebooks on Hybrid Clouds

• arxiv url: http://arxiv.org/abs/2107.00187v1
• Date: Thu, 1 Jul 2021 02:33:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2021-07-02 13:39:38.737195
• Title: Context-aware Execution Migration Tool for Data Science Jupyter Notebooks on Hybrid Clouds
• Title（参考訳）: ハイブリッドクラウド上のデータサイエンスJupyterノートのコンテキスト対応実行移行ツール
• Authors: Renato L. F. Cunha, Lucas V. Real, Renan Souza, Bruno Silva, Marco A. S. Netto
• Abstract要約: 本稿では,Jupyter拡張として開発された,どのセルを選択するか,どのシナリオで,より適切な実行プラットフォームに移行するべきかを自動選択するソリューションを提案する。 地球科学(リモートセンシング)、画像認識、手書き桁識別(機械学習)のノートブックを用いて、本実験では、ノートブックの状態が最大55倍に低下し、ユーザとノートブックとの対話性が考慮された場合、移行決定が最大3.25倍に向上することを示す。
• 参考スコア（独自算出の注目度）: 0.22908242575265025
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Interactive computing notebooks, such as Jupyter notebooks, have become a popular tool for developing and improving data-driven models. Such notebooks tend to be executed either in the user's own machine or in a cloud environment, having drawbacks and benefits in both approaches. This paper presents a solution developed as a Jupyter extension that automatically selects which cells, as well as in which scenarios, such cells should be migrated to a more suitable platform for execution. We describe how we reduce the execution state of the notebook to decrease migration time and we explore the knowledge of user interactivity patterns with the notebook to determine which blocks of cells should be migrated. Using notebooks from Earth science (remote sensing), image recognition, and hand written digit identification (machine learning), our experiments show notebook state reductions of up to 55x and migration decisions leading to performance gains of up to 3.25x when the user interactivity with the notebook is taken into consideration.
• Abstract（参考訳）: jupyter notebooksのような対話型コンピューティングノートブックは、データ駆動モデルの開発と改善のための一般的なツールとなっている。 このようなノートブックは、ユーザのマシンまたはクラウド環境で実行される傾向があり、両方のアプローチに欠点とメリットがある。 本稿では,どのセルを自動的に選択し,そのセルがより適切な実行プラットフォームに移行すべきシナリオを選択するjupyter拡張として開発されたソリューションを提案する。 我々は,ノートブックの実行状態を削減してマイグレーション時間を短縮する方法について述べるとともに,ノートブックとユーザのインタラクションパターンに関する知識を調査し,移行すべきセルのブロックを判断する。 地球科学(リモートセンシング)、画像認識、手書き桁識別(機械学習)のノートブックを用いて、本実験では、ノートブックの状態が最大55倍に低下し、ユーザとノートブックとの対話性が考慮された場合、移行決定が最大3.25倍に向上することを示す。

関連論文リスト

• Suggesting Code Edits in Interactive Machine Learning Notebooks Using Large Language Models [3.2433570328895196]
  GitHub上の792の機械学習リポジトリの20,095のリビジョンから得られた48,398のJupyterノートブック編集の最初のデータセットを提示する。 我々のデータセットは、セルレベルとラインレベルの修正の詳細な詳細をキャプチャし、機械学習における現実のメンテナンスパターンを理解する基盤を提供する。
  論文  参考訳（メタデータ） (2025-01-16T18:55:38Z)
• Exploring Text-to-Motion Generation with Human Preference [59.28730218998923]
  本稿では,テキスト・トゥ・モーション・ジェネレーションにおける嗜好学習の探索について述べる。 テキスト・トゥ・モーション・ジェネレーションの現在の改善は、まだモーションキャプチャシステムを備えたエキスパート・ラベラーを必要とするデータセットに依存していることがわかった。 我々は、好み学習が、現在のテキスト・ツー・モーション生成モデルを大幅に改善する可能性があることを示す。
  論文  参考訳（メタデータ） (2024-04-15T04:14:42Z)
• X-MIC: Cross-Modal Instance Conditioning for Egocentric Action Generalization [56.75782714530429]
  我々はX-MICと呼ぶクロスモーダル適応フレームワークを提案する。 私たちのパイプラインは、凍結したテキストの埋め込みを、共有された埋め込み空間内で、それぞれのエゴセントリックなビデオにアライメントすることを学びました。 これにより、各エゴセントリックビデオへのテキスト埋め込みのアライメントが向上し、データセットの一般化が大幅に向上する。
  論文  参考訳（メタデータ） (2024-03-28T19:45:35Z)
• A Flexible Cell Classification for ML Projects in Jupyter Notebooks [0.21485350418225244]
  本稿では,ルールベースと決定木分類器を組み合わせたハイブリッド分類手法により,より柔軟な細胞分類手法を提案する。 われわれはJupyLabelというツールで新しいフレキシブルな細胞分類手法を実装した。
  論文  参考訳（メタデータ） (2024-03-12T11:50:47Z)
• Online Adaptation of Language Models with a Memory of Amortized Contexts [82.02369596879817]
  MAC(Memory of Amortized Contexts)は、大規模言語モデルのための効率的かつ効果的なオンライン適応フレームワークである。 MACとMACを組み合わせれば,検索の高速化など,一般的な代替手段の性能が向上することを示す。
  論文  参考訳（メタデータ） (2024-03-07T08:34:57Z)
• MemGPT: Towards LLMs as Operating Systems [50.02623936965231]
  大規模言語モデル(LLM)はAIに革命をもたらしたが、限られたコンテキストウィンドウによって制約されている。 従来のオペレーティングシステムにおける階層型メモリシステムからのインスピレーションを引き出す技術である仮想コンテキスト管理を提案する。 私たちはMemGPTコードと実験のためのデータをhttps://memgpt.ai.comでリリースします。
  論文  参考訳（メタデータ） (2023-10-12T17:51:32Z)
• MOON: Assisting Students in Completing Educational Notebook Scenarios [0.0]
  ノートブックには、テキストの説明、マルチメディアコンテンツ、実行可能コードなど、多くの魅力的な機能がある。 この実行モデルは、生徒が教師の意図した実行順序に従わなければ、すぐに問題となる。 この問題の解決を目的とした新しいアプローチMOONを提案する。
  論文  参考訳（メタデータ） (2023-09-28T06:49:30Z)
• Notably Inaccessible -- Data Driven Understanding of Data Science Notebook (In)Accessibility [13.428631054625797]
  各種アクセシビリティ問題を特定するために,10000 Jupyter ノートの大規模システム解析を行った。 ノートのアーティファクトのアクセシビリティ向上,オーサリングプラクティスの提案,ノートブックのアクセス性向上のためのインフラストラクチャの変更を提案する。
  論文  参考訳（メタデータ） (2023-08-07T01:33:32Z)
• SuperNOVA: Design Strategies and Opportunities for Interactive Visualization in Computational Notebooks [34.04783941358773]
  ノートブックの対話型可視化ツール163について分析する。 重要な設計上の意味とトレードオフを特定します。 我々は、研究者が既存のノートブック視覚化ツールを探索するのに役立つオープンソースのインタラクティブブラウザであるSuperNOVAを開発した。
  論文  参考訳（メタデータ） (2023-05-04T17:57:54Z)
• MetaNetwork: A Task-agnostic Network Parameters Generation Framework for Improving Device Model Generalization [65.02542875281233]
  そこで本研究では,デバイス上でのトレーニングを伴わずに,クラウドから適応的なデバイスモデルパラメータを生成するための,MetaNetworkという新しいタスク非依存フレームワークを提案する。 MetaGeneratorは、サンプルからモデルパラメータへのマッピング関数を学習するために設計されており、デバイスからクラウドにアップロードされたサンプルに基づいて、適応パラメータをデバイスに生成および配信することができる。 MetaStabilizerは、MetaGeneratorの振動を減らし、収束を加速し、トレーニングと推論の両方でモデルパフォーマンスを改善することを目的としている。
  論文  参考訳（メタデータ） (2022-09-12T13:26:26Z)
• X2T: Training an X-to-Text Typing Interface with Online Learning from User Feedback [83.95599156217945]
  ユーザがキーボードを操作できないが、他の入力を供給できる、補助型タイピングアプリケーションに焦点を当てる。 標準メソッドは、ユーザ入力の固定データセット上でモデルをトレーニングし、そのミスから学ばない静的インターフェースをデプロイする。 このようなインターフェースが時間の経過とともに改善されるようなシンプルなアイデアを,ユーザによる最小限の努力で検討する。
  論文  参考訳（メタデータ） (2022-03-04T00:07:20Z)
• StickyLand: Breaking the Linear Presentation of Computational Notebooks [5.1175396458764855]
  StickyLandはノートブックの拡張機能で、ユーザは自由にコードをリニアな方法で整理できる。 常に画面に表示される粘着性のあるセルを使えば、ユーザーはノートに素早くアクセスでき、実験結果をすぐに観察でき、インタラクティブなダッシュボードを簡単に構築できる。
  論文  参考訳（メタデータ） (2022-02-22T18:25:54Z)
• Realistic simulation of users for IT systems in cyber ranges [63.20765930558542]
  ユーザアクティビティを生成するために,外部エージェントを用いて各マシンを計測する。 このエージェントは、決定論的および深層学習に基づく手法を組み合わせて、異なる環境に適応する。 また,会話や文書の作成を容易にする条件付きテキスト生成モデルを提案する。
  論文  参考訳（メタデータ） (2021-11-23T10:53:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。