論文の概要: Efficiently Reproducing Distributed Workflows in Notebook-based Systems

• arxiv url: http://arxiv.org/abs/2603.26965v1
• Date: Fri, 27 Mar 2026 20:13:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-31 23:18:44.712529
• Title: Efficiently Reproducing Distributed Workflows in Notebook-based Systems
• Title（参考訳）: ノートブックシステムにおける分散ワークフローの効率的な再現
• Authors: Talha Azaz, Raza Ahmad, Md Saiful Islam, Douglas Thain, Tanu Malik,
• Abstract要約: 分散ノートブックの効率よく再現可能なノートブックカーネルシステムであるNBRewindを紹介する。 NBRewindは、2つのカーネルの監査と繰り返しで構成されている。監査カーネルは、不要な再実行を避けるためにインクリメンタルなセルレベルのチェックポイントを実行し、チェックポイントを再構築し、分散ワークフローを管理するノートブックセルを含む部分的な再実行を可能にする。
• 参考スコア（独自算出の注目度）: 3.429168752108637
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Notebooks provide an author-friendly environment for iterative development, modular execution, and easy sharing. Distributed workflows are increasingly being authored and executed in notebooks, yet sharing and reproducing them remains challenging. Even small code or parameter changes often force full end-to-end re-execution of the distributed workflow, limiting iterative development for such workloads. Current methods for improving notebook execution operate on single-node workflows, while optimization techniques for distributed workflows typically sacrifice reproducibility. We introduce NBRewind, a notebook kernel system for efficient, reproducible execution of distributed workflows in notebooks. NBRewind consists of two kernels--audit and repeat. The audit kernel performs incremental, cell-level checkpointing to avoid unnecessary re-runs; repeat reconstructs checkpoints and enables partial re-execution including notebook cells that manage distributed workflow. Both kernel methods are based on data-flow analysis across cells. We show how checkpoints and logs when packaged as part of standardized notebook specification improve sharing and reproducibility. Using real-world case studies we show that creating incremental checkpoints adds minimal overhead and enables portable, cross-site reproducibility of notebook-based distributed workflows on HPC systems.
• Abstract（参考訳）: ノートブックは、反復的な開発、モジュール化された実行、簡単な共有のための著者フレンドリーな環境を提供する。 分散ワークフローはノートブックで作成、実行されつつありますが、共有と再生は難しいままです。 小さなコードやパラメータの変更さえも、分散ワークフローの完全なエンドツーエンドの再実行を強制し、そのようなワークロードに対する反復的な開発を制限します。 ノートブック実行を改善する現在の方法は単一ノードワークフローで動作しているが、分散ワークフローの最適化技術は一般的に再現性を犠牲にしている。 ノートブックにおける分散ワークフローの効率よく再現可能な実行のためのノートブックカーネルシステムであるNBRewindを紹介する。 NBRewindは2つのカーネルで構成されている。 監査カーネルは、不要な再実行を避けるためにインクリメンタルなセルレベルのチェックポイントを実行し、チェックポイントを再再構成し、分散ワークフローを管理するノートブックセルを含む部分的な再実行を可能にする。 両方のカーネルメソッドは、セル間のデータフロー解析に基づいている。 標準化されたノートブック仕様の一部としてパッケージ化されたチェックポイントとログは、共有と再現性を改善するかを示す。 実世界のケーススタディを用いて、インクリメンタルチェックポイントの作成はオーバーヘッドを最小限にし、ノートブックベースの分散ワークフローをHPCシステム上で移植可能なクロスサイト再現を可能にすることを示した。

関連論文リスト

• Learning to Compose for Cross-domain Agentic Workflow Generation [56.630382886594184]
  クロスドメインワークフロー生成のためのオープンソースのLLMを作成します。 さまざまなドメインにわたる再利用可能なワークフロー機能のコンパクトなセットを学びます。 当社の1パスジェネレータは、20イテレーションを消費するSOTAリファインメントベースラインを超えています。
  論文  参考訳（メタデータ） (2026-02-11T18:27:22Z)
• BayesFlow: A Probability Inference Framework for Meta-Agent Assisted Workflow Generation [12.637030045464693]
  textbfBayesian Generation (BWG)は、並列ルックアヘッドロールアウトを用いて、重要重み付けのためにステップバイステップで構築するサンプリングフレームワークである。 精製器を使わずに、重み付けされた経験分布が対象の後方に収束することを証明する。 BayesFlowは、SOTAワークフロー生成ベースラインで最大9ポイント、ゼロショットプロンプトで最大65ポイントの精度向上を実現している。
  論文  参考訳（メタデータ） (2026-01-29T20:43:20Z)
• When Are Reactive Notebooks Not Reactive? [2.1328771260762758]
  リアクティブノートブックシステムは、修正時に最小限のセルを再実行することによって、ノートブック状態を現在のセルコードと同期するように努力する。 本稿では,リアクティブノートシステム内での反応性機能について議論し,評価を行うための詳細なテストスイートであるRexを提案する。
  論文  参考訳（メタデータ） (2025-11-27T00:43:27Z)
• Eliminating Multi-GPU Performance Taxes: A Systems Approach to Efficient Distributed LLMs [61.953548065938385]
  分析フレームワークとして'3つの税'(バルク同期、カーネル間データローカリティ、カーネルローンチオーバーヘッド)を紹介した。 我々は、分散GPU実行におけるキー非効率に対処するために、厳密なBSPモデルを超えて移動することを提案する。 BSPベースのアプローチによるエンドツーエンドのレイテンシの10-20%の高速化を観察する。
  論文  参考訳（メタデータ） (2025-11-04T01:15:44Z)
• ComfyGPT: A Self-Optimizing Multi-Agent System for Comprehensive ComfyUI Workflow Generation [96.44354750396019]
  ComfyGPTはタスク記述に基づいてComfyUIを生成するように設計された自動最適化マルチエージェントシステムである。 FlowDatasetは、13,571のワークフロー記述ペアを含む大規模なデータセットである。 FlowBenchはワークフロー生成システムを評価するためのベンチマークである。
  論文  参考訳（メタデータ） (2025-03-22T06:48:50Z)
• Benchmarking Agentic Workflow Generation [80.74757493266057]
  複数面シナリオと複雑なグラフワークフロー構造を備えた統合ワークフロー生成ベンチマークであるWorfBenchを紹介する。 また,サブシーケンスとサブグラフマッチングアルゴリズムを利用したシステム評価プロトコルWorfEvalを提案する。 我々は、生成されたタスクが下流のタスクを強化し、推論中により少ない時間で優れたパフォーマンスを達成することを観察する。
  論文  参考訳（メタデータ） (2024-10-10T12:41:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。