論文の概要: FlowUnits: Extending Dataflow for the Edge-to-Cloud Computing Continuum
- arxiv url: http://arxiv.org/abs/2504.11400v1
- Date: Tue, 15 Apr 2025 17:14:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-23 23:15:15.485464
- Title: FlowUnits: Extending Dataflow for the Edge-to-Cloud Computing Continuum
- Title(参考訳): FlowUnits: エッジからクラウドへのコンピューティング継続のためのデータフローの拡張
- Authors: Fabio Chini, Luca De Martini, Alessandro Margara, Gianpaolo Cugola,
- Abstract要約: FlowUnitsは、処理オペレータを、さまざまなリージョンで透過的に複製可能な、結合的で独立した管理可能なコンポーネントに整理する。
当社のアプローチでは,エッジとクラウドリソースを統合データ処理パイプラインにシームレスに統合しながら,データフローの単純さを維持しています。
- 参考スコア(独自算出の注目度): 41.94295877935867
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: This paper introduces FlowUnits, a novel programming and deployment model that extends the traditional dataflow paradigm to address the unique challenges of edge-to-cloud computing environments. While conventional dataflow systems offer significant advantages for large-scale data processing in homogeneous cloud settings, they fall short when deployed across distributed, heterogeneous infrastructures. FlowUnits addresses three critical limitations of current approaches: lack of locality awareness, insufficient resource adaptation, and absence of dynamic update mechanisms. FlowUnits organize processing operators into cohesive, independently manageable components that can be transparently replicated across different regions, efficiently allocated on nodes with appropriate hardware capabilities, and dynamically updated without disrupting ongoing computations. We implement and evaluate the FlowUnits model within Renoir, an existing dataflow system, demonstrating significant improvements in deployment flexibility and resource utilization across the computing continuum. Our approach maintains the simplicity of dataflow while enabling seamless integration of edge and cloud resources into unified data processing pipelines.
- Abstract(参考訳): 本稿では、エッジ・ツー・クラウド・コンピューティング環境におけるユニークな課題に対処するために、従来のデータフローパラダイムを拡張した新しいプログラミングおよびデプロイメントモデルであるFlowUnitsを紹介する。
従来のデータフローシステムは、均一なクラウド環境での大規模データ処理には大きなメリットがあるが、分散した異種インフラストラクチャにデプロイすると、不足する。
FlowUnitsは、局所性認識の欠如、リソース適応の不十分、動的更新メカニズムの欠如という、現在のアプローチにおける3つの重要な制限に対処する。
FlowUnitは、処理オペレータを結合的で独立的に管理可能なコンポーネントにまとめ、異なるリージョンを透過的に複製し、適切なハードウェア機能を備えたノードに効率的に割り当て、進行中の計算を中断することなく動的に更新する。
我々は、既存のデータフローシステムであるRenoir内でFlowUnitsモデルを実装し、評価し、コンピューティング連続体におけるデプロイメントの柔軟性とリソース利用の大幅な改善を示す。
当社のアプローチでは,エッジとクラウドリソースを統合データ処理パイプラインにシームレスに統合しながら,データフローの単純さを維持しています。
関連論文リスト
- Learning to Compose for Cross-domain Agentic Workflow Generation [56.630382886594184]
クロスドメインワークフロー生成のためのオープンソースのLLMを作成します。
さまざまなドメインにわたる再利用可能なワークフロー機能のコンパクトなセットを学びます。
当社の1パスジェネレータは、20イテレーションを消費するSOTAリファインメントベースラインを超えています。
論文 参考訳(メタデータ) (2026-02-11T18:27:22Z) - Trajectory Stitching for Solving Inverse Problems with Flow-Based Models [68.36374645801901]
フローベースの生成モデルは、逆問題を解決するための強力な先行要因として現れてきた。
1つの初期コードではなく、中間潜在状態の列として軌道を表すMS-Flowを提案する。
画像の回復と逆問題に対するMS-Flowの有効性を示す。
論文 参考訳(メタデータ) (2026-02-09T11:36:41Z) - Causify DataFlow: A Framework For High-performance Machine Learning Stream Computing [0.0]
我々は、無制限の時系列データ上に機械学習システムを構築し、テストし、デプロイするための計算フレームワークであるDataFlowを紹介する。
従来のデータサイエンスは有限データセットを前提としており、バッチプロトタイプからストリーミングプロダクションシステムに移行する際には、かなりの再実装が必要である。
DataFlowは、ポイント・イン・タイムの理想性を持つ非循環グラフに基づいて、これらの問題を統一された実行モデルで解決する。
論文 参考訳(メタデータ) (2025-12-30T04:24:04Z) - FlowBind: Efficient Any-to-Any Generation with Bidirectional Flows [17.924626622563924]
FlowBindは、あらゆる世代の効率的なフレームワークです。
モダリティ固有の非可逆フローを各モダリティにブリッジして、クロスモーダル情報をキャプチャする共有潜在空間を学習する。
テキスト、画像、オーディオの実験では、FlowBindは6倍のパラメータを必要とせず、従来のメソッドよりも10倍高速にトレーニングできる。
論文 参考訳(メタデータ) (2025-12-17T13:08:18Z) - PowerGrow: Feasible Co-Growth of Structures and Dynamics for Power Grid Synthesis [75.14189839277928]
本稿では,運用効率を維持しながら計算オーバーヘッドを大幅に削減する,共同生成フレームワークPowerGrowを提案する。
ベンチマーク設定による実験では、PowerGrowはフィデリティと多様性において、事前の拡散モデルよりも優れていた。
これは、運用上有効で現実的な電力グリッドシナリオを生成する能力を示している。
論文 参考訳(メタデータ) (2025-08-29T01:47:27Z) - Learning Normal Flow Directly From Event Neighborhoods [18.765370814655626]
正規フロー推定のための新しい教師付き点ベース手法を提案する。
ローカル・ポイント・クラウド・エンコーダを用いて,本手法は生イベントからのイベント当たりの通常の流れを直接推定する。
提案手法は, 異なるデータセット間で転送される場合の最先端手法よりも, より優れた, より一貫性のある性能を実現する。
論文 参考訳(メタデータ) (2024-12-15T19:09:45Z) - Recursive Function Definitions in Static Dataflow Graphs and their Implementation in TensorFlow [0.8368470115534696]
データフローベースシステムにおける関数定義を支援するための効率的な手法を提案する。
当社では,データフローシステムの誕生以来の基盤のひとつとして,タグ付けというアイデアを多用しています。
論文 参考訳(メタデータ) (2024-10-26T16:40:24Z) - SeBS-Flow: Benchmarking Serverless Cloud Function Workflows [51.4200085836966]
本稿では、最初のサーバーレスワークフローベンチマークスイートSeBS-Flowを提案する。
SeBS-Flowには6つの実世界のアプリケーションベンチマークと、異なる計算パターンを表す4つのマイクロベンチマークが含まれている。
当社では,パフォーマンス,コスト,スケーラビリティ,ランタイムの偏差など,3つの主要なクラウドプラットフォームに関する包括的な評価を実施しています。
論文 参考訳(メタデータ) (2024-10-04T14:52:18Z) - FlowMind: Automatic Workflow Generation with LLMs [12.848562107014093]
本稿では,Large Language Models(LLM)の機能を活用した新しいアプローチであるFlowMindを紹介する。
信頼性のあるアプリケーションプログラミングインタフェース(API)を用いたLLM推論を支援する講義のための汎用的なプロンプトレシピを提案する。
また、N-CENレポートからの質問応答タスクをベンチマークするための金融の新しいデータセットであるNCEN-QAについても紹介する。
論文 参考訳(メタデータ) (2024-03-17T00:36:37Z) - FlowHON: Representing Flow Fields Using Higher-Order Networks [4.761836945285552]
FlowHONは、フローフィールドから高階ネットワーク(HON)を構築するためのアプローチである。
FlowHONは、フローフィールドに固有の高階依存関係をノードとしてキャプチャし、それらの間の遷移をエッジとして推定する。
論文 参考訳(メタデータ) (2023-12-04T11:50:25Z) - Guided Flows for Generative Modeling and Decision Making [55.42634941614435]
その結果,ガイドフローは条件付き画像生成やゼロショット音声合成におけるサンプル品質を著しく向上させることがわかった。
特に、我々は、拡散モデルと比較して、オフライン強化学習設定axスピードアップにおいて、まず、計画生成にフローモデルを適用する。
論文 参考訳(メタデータ) (2023-11-22T15:07:59Z) - Kernelised Normalising Flows [10.31916245015817]
正規化フローは、密度推定と生成の二重能力によって特徴づけられる非パラメトリック統計モデルである。
本稿では,カーネルをフレームワークに統合する新しいカーネル正規化フローパラダイムであるFerumal Flowを紹介する。
論文 参考訳(メタデータ) (2023-07-27T13:18:52Z) - TensAIR: Real-Time Training of Neural Networks from Data-streams [1.409180142531996]
本稿では,ANNをリアルタイムにトレーニングする最初のOLシステムであるTensAIRについて述べる。
TensAIRは、分散化および非同期アーキテクチャを使用してANNモデルをトレーニングすることで、優れたパフォーマンスとスケーラビリティを実現する。
我々は、(1)ネットワークにデプロイされたワーカノードの数、(2)データバッチが到着するスループットの観点から、TensAIRがほぼ線形なスケールアウト性能を達成することを実証的に実証した。
論文 参考訳(メタデータ) (2022-11-18T15:11:44Z) - Generative Flows with Invertible Attentions [135.23766216657745]
生成フローモデルに対する2種類の非可逆的注意機構を導入する。
フロー特徴写像の2分割毎に注意重みと入力表現を学習するために,分割に基づく注意機構を利用する。
提案手法は, トラクタブルジャコビアン行列を用いた非可逆アテンションモジュールをフローベースモデルの任意の位置にシームレスに統合する。
論文 参考訳(メタデータ) (2021-06-07T20:43:04Z) - Go with the Flows: Mixtures of Normalizing Flows for Point Cloud
Generation and Reconstruction [98.38585659305325]
正規化フロー(NF)は、3Dポイントクラウドのモデリングにおける最先端のパフォーマンスを示している。
この研究は、点雲にNFの混合物を適用することで、それらの表現力を高める。
論文 参考訳(メタデータ) (2021-06-06T14:25:45Z) - Coresets via Bilevel Optimization for Continual Learning and Streaming [86.67190358712064]
濃度制約付き二レベル最適化による新しいコアセット構成を提案する。
我々のフレームワークがディープニューラルネットワークのコアセットを効率的に生成できることを示し、連続学習やストリーミング設定における経験的メリットを示す。
論文 参考訳(メタデータ) (2020-06-06T14:20:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。