論文の概要: From Edge to HPC: Investigating Cross-Facility Data Streaming Architectures

• arxiv url: http://arxiv.org/abs/2509.24030v1
• Date: Sun, 28 Sep 2025 18:54:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.599187
• Title: From Edge to HPC: Investigating Cross-Facility Data Streaming Architectures
• Title（参考訳）: EdgeからHPCへ - クロスファシリティデータストリーミングアーキテクチャの調査
• Authors: Anjus George, Michael Brim, Christopher Zimmer, David Rogers, Sarp Oral, Zach Mayes,
• Abstract要約: DTS(Direct Streaming)、PRS(Proxied Streaming)、MSS(Managed Service Streaming)の3つのクロスファシリティデータストリーミングアーキテクチャについて検討する。 我々の研究では、DTSは最小のホップパスを提供し、スループットの向上とレイテンシの低減を実現しているのに対し、MSSは複数のユーザに対してデプロイメントの実現可能性とスケーラビリティを提供していますが、大きなオーバーヘッドが発生しています。 PRSは、ほとんどの場合、DTSに匹敵するパフォーマンスを備えたスケーラブルなアーキテクチャを提供する。
• 参考スコア（独自算出の注目度）: 0.8116550081617903
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: In this paper, we investigate three cross-facility data streaming architectures, Direct Streaming (DTS), Proxied Streaming (PRS), and Managed Service Streaming (MSS). We examine their architectural variations in data flow paths and deployment feasibility, and detail their implementation using the Data Streaming to HPC (DS2HPC) architectural framework and the SciStream memory-to-memory streaming toolkit on the production-grade Advanced Computing Ecosystem (ACE) infrastructure at Oak Ridge Leadership Computing Facility (OLCF). We present a workflow-specific evaluation of these architectures using three synthetic workloads derived from the streaming characteristics of scientific workflows. Through simulated experiments, we measure streaming throughput, round-trip time, and overhead under work sharing, work sharing with feedback, and broadcast and gather messaging patterns commonly found in AI-HPC communication motifs. Our study shows that DTS offers a minimal-hop path, resulting in higher throughput and lower latency, whereas MSS provides greater deployment feasibility and scalability across multiple users but incurs significant overhead. PRS lies in between, offering a scalable architecture whose performance matches DTS in most cases.
• Abstract（参考訳）: 本稿では,DTS(Direct Streaming),PRS(Proxied Streaming),MSS(Managed Service Streaming)の3つのクロスファシリティデータストリーミングアーキテクチャについて検討する。 データフローパスとデプロイメントの実現可能性のアーキテクチャ的バリエーションについて検討し、Oak Ridge Leadership Computing Facility(OLCF)の運用レベルのAdvanced Computing Ecosystem(ACE)インフラストラクチャ上で、Data Streaming to HPC(DS2HPC)アーキテクチャフレームワークとSciStreamメモリ・メモリ・メモリ・ストリーミング・ツールキットを使用して、その実装を詳述する。 本稿では,これらのアーキテクチャを,科学的ワークフローのストリーミング特性から導出した3つの合成ワークロードを用いて,ワークフロー固有の評価を行う。 シミュレーション実験により、ストリーミングスループット、ラウンドトリップ時間、作業共有時のオーバーヘッド、フィードバックによる作業共有、AI-HPC通信モチーフで一般的に見られるメッセージパターンのブロードキャストと収集を行う。 我々の研究では、DTSは最小のホップパスを提供し、スループットの向上とレイテンシの低減を実現しているのに対し、MSSは複数のユーザに対してデプロイメントの実現可能性とスケーラビリティを提供していますが、大きなオーバーヘッドが発生しています。 PRSは、ほとんどの場合、DTSに匹敵するパフォーマンスを備えたスケーラブルなアーキテクチャを提供する。

関連論文リスト

• Scalable Engine and the Performance of Different LLM Models in a SLURM based HPC architecture [3.746889836344766]
  本研究は、SLURM(Simple Linux Utility for Resource Management)に基づく高性能コンピューティングアーキテクチャについて詳述する。 動的リソーススケジューリングとコンテナ化のシームレスな統合は、CPU、GPU、メモリをマルチノードクラスタで効率的に管理するために活用されている。 その結果,大規模HPCインフラストラクチャ上でのLLM推論は,より効率的で応答性が高く,耐故障性に優れた。
  論文  参考訳（メタデータ） (2025-08-25T09:11:27Z)
• (PASS) Visual Prompt Locates Good Structure Sparsity through a Recurrent HyperNetwork [60.889175951038496]
  大規模ニューラルネットワークは、視覚や言語処理など、さまざまな領域で顕著なパフォーマンスを示している。 構造的刈り込みの鍵となる問題のひとつは、チャネルの意義を見積もる方法である。 我々は,新しいアルゴリズムフレームワーク,すなわち textttPASS を提案する。 視覚的プロンプトとネットワーク重み統計の両方を入力とし、繰り返し的に層ワイドチャネル間隔を出力するように調整されたハイパーネットワークである。
  論文  参考訳（メタデータ） (2024-07-24T16:47:45Z)
• Streaming Technologies and Serialization Protocols: Empirical Performance Analysis [0.70224924046445]
  リアルタイムデータ分析、可視化、マシンラーニングモデルのトレーニングには、効率的なデータストリーミングが不可欠だ。 様々なストリーミング技術とシリアライズプロトコルが、異なるストリーミング要件を満たすために開発されている。 これらの技術間の大きなパフォーマンス差とトレードオフを明らかにする。
  論文  参考訳（メタデータ） (2024-07-18T13:24:08Z)
• Cross-domain Learning Framework for Tracking Users in RIS-aided Multi-band ISAC Systems with Sparse Labeled Data [55.70071704247794]
  統合センシング・通信(ISAC)は6G通信において重要であり、再構成可能なインテリジェントサーフェス(RIS)の急速な発展によって促進される 本稿では,複数の帯域にまたがるマルチモーダルCSIインジケータを協調的に活用し,クロスドメイン方式で追跡機能をモデル化するX2Trackフレームワークを提案する。 X2Trackの下では、トランスフォーマーニューラルネットワークと逆学習技術に基づいて、トラッキングエラーを最小限に抑える効率的なディープラーニングアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-05-10T08:04:27Z)
• TCCT-Net: Two-Stream Network Architecture for Fast and Efficient Engagement Estimation via Behavioral Feature Signals [58.865901821451295]
  本稿では,新しい2ストリーム機能融合 "Tensor-Convolution and Convolution-Transformer Network" (TCCT-Net) アーキテクチャを提案する。 時間空間領域における意味のあるパターンをよりよく学習するために、ハイブリッド畳み込み変換器を統合する「CT」ストリームを設計する。 並行して、時間周波数領域からリッチなパターンを効率的に抽出するために、連続ウェーブレット変換(CWT)を用いて情報を2次元テンソル形式で表現する「TC」ストリームを導入する。
  論文  参考訳（メタデータ） (2024-04-15T06:01:48Z)
• Pathway: a fast and flexible unified stream data processing framework for analytical and Machine Learning applications [7.850979932441607]
  Pathwayは新しい統一データ処理フレームワークで、バウンドとアンバウンドのデータストリームの両方でワークロードを実行できる。 本稿では,本システムについて述べるとともに,バッチとストリーミングの両コンテキストにおいて,その性能を示すベンチマーク結果を示す。
  論文  参考訳（メタデータ） (2023-07-12T08:27:37Z)
• FENXI: Deep-learning Traffic Analytics at the Edge [69.34903175081284]
  本稿では,TPUを利用して複雑な解析を行うシステムであるFENXIを提案する。 FENXIは、さまざまな粒度で動作するオペレーションとトラフィック分析を分離する。 分析の結果,FENXIは限られた資源しか必要とせず,転送ラインレートのトラヒック処理を継続できることがわかった。
  論文  参考訳（メタデータ） (2021-05-25T08:02:44Z)
• Stage-Wise Neural Architecture Search [65.03109178056937]
  ResNetやNASNetのような現代の畳み込みネットワークは、多くのコンピュータビジョンアプリケーションで最先端の結果を得た。 これらのネットワークは、同じ解像度で表現を操作するレイヤのセットであるステージで構成されている。 各ステージにおけるレイヤー数の増加はネットワークの予測能力を向上させることが示されている。 しかし、結果として得られるアーキテクチャは、浮動小数点演算、メモリ要求、推論時間の観点から計算的に高価になる。
  論文  参考訳（メタデータ） (2020-04-23T14:16:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。