論文の概要: The LCLStream Ecosystem for Multi-Institutional Dataset Exploration

• arxiv url: http://arxiv.org/abs/2510.04012v1
• Date: Sun, 05 Oct 2025 03:13:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 16:52:59.395881
• Title: The LCLStream Ecosystem for Multi-Institutional Dataset Exploration
• Title（参考訳）: 多施設データセット探索のためのLCLStreamエコシステム
• Authors: David Rogers, Valerio Mariani, Cong Wang, Ryan Coffee, Wilko Kroeger, Murali Shankar, Hans Thorsten Schwander, Tom Beck, Frédéric Poitevin, Jana Thayer,
• Abstract要約: 我々は、新しいタイプのアプリケーションをサポートするためにゼロから設計された、エンドツーエンドの実験的なデータストリーミングフレームワークについて説明する。 LCLStreamerフレームワークは、将来の世代実験に不可欠ないくつかの新しいパラダイムをプロトタイプ化し、実装した。
• 参考スコア（独自算出の注目度）: 4.640896995209328
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We describe a new end-to-end experimental data streaming framework designed from the ground up to support new types of applications -- AI training, extremely high-rate X-ray time-of-flight analysis, crystal structure determination with distributed processing, and custom data science applications and visualizers yet to be created. Throughout, we use design choices merging cloud microservices with traditional HPC batch execution models for security and flexibility. This project makes a unique contribution to the DOE Integrated Research Infrastructure (IRI) landscape. By creating a flexible, API-driven data request service, we address a significant need for high-speed data streaming sources for the X-ray science data analysis community. With the combination of data request API, mutual authentication web security framework, job queue system, high-rate data buffer, and complementary nature to facility infrastructure, the LCLStreamer framework has prototyped and implemented several new paradigms critical for future generation experiments.
• Abstract（参考訳）: 我々は、AIトレーニング、超高速X線時間分析、分散処理による結晶構造決定、カスタムデータサイエンスアプリケーションとヴィジュアライザはまだ作成されていない。 全体としては、セキュリティと柔軟性のために、クラウドマイクロサービスと従来のHPCバッチ実行モデルを統合する設計選択を使用します。 このプロジェクトは、DOE統合研究基盤(IRI)の展望にユニークな貢献をしている。 フレキシブルでAPI駆動のデータ要求サービスを作ることで、X線科学データ分析コミュニティにとって、高速なデータストリーミングソースの必要性に対処します。 データ要求API、相互認証Webセキュリティフレームワーク、ジョブキューシステム、高レートデータバッファ、施設インフラの補完的な性質を組み合わせることで、LCLStreamerフレームワークは、将来の世代実験に不可欠ないくつかの新しいパラダイムをプロトタイプ化し、実装した。

関連論文リスト

• From Edge to HPC: Investigating Cross-Facility Data Streaming Architectures [0.8116550081617903]
  DTS(Direct Streaming)、PRS(Proxied Streaming)、MSS(Managed Service Streaming)の3つのクロスファシリティデータストリーミングアーキテクチャについて検討する。 我々の研究では、DTSは最小のホップパスを提供し、スループットの向上とレイテンシの低減を実現しているのに対し、MSSは複数のユーザに対してデプロイメントの実現可能性とスケーラビリティを提供していますが、大きなオーバーヘッドが発生しています。 PRSは、ほとんどの場合、DTSに匹敵するパフォーマンスを備えたスケーラブルなアーキテクチャを提供する。
  論文  参考訳（メタデータ） (2025-09-28T18:54:38Z)
• A new framework for X-ray absorption spectroscopy data analysis based on machine learning: XASDAML [3.26781102547109]
  XASDAMLは、データ処理ワークフロー全体を統合したフレキシブルな機械学習ベースのフレームワークである。 包括的統計分析をサポートし、主成分分析やクラスタリングなどの手法を活用する。 XASDAMLの汎用性と有効性は、銅のデータセットに適用することで実証される。
  論文  参考訳（メタデータ） (2025-02-23T17:50:04Z)
• Data-Juicer 2.0: Cloud-Scale Adaptive Data Processing for and with Foundation Models [64.28420991770382]
  Data-Juicer 2.0は、テキスト、画像、ビデオ、オーディオのモダリティにまたがるデータ処理オペレーターがバックアップするデータ処理システムである。 データ分析、アノテーション、基礎モデルポストトレーニングなど、より重要なタスクをサポートする。 さまざまな研究分野やAlibaba Cloud PAIのような現実世界の製品で広く採用されている。
  論文  参考訳（メタデータ） (2024-12-23T08:29:57Z)
• TSGM: A Flexible Framework for Generative Modeling of Synthetic Time Series [61.436361263605114]
  時系列データは、研究者と産業組織間のデータの共有を妨げるため、しばしば不足または非常に敏感である。 本稿では,合成時系列の生成モデリングのためのオープンソースフレームワークである時系列生成モデリング(TSGM)を紹介する。
  論文  参考訳（メタデータ） (2023-05-19T10:11:21Z)
• Distributed intelligence on the Edge-to-Cloud Continuum: A systematic literature review [62.997667081978825]
  このレビューは、現在利用可能な機械学習とデータ分析のための最先端ライブラリとフレームワークに関する包括的なビジョンを提供することを目的としている。 現在利用可能なEdge-to-Cloud Continuumに関する実験的な研究のための、主要なシミュレーション、エミュレーション、デプロイメントシステム、テストベッドも調査されている。
  論文  参考訳（メタデータ） (2022-04-29T08:06:05Z)
• SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
  本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。 しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
  論文  参考訳（メタデータ） (2021-12-22T14:45:37Z)
• A Privacy-Preserving Distributed Architecture for Deep-Learning-as-a-Service [68.84245063902908]
  本稿では,ディープラーニング・アズ・ア・サービスのための分散アーキテクチャを提案する。 クラウドベースのマシンとディープラーニングサービスを提供しながら、ユーザの機密データを保存できる。
  論文  参考訳（メタデータ） (2020-03-30T15:12:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。