論文の概要: Scalable Cosmic AI Inference using Cloud Serverless Computing with FMI

• arxiv url: http://arxiv.org/abs/2501.06249v1
• Date: Wed, 08 Jan 2025 20:50:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-14 20:44:02.638886
• Title: Scalable Cosmic AI Inference using Cloud Serverless Computing with FMI
• Title（参考訳）: FMIを用いたクラウドサーバーレスコンピューティングを用いたスケーラブルな宇宙AI推論
• Authors: Mills Staylor, Amirreza Dolatpour Fathkouhi, Md Khairul Islam, Kaleigh O'Hara, Ryan Ghiles Goudjil, Geoffrey Fox, Judy Fox,
• Abstract要約: 大規模な天体画像データ処理と予測は天文学者にとって不可欠である。 現代のディープラーニングモデルは高い予測精度を提供するが、しばしばかなりの計算資源を必要とする。 これらの課題に対処するために、クラウドベースの天文学推論フレームワークを紹介します。
• 参考スコア（独自算出の注目度）: 0.35337216626844875
• License:
• Abstract: Large-scale astronomical image data processing and prediction is essential for astronomers, providing crucial insights into celestial objects, the universe's history, and its evolution. While modern deep learning models offer high predictive accuracy, they often demand substantial computational resources, making them resource-intensive and limiting accessibility. We introduce the Cloud-based Astronomy Inference (CAI) framework to address these challenges. This scalable solution integrates pre-trained foundation models with serverless cloud infrastructure through a Function-as-a-Service (FaaS) Message Interface (FMI). CAI enables efficient and scalable inference on astronomical images without extensive hardware. Using a foundation model for redshift prediction as a case study, our extensive experiments cover user devices, HPC (High-Performance Computing) servers, and Cloud. CAI's significant scalability improvement on large data sizes provides an accessible and effective tool for the astronomy community. The code is accessible at https://github.com/UVA-MLSys/AI-for-Astronomy.
• Abstract（参考訳）: 大規模な天体画像データ処理と予測は天文学者にとって不可欠であり、天体、宇宙の歴史、その進化に関する重要な洞察を提供する。 現代のディープラーニングモデルは高い予測精度を提供するが、しばしばかなりの計算資源を必要とし、リソース集約的でアクセシビリティを制限する。 これらの課題に対処するために、クラウドベースの天文学推論(CAI)フレームワークを紹介します。 このスケーラブルなソリューションは、Function-as-a-Service (FaaS) Message Interface (FMI)を通じて、トレーニング済みの基盤モデルとサーバレスクラウドインフラストラクチャを統合する。 CAIは、広範なハードウェアを使わずに、天文学的な画像の効率的でスケーラブルな推論を可能にする。 ケーススタディとして,赤方偏移予測の基礎モデルを用いて,ユーザデバイス,HPC(High-Performance Computing)サーバ,クラウドをカバーする広範な実験を行った。 CAIの大規模なデータサイズに対する大幅なスケーラビリティ向上は、天文学コミュニティにとってアクセスしやすく効果的なツールを提供する。 コードはhttps://github.com/UVA-MLSys/AI-for-Astronomyでアクセスできる。

関連論文リスト

• AstroMAE: Redshift Prediction Using a Masked Autoencoder with a Novel Fine-Tuning Architecture [0.6906005491572401]
  AstroMAEは,マスク付きオートエンコーダ法を用いて視覚変換器エンコーダを事前訓練する革新的な手法である。 この技術により、エンコーダはラベルに頼ることなく、データ内のグローバルパターンをキャプチャできる。 我々は,様々な視覚変換器アーキテクチャとCNNベースのモデルに対して,我々のモデルを評価する。
  論文  参考訳（メタデータ） (2024-09-03T12:12:37Z)
• Computing in the Era of Large Generative Models: From Cloud-Native to AI-Native [46.7766555589807]
  クラウドネイティブ技術と高度な機械学習推論の両方のパワーを利用するAIネイティブコンピューティングパラダイムについて説明する。 これらの共同作業は、コスト・オブ・グッド・ソード(COGS)を最適化し、資源のアクセシビリティを向上させることを目的としている。
  論文  参考訳（メタデータ） (2024-01-17T20:34:11Z)
• Federated Fine-Tuning of LLMs on the Very Edge: The Good, the Bad, the Ugly [62.473245910234304]
  本稿では,最新のエッジコンピューティングシステムにおいて,Large Language Modelsをどのように導入できるかを,ハードウェア中心のアプローチで検討する。 マイクロレベルのハードウェアベンチマークを行い、FLOPモデルと最先端のデータセンターGPUを比較し、現実的な条件下でのネットワーク利用について検討する。
  論文  参考訳（メタデータ） (2023-10-04T20:27:20Z)
• Satellite Image Time Series Analysis for Big Earth Observation Data [50.591267188664666]
  本稿では,機械学習を用いた衛星画像時系列解析のためのオープンソースRパッケージである sit について述べる。 本手法は, Cerrado Biome のケーススタディにより, 土地利用と土地被覆マップの精度が高いことを示す。
  論文  参考訳（メタデータ） (2022-04-24T15:23:25Z)
• The MIT Supercloud Workload Classification Challenge [10.458111248130944]
  本稿では,MIT Supercloudデータセットに基づくワークロード分類の課題について述べる。 この課題の目標は、計算ワークロードの分析におけるアルゴリズムのイノベーションを促進することである。
  論文  参考訳（メタデータ） (2022-04-12T14:28:04Z)
• Edge-Cloud Polarization and Collaboration: A Comprehensive Survey [61.05059817550049]
  クラウドとエッジ両方のAIの体系的なレビューを行います。 私たちはクラウドとエッジモデリングの協調学習メカニズムを最初にセットアップしました。 我々は現在進行中の最先端AIトピックの可能性と実践経験について議論する。
  論文  参考訳（メタデータ） (2021-11-11T05:58:23Z)
• The MIT Supercloud Dataset [3.375826083518709]
  我々は、大規模なHPCとデータセンター/クラウドオペレーションの分析において、革新的なAI/MLアプローチを促進することを目的とした、MIT Supercloudデータセットを紹介します。 我々は、ジョブ毎のCPUおよびGPU使用率、メモリ使用率、ファイルシステムログ、物理モニタリングデータを含む、MIT Supercloudシステムから詳細な監視ログを提供する。 本稿では,データセットの詳細,収集手法,データ可用性について論じ,このデータを用いて開発されている潜在的な課題について論じる。
  論文  参考訳（メタデータ） (2021-08-04T13:06:17Z)
• First Full-Event Reconstruction from Imaging Atmospheric Cherenkov Telescope Real Data with Deep Learning [55.41644538483948]
  チェレンコフ望遠鏡アレイは、地上のガンマ線天文学の未来である。 地上で作られた最初のプロトタイプ望遠鏡であるLarge Size Telescope 1は現在、最初の科学データを収集している。 我々は、深層畳み込みニューラルネットワークに基づくフルイベント再構築の開発とその実データへの適用を初めて提示する。
  論文  参考訳（メタデータ） (2021-05-31T12:51:42Z)
• Cost-effective Machine Learning Inference Offload for Edge Computing [0.3149883354098941]
  本稿では,インストール・ベース・オンプレミス(edge)計算資源を活用した新しいオフロード機構を提案する。 提案するメカニズムにより、エッジデバイスは、リモートクラウドを使用する代わりに、重い計算集約的なワークロードをエッジノードにオフロードすることができる。
  論文  参考訳（メタデータ） (2020-12-07T21:11:02Z)
• A Privacy-Preserving Distributed Architecture for Deep-Learning-as-a-Service [68.84245063902908]
  本稿では,ディープラーニング・アズ・ア・サービスのための分散アーキテクチャを提案する。 クラウドベースのマシンとディープラーニングサービスを提供しながら、ユーザの機密データを保存できる。
  論文  参考訳（メタデータ） (2020-03-30T15:12:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。