論文の概要: Scalable Cosmic AI Inference using Cloud Serverless Computing with FMI

• arxiv url: http://arxiv.org/abs/2501.06249v1
• Date: Wed, 08 Jan 2025 20:50:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-14 19:20:12.560857
• Title: Scalable Cosmic AI Inference using Cloud Serverless Computing with FMI
• Title（参考訳）: FMIを用いたクラウドサーバーレスコンピューティングを用いたスケーラブルな宇宙AI推論
• Authors: Mills Staylor, Amirreza Dolatpour Fathkouhi, Md Khairul Islam, Kaleigh O'Hara, Ryan Ghiles Goudjil, Geoffrey Fox, Judy Fox,
• Abstract要約: 大規模な天体画像データ処理と予測は天文学者にとって不可欠である。 現代のディープラーニングモデルは高い予測精度を提供するが、しばしばかなりの計算資源を必要とする。 これらの課題に対処するために、クラウドベースの天文学推論フレームワークを紹介します。
• 参考スコア（独自算出の注目度）: 0.35337216626844875
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Large-scale astronomical image data processing and prediction is essential for astronomers, providing crucial insights into celestial objects, the universe's history, and its evolution. While modern deep learning models offer high predictive accuracy, they often demand substantial computational resources, making them resource-intensive and limiting accessibility. We introduce the Cloud-based Astronomy Inference (CAI) framework to address these challenges. This scalable solution integrates pre-trained foundation models with serverless cloud infrastructure through a Function-as-a-Service (FaaS) Message Interface (FMI). CAI enables efficient and scalable inference on astronomical images without extensive hardware. Using a foundation model for redshift prediction as a case study, our extensive experiments cover user devices, HPC (High-Performance Computing) servers, and Cloud. CAI's significant scalability improvement on large data sizes provides an accessible and effective tool for the astronomy community. The code is accessible at https://github.com/UVA-MLSys/AI-for-Astronomy.
• Abstract（参考訳）: 大規模な天体画像データ処理と予測は天文学者にとって不可欠であり、天体、宇宙の歴史、その進化に関する重要な洞察を提供する。 現代のディープラーニングモデルは高い予測精度を提供するが、しばしばかなりの計算資源を必要とし、リソース集約的でアクセシビリティを制限する。 これらの課題に対処するために、クラウドベースの天文学推論(CAI)フレームワークを紹介します。 このスケーラブルなソリューションは、Function-as-a-Service (FaaS) Message Interface (FMI)を通じて、トレーニング済みの基盤モデルとサーバレスクラウドインフラストラクチャを統合する。 CAIは、広範なハードウェアを使わずに、天文学的な画像の効率的でスケーラブルな推論を可能にする。 ケーススタディとして,赤方偏移予測の基礎モデルを用いて,ユーザデバイス,HPC(High-Performance Computing)サーバ,クラウドをカバーする広範な実験を行った。 CAIの大規模なデータサイズに対する大幅なスケーラビリティ向上は、天文学コミュニティにとってアクセスしやすく効果的なツールを提供する。 コードはhttps://github.com/UVA-MLSys/AI-for-Astronomyでアクセスできる。

関連論文リスト

• Towards a future space-based, highly scalable AI infrastructure system design [1.6764108000740328]
  この研究は、宇宙における機械学習のためのスケーラブルな計算システムを探究する。 太陽電池アレイ、自由空間光学を用いた衛星間リンク、Google Tenor Processing Unit(TPU)アクセラレータチップを備えた衛星群を使用している。 本稿では, 半径1kmの81サテライトクラスターによる成層飛行の基本的アプローチについて述べるとともに, 大規模星座の制御に高精度MLモデルを用いるアプローチについて述べる。
  論文  参考訳（メタデータ） (2025-11-22T00:28:08Z)
• AstroMAE: Redshift Prediction Using a Masked Autoencoder with a Novel Fine-Tuning Architecture [0.6906005491572401]
  AstroMAEは,マスク付きオートエンコーダ法を用いて視覚変換器エンコーダを事前訓練する革新的な手法である。 この技術により、エンコーダはラベルに頼ることなく、データ内のグローバルパターンをキャプチャできる。 我々は,様々な視覚変換器アーキテクチャとCNNベースのモデルに対して,我々のモデルを評価する。
  論文  参考訳（メタデータ） (2024-09-03T12:12:37Z)
• NNsight and NDIF: Democratizing Access to Open-Weight Foundation Model Internals [58.83169560132308]
  NNsightとNDIFは、非常に大きなニューラルネットワークの科学的研究を可能にするために、タンデムで機能する技術である。 NNsightは、遅延リモート実行を導入するためにPyTorchを拡張したオープンソースのシステムである。 NDIFは、NNsightリクエストを実行するスケーラブルな推論サービスで、GPUリソースと事前トレーニングされたモデルを共有することができる。
  論文  参考訳（メタデータ） (2024-07-18T17:59:01Z)
• Distributed computing for physics-based data-driven reduced modeling at scale: Application to a rotating detonation rocket engine [0.0]
  本稿では,極大次元のスパースデータセットから学習した予測物理ベースのROMを高速かつスケーラブルに構築する分散メモリアルゴリズムを提案する。 我々は、シミュレーションされた物理時間の1ミリ秒がスーパーコンピュータ上で100万コア時間を必要とする実世界の3次元RDREに焦点を当てる。
  論文  参考訳（メタデータ） (2024-07-13T20:17:41Z)
• Computing in the Era of Large Generative Models: From Cloud-Native to AI-Native [46.7766555589807]
  クラウドネイティブ技術と高度な機械学習推論の両方のパワーを利用するAIネイティブコンピューティングパラダイムについて説明する。 これらの共同作業は、コスト・オブ・グッド・ソード(COGS)を最適化し、資源のアクセシビリティを向上させることを目的としている。
  論文  参考訳（メタデータ） (2024-01-17T20:34:11Z)
• Self-Driving Telescopes: Autonomous Scheduling of Astronomical Observation Campaigns with Offline Reinforcement Learning [0.6976905094072174]
  我々は、ストーンエッジ天文台(SEO)の観測スケジュールを最適化するために、シミュレーションデータを用いてDeep Q-Network(DQN)の複数の実装をテスト、比較する。 DQNは,テストセットの各状態における達成可能な最大報酬の87%以上-6%の報酬を得られることを示す。 これは、特定の天文学的課題に対するオフラインRLアルゴリズムの最初の比較であり、そのような比較と評価を行うための最初のオープンソースフレームワークである。
  論文  参考訳（メタデータ） (2023-11-29T21:23:30Z)
• Pushing the Limits of Pre-training for Time Series Forecasting in the CloudOps Domain [54.67888148566323]
  クラウドオペレーションドメインから,大規模時系列予測データセットを3つ導入する。 強力なゼロショットベースラインであり、モデルとデータセットサイズの両方において、さらなるスケーリングの恩恵を受けています。 これらのデータセットと結果を取得することは、古典的および深層学習のベースラインを事前訓練された方法と比較した総合的なベンチマーク結果の集合である。
  論文  参考訳（メタデータ） (2023-10-08T08:09:51Z)
• Federated Fine-Tuning of LLMs on the Very Edge: The Good, the Bad, the Ugly [62.473245910234304]
  本稿では,最新のエッジコンピューティングシステムにおいて,Large Language Modelsをどのように導入できるかを,ハードウェア中心のアプローチで検討する。 マイクロレベルのハードウェアベンチマークを行い、FLOPモデルと最先端のデータセンターGPUを比較し、現実的な条件下でのネットワーク利用について検討する。
  論文  参考訳（メタデータ） (2023-10-04T20:27:20Z)
• The Tiny Time-series Transformer: Low-latency High-throughput Classification of Astronomical Transients using Deep Model Compression [4.960046610835999]
  スペース・アンド・タイムのレガシー・サーベイ(LSST)は、時間領域天文学のビッグデータバーを引き上げます。 最新の深部圧縮手法がモデルサイズを18倍に削減できることを示す。 また、深部圧縮技術に加えて、ファイルフォーマットの慎重に選択することで、推論のレイテンシが向上することを示した。
  論文  参考訳（メタデータ） (2023-03-15T21:46:35Z)
• Satellite Image Time Series Analysis for Big Earth Observation Data [50.591267188664666]
  本稿では,機械学習を用いた衛星画像時系列解析のためのオープンソースRパッケージである sit について述べる。 本手法は, Cerrado Biome のケーススタディにより, 土地利用と土地被覆マップの精度が高いことを示す。
  論文  参考訳（メタデータ） (2022-04-24T15:23:25Z)
• The MIT Supercloud Workload Classification Challenge [10.458111248130944]
  本稿では,MIT Supercloudデータセットに基づくワークロード分類の課題について述べる。 この課題の目標は、計算ワークロードの分析におけるアルゴリズムのイノベーションを促進することである。
  論文  参考訳（メタデータ） (2022-04-12T14:28:04Z)
• Deep Learning for Real Time Satellite Pose Estimation on Low Power Edge TPU [58.720142291102135]
  本稿では,ニューラルネットワークアーキテクチャを利用したポーズ推定ソフトウェアを提案する。 我々は、低消費電力の機械学習アクセラレーターが宇宙での人工知能の活用を可能にしていることを示す。
  論文  参考訳（メタデータ） (2022-04-07T08:53:18Z)
• The MIT Supercloud Dataset [3.375826083518709]
  我々は、大規模なHPCとデータセンター/クラウドオペレーションの分析において、革新的なAI/MLアプローチを促進することを目的とした、MIT Supercloudデータセットを紹介します。 我々は、ジョブ毎のCPUおよびGPU使用率、メモリ使用率、ファイルシステムログ、物理モニタリングデータを含む、MIT Supercloudシステムから詳細な監視ログを提供する。 本稿では,データセットの詳細,収集手法,データ可用性について論じ,このデータを用いて開発されている潜在的な課題について論じる。
  論文  参考訳（メタデータ） (2021-08-04T13:06:17Z)
• First Full-Event Reconstruction from Imaging Atmospheric Cherenkov Telescope Real Data with Deep Learning [55.41644538483948]
  チェレンコフ望遠鏡アレイは、地上のガンマ線天文学の未来である。 地上で作られた最初のプロトタイプ望遠鏡であるLarge Size Telescope 1は現在、最初の科学データを収集している。 我々は、深層畳み込みニューラルネットワークに基づくフルイベント再構築の開発とその実データへの適用を初めて提示する。
  論文  参考訳（メタデータ） (2021-05-31T12:51:42Z)
• Cost-effective Machine Learning Inference Offload for Edge Computing [0.3149883354098941]
  本稿では,インストール・ベース・オンプレミス(edge)計算資源を活用した新しいオフロード機構を提案する。 提案するメカニズムにより、エッジデバイスは、リモートクラウドを使用する代わりに、重い計算集約的なワークロードをエッジノードにオフロードすることができる。
  論文  参考訳（メタデータ） (2020-12-07T21:11:02Z)
• Lightweight Single-Image Super-Resolution Network with Attentive Auxiliary Feature Learning [73.75457731689858]
  本稿では,SISR の注意補助機能 (A$2$F) に基づく計算効率が高く正確なネットワークを構築した。 大規模データセットを用いた実験結果から,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2020-11-13T06:01:46Z)
• Superiority of Simplicity: A Lightweight Model for Network Device Workload Prediction [58.98112070128482]
  本稿では,歴史観測に基づく時系列予測のための軽量な解を提案する。 ニューラルネットワークと平均予測器という2つのモデルからなる異種アンサンブル法で構成されている。 利用可能なFedCSIS 2020チャレンジデータセットの総合的なR2$スコア0.10を達成している。
  論文  参考訳（メタデータ） (2020-07-07T15:44:16Z)
• A Privacy-Preserving Distributed Architecture for Deep-Learning-as-a-Service [68.84245063902908]
  本稿では,ディープラーニング・アズ・ア・サービスのための分散アーキテクチャを提案する。 クラウドベースのマシンとディープラーニングサービスを提供しながら、ユーザの機密データを保存できる。
  論文  参考訳（メタデータ） (2020-03-30T15:12:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。