論文の概要: Optimizing Cloud-to-GPU Throughput for Deep Learning With Earth Observation Data

• arxiv url: http://arxiv.org/abs/2506.06235v1
• Date: Fri, 06 Jun 2025 16:54:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-09 17:28:43.558947
• Title: Optimizing Cloud-to-GPU Throughput for Deep Learning With Earth Observation Data
• Title（参考訳）: 地球観測データを用いたディープラーニングのためのCloud-to-GPUスループットの最適化
• Authors: Akram Zaytar, Caleb Robinson, Girmaw Abebe Tadesse, Tammy Glazer, Gilles Hacheme, Anthony Ortiz, Rahul M Dodhia, Juan M Lavista Ferres,
• Abstract要約: ペタバイト規模の地球観測(EO)データに基づくディープラーニングモデルのトレーニングには、データストレージから計算リソースを分離する必要がある。 標準的なPyTorchデータローダは、クラウドストレージから直接GeoTIFFファイルをストリーミングする際に、最新のGPUを利用できない。 クラウドオブジェクトストレージとローカルSSDの両方からGeoTIFFロードスループットをベンチマークし、異なるローダ構成とデータパラメータを体系的にテストする。
• 参考スコア（独自算出の注目度）: 4.487566270682721
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training deep learning models on petabyte-scale Earth observation (EO) data requires separating compute resources from data storage. However, standard PyTorch data loaders cannot keep modern GPUs utilized when streaming GeoTIFF files directly from cloud storage. In this work, we benchmark GeoTIFF loading throughput from both cloud object storage and local SSD, systematically testing different loader configurations and data parameters. We focus on tile-aligned reads and worker thread pools, using Bayesian optimization to find optimal settings for each storage type. Our optimized configurations increase remote data loading throughput by 20x and local throughput by 4x compared to default settings. On three public EO benchmarks, models trained with optimized remote loading achieve the same accuracy as local training within identical time budgets. We improve validation IoU by 6-15% and maintain 85-95% GPU utilization versus 0-30% with standard configurations. Code is publicly available at https://github.com/microsoft/pytorch-cloud-geotiff-optimization
• Abstract（参考訳）: ペタバイト規模の地球観測(EO)データに基づくディープラーニングモデルのトレーニングには、データストレージから計算リソースを分離する必要がある。 しかし、標準的なPyTorchデータローダは、クラウドストレージから直接GeoTIFFファイルをストリーミングする際に、最新のGPUを利用できない。 本研究では、クラウドオブジェクトストレージとローカルSSDの両方からGeoTIFFロードスループットをベンチマークし、異なるローダ構成とデータパラメータを体系的にテストする。 我々は、各ストレージタイプに対して最適な設定を見つけるためにベイジアン最適化を用いて、タイル整列読み込みとワーカースレッドプールに焦点を当てた。 最適化された設定により、リモートデータのロードスループットが20倍、ローカルスループットが4倍向上します。 3つの公開EOベンチマークでは、最適化されたリモートローディングでトレーニングされたモデルは、同じ時間予算内でのローカルトレーニングと同じ精度を達成する。 We improve validation IoU by 6-15% and maintain 85-95% GPU utilization versus 0-30% with standard configurations。 コードはhttps://github.com/microsoft/pytorch-cloud-geotiff-timizationで公開されている。

関連論文リスト

• CASS: Nvidia to AMD Transpilation with Data, Models, and Benchmark [8.97422045170539]
  クロスアーキテクチャGPUコードトランスパイレーションのための,最初の大規模データセットとモデルスイートであるCASSを紹介する。 データセットは、ホストとデバイス間で70万の検証済みコードペアで構成されている。 ドメイン固有言語モデルのCASSファミリーを訓練し、95%のソース翻訳精度と37.5%のアセンブリ翻訳精度を達成する。
  論文  参考訳（メタデータ） (2025-05-22T17:48:53Z)
• Can Large Language Models Predict Parallel Code Performance? [1.5221392705893568]
  本稿では,Large Language Models (LLM) がハードウェアに依存しないGPU性能予測に代替的なアプローチを提供するかどうかを考察する。 LLMはRooflineモデルについて強く理解しており、明示的なプロファイリングデータを備えた場合、100%の分類精度を達成する。 以上の結果から,より優れたデータセットと迅速な戦略により,LLMはHPCルーフライン解析および性能ポータビリティのための実用的なツールとなる可能性が示唆された。
  論文  参考訳（メタデータ） (2025-05-06T21:41:20Z)
• GOTPR: General Outdoor Text-based Place Recognition Using Scene Graph Retrieval with OpenStreetMap [4.51019574688293]
  GOTPRはGPS信号が利用できない屋外環境向けに設計されたロバストな位置認識手法である。 大規模で保存が難しいポイントクラウドマップを使用する既存のアプローチとは異なり、GOTPRはテキスト記述や場所認識用のマップから生成されたシーングラフを活用する。 都市規模のテストでは、数秒で処理を完了し、現実世界のロボティクスアプリケーションに非常に実用的になった。
  論文  参考訳（メタデータ） (2025-01-15T04:51:10Z)
• OmniBal: Towards Fast Instruction-Tuning for Vision-Language Models via Omniverse Computation Balance [65.48009829137824]
  視覚言語命令チューニングモデルにおける大規模3D並列トレーニングは、異なるデバイス間で不均衡な計算負荷をもたらす。 我々は、データ、モデル、メモリの観点から計算負荷を再均衡させ、デバイス間でよりバランスのとれた計算を実現する。 提案手法の有効性と一般化性は,様々なモデルやデータセットにまたがってさらに検証される。
  論文  参考訳（メタデータ） (2024-07-30T12:02:58Z)
• PointRegGPT: Boosting 3D Point Cloud Registration using Generative Point-Cloud Pairs for Training [90.06520673092702]
  生成点クラウドペアを用いた3Dポイントクラウドの登録をトレーニングのために促進するPointRegGPTを提案する。 我々の知る限り、これは屋内のクラウド登録のためのリアルなデータ生成を探求する最初の生成的アプローチである。
  論文  参考訳（メタデータ） (2024-07-19T06:29:57Z)
• Revisiting Few-Shot Object Detection with Vision-Language Models [49.79495118650838]
  我々は、最近の基礎視覚言語モデル(VLM)の文脈で、少数ショットオブジェクト検出(FSOD)のタスクを再考する。 我々は,任意の外部データ上で事前学習された検出器を評価する新しいベンチマークプロトコルであるFoundational FSODを提案する。 CVPR 2024 Foundational FSOD コンペティションについて論じ,コミュニティからの洞察を共有した。
  論文  参考訳（メタデータ） (2023-12-22T07:42:00Z)
• How to Train an Accurate and Efficient Object Detection Model on Any Dataset [0.0]
  オブジェクト検出訓練のためのデータセットに依存しないテンプレートを提案する。 慎重に選択され、事前訓練されたモデルと、さらなるトレーニングのための堅牢なトレーニングパイプラインで構成される。 私たちのソリューションは最初から動作し、幅広いデータセットに対して強力なベースラインを提供します。
  論文  参考訳（メタデータ） (2022-11-30T17:09:01Z)
• CroCo: Cross-Modal Contrastive learning for localization of Earth Observation data [62.96337162094726]
  地上のLiDAR点雲をリモートセンシング画像上にローカライズすることに興味がある。 本稿では,DEMと高分解能光学画像に基づいて学習を行うコントラスト学習手法を提案する。 ベストシナリオは、トップ1スコア0.71、トップ5スコア0.81を得る。
  論文  参考訳（メタデータ） (2022-04-14T15:55:00Z)
• ASH: A Modern Framework for Parallel Spatial Hashing in 3D Perception [91.24236600199542]
  ASHは、GPU上の並列空間ハッシュのためのモダンで高性能なフレームワークである。 ASHはより高いパフォーマンスを実現し、よりリッチな機能をサポートし、より少ないコード行を必要とする。 ASHとそのサンプルアプリケーションはOpen3Dでオープンソース化されている。
  論文  参考訳（メタデータ） (2021-10-01T16:25:40Z)
• PERCH 2.0 : Fast and Accurate GPU-based Perception via Search for Object Pose Estimation [14.812000578324481]
  本稿では,ポーズ推定のための探索手法であるPERCH 2.0を提案する。 提案手法は, PERCHの100倍の高速化を実現するとともに, 最先端のデータ駆動手法よりも精度が高いことを示す。
  論文  参考訳（メタデータ） (2020-08-01T19:42:56Z)
• Semi-Supervised Neural Architecture Search [185.0651567642238]
  SemiNASは、多くの未ラベルアーキテクチャを活用する半教師付きニューラルアーキテクチャサーチ(NAS)アプローチである(評価なしで、ほぼコストがかからない)。 NASBench-101で94.02%のテスト精度を達成し、同じ数のアーキテクチャを使用する場合、すべてのベースラインを上回ります。 低リソース環境では97%のインテリジェンス率、ロバストネス環境では15%のテストエラー率、ベースラインではそれぞれ9%、7%の改善を実現している。
  論文  参考訳（メタデータ） (2020-02-24T17:23:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。