論文の概要: Energy Consumption of Dataframe Libraries for End-to-End Deep Learning Pipelines:A Comparative Analysis

• arxiv url: http://arxiv.org/abs/2511.08644v2
• Date: Mon, 17 Nov 2025 20:13:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-19 13:59:16.492866
• Title: Energy Consumption of Dataframe Libraries for End-to-End Deep Learning Pipelines:A Comparative Analysis
• Title（参考訳）: エンドツーエンドディープラーニングパイプラインのためのデータフレームライブラリのエネルギー消費:比較分析
• Authors: Punit Kumar, Asif Imran, Tevfik Kosar,
• Abstract要約: 本稿では,Pythonデータ操作ライブラリであるPandas, Polars, Daskの3つのパフォーマンスの比較分析を行った。 この研究は、データローディング、前処理、バッチフィードといった重要なフェーズにおいて、これらのライブラリがGPUワークロードとどのように相互作用するかを研究することで、既存の文献のギャップを埋める。
• 参考スコア（独自算出の注目度）: 1.5675763601034223
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents a detailed comparative analysis of the performance of three major Python data manipulation libraries - Pandas, Polars, and Dask - specifically when embedded within complete deep learning (DL) training and inference pipelines. The research bridges a gap in existing literature by studying how these libraries interact with substantial GPU workloads during critical phases like data loading, preprocessing, and batch feeding. The authors measured key performance indicators including runtime, memory usage, disk usage, and energy consumption (both CPU and GPU) across various machine learning models and datasets.
• Abstract（参考訳）: 本稿では,3つのPythonデータ操作ライブラリ(Pandas, Polars, Dask)の性能比較を行った。 この研究は、データローディング、前処理、バッチフィードといった重要なフェーズにおいて、これらのライブラリがGPUワークロードとどのように相互作用するかを研究することで、既存の文献のギャップを埋める。 著者らは、ランタイム、メモリ使用量、ディスク使用量、さまざまな機械学習モデルとデータセットにわたるエネルギー消費量(CPUとGPUの両方)など、主要なパフォーマンス指標を測定した。

関連論文リスト

• Cuvis.Ai: An Open-Source, Low-Code Software Ecosystem for Hyperspectral Processing and Classification [0.4038539043067986]
  cuvis.aiは、データ取得、前処理、モデルトレーニングのためのオープンソースでローコードなソフトウェアエコシステムである。 パッケージはPythonで書かれており、一般的な機械学習ライブラリのラッパーを提供する。
  論文  参考訳（メタデータ） (2024-11-18T06:33:40Z)
• fVDB: A Deep-Learning Framework for Sparse, Large-Scale, and High-Performance Spatial Intelligence [55.582429009401956]
  fVDBは、大規模な3Dデータのディープラーニングのための新しいフレームワークである。 私たちのフレームワークは、既存のパイプラインとの相互運用性を可能にするPyTorchと完全に統合されています。
  論文  参考訳（メタデータ） (2024-07-01T20:20:33Z)
• Green AI: A Preliminary Empirical Study on Energy Consumption in DL Models Across Different Runtime Infrastructures [56.200335252600354]
  トレーニング済みのモデルを、ネイティブな開発環境とは異なる環境にデプロイするのは、一般的なプラクティスです。 これにより、インフラを含むONNXや標準フォーマットとして機能するONNXなどの交換フォーマットが導入された。
  論文  参考訳（メタデータ） (2024-02-21T09:18:44Z)
• CiT: Curation in Training for Effective Vision-Language Data [84.77867625605053]
  本稿では,学習対象を学習対象とする視覚テキスト学習アルゴリズムであるCuration in Training (CiT)を提案する。 CiTは、コントラストのある画像テキストトレーニングを高速化するために、品質データを自動生成する。 我々は,特に生データサイズが大きい場合,CitTが1桁以上のトレーニングを高速化できることを観察した。
  論文  参考訳（メタデータ） (2023-01-05T18:59:57Z)
• PARTIME: Scalable and Parallel Processing Over Time with Deep Neural Networks [68.96484488899901]
  PartIMEは、データが継続的にストリーミングされるたびにニューラルネットワークを高速化するように設計されたライブラリです。 PartIMEは、ストリームから利用可能になった時点で、各データサンプルの処理を開始する。 オンライン学習において、PartialIMEと古典的な非並列ニューラル計算を経験的に比較するために実験が行われる。
  論文  参考訳（メタデータ） (2022-10-17T14:49:14Z)
• TSFEDL: A Python Library for Time Series Spatio-Temporal Feature Extraction and Prediction using Deep Learning (with Appendices on Detailed Network Architectures and Experimental Cases of Study) [9.445070013080601]
  TSFEライブラリは、AGPLv3ライセンスの下でflow+KerasとPyTorchモジュールのセット上に構築されている。 この提案に含まれるアーキテクチャのパフォーマンス検証は、このPythonパッケージの有用性を確認している。
  論文  参考訳（メタデータ） (2022-06-07T10:58:33Z)
• Benchmark Assessment for DeepSpeed Optimization Library [1.7839986996686321]
  ディープラーニング(DL)モデルは、そのパフォーマンスと大規模なデータセットを扱う能力のために、機械学習で広く使用されている。 このようなデータセットのサイズとDLモデルの複雑さは、そのようなモデルが複雑になり、大量のリソースとトレーニング時間を消費する。 最近のライブラリやアプリケーションは、DLの複雑さと効率の問題に対処するために導入されている。
  論文  参考訳（メタデータ） (2022-02-12T04:52:28Z)
• Omnidata: A Scalable Pipeline for Making Multi-Task Mid-Level Vision Datasets from 3D Scans [103.92680099373567]
  本稿では,実世界の包括的3Dスキャンからマルチタスク視覚データセットをパラメトリックサンプリングし,レンダリングするパイプラインを提案する。 サンプリングパラメータを変更することで、生成されたデータセットを“ステア”して、特定の情報を強調することが可能になる。 生成されたスタータデータセットでトレーニングされた共通アーキテクチャは、複数の共通ビジョンタスクとベンチマークで最先端のパフォーマンスに達した。
  論文  参考訳（メタデータ） (2021-10-11T04:21:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。