論文の概要: PandasBench: A Benchmark for the Pandas API

• arxiv url: http://arxiv.org/abs/2506.02345v1
• Date: Tue, 03 Jun 2025 00:52:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:35.182927
• Title: PandasBench: A Benchmark for the Pandas API
• Title（参考訳）: PandasBench: Pandas APIのベンチマーク
• Authors: Alex Broihier, Stefanos Baziotis, Daniel Kang, Charith Mendis,
• Abstract要約: パンダAPIは、パンダとその代替品の成功の中心となっている。 その重要性にもかかわらず、ベンチマークはありません。 それらを満たす最初のベンチマークを示す: PandasBench。
• 参考スコア（独自算出の注目度）: 3.662364375995991
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Pandas API has been central to the success of pandas and its alternatives. Despite its importance, there is no benchmark for it, and we argue that we cannot repurpose existing benchmarks (from other domains) for the Pandas API. In this paper, we introduce requirements that are necessary for a Pandas API enchmark, and present the first benchmark that fulfills them: PandasBench. We argue that it should evaluate the real-world coverage of a technique. Yet, real-world coverage is not sufficient for a useful benchmark, and so we also: cleaned it from irrelevant code, adapted it for benchmark usage, and introduced input scaling. We claim that uniform scaling used in other benchmarks (e.g., TPC-H) is too coarse-grained for PandasBench, and use a non-uniform scaling scheme. PandasBench is the largest Pandas API benchmark to date, with 102 notebooks and 3,721 cells. We used PandasBench to evaluate Modin, Dask, Koalas, and Dias. This is the largest-scale evaluation of all these techniques to date. Prior works report significant speedups using constrained benchmarks, but we show that on a larger benchmark with real-world code, the most notebooks that got a speedup were 8/102 (~8%) for Modin, and 0 for both Koalas and Dask. Dias showed speedups in up to 55 notebooks (~54%), but it rewrites code incorrectly in certain cases, which had not been observed in prior work. Second, we identified many failures: Modin runs only 72/102 (~70%) notebooks, Dask 4 (~4%), Koalas 10 (~10%), and Dias 97 (95%).
• Abstract（参考訳）: Pandas APIは、パンダとその代替品の成功の中心となっている。 その重要性にもかかわらず、ベンチマークは存在せず、既存のベンチマーク(他のドメインから)をPandas APIに再利用することはできないと論じています。 本稿では,Pandas APIエンクマークに必要な要件を紹介し,それらを満たす最初のベンチマークを示す: PandasBench。 我々は,この手法の現実的カバレッジを評価するべきだと論じる。 しかし、実世界のカバレッジは有用なベンチマークには不十分なので、無関係なコードからクリーン化し、ベンチマークに適応し、インプットスケーリングを導入しました。 我々は、他のベンチマーク(例えば、TPC-H)で使用される均一なスケーリングは、パンダスベンチには粗い粒度であり、一様でないスケーリングスキームを使用する。 PandasBenchは、これまでで最大のPandas APIベンチマークであり、102のノートブックと3,721のセルがある。 PandasBenchを使ってModin, Dask, Koalas, Diasを評価しました。 これは、これまでで最大の、これらのテクニックの評価である。 以前の研究では、制約付きベンチマークを使用した大幅なスピードアップが報告されていたが、実際のコードによるより大きなベンチマークでは、スピードアップされたほとんどのノートブックは、Modinが8/102 (~8%)、KoalasとDaskが0であった。 Diasは最大55のノートブック(約54%)でスピードアップを示したが、前作では見られなかった特定のケースでコードを書き直した。 第2に、Modinは72/102(~70%)のノートブック、Dask 4(~4%)、Koalas 10(~10%)、Dias 97(95%)のみを実行しています。

関連論文リスト

• RePanda: Pandas-powered Tabular Verification and Reasoning [47.373245682678515]
  RePandaは、クレームを実行可能なパンダクエリに変換する構造化された事実検証手法である。 RePandaをトレーニングするために、TabFactから派生した構造化データセットであるPanTabFactを構築した。 そこで我々はPanWikiを紹介した。PanWikiはWikiTableQuestionsをパンダのクエリにマッピングするデータセットである。
  論文  参考訳（メタデータ） (2025-03-14T23:12:36Z)
• Drawing Pandas: A Benchmark for LLMs in Generating Plotting Code [1.5999407512883512]
  PandasPlotBenchは、ビジュアルデータ探索のアシスタントとして言語モデルの有効性を評価するように設計されている。 データセットには175のユニークなタスクが含まれている。 我々の実験は、Matplotlib、Seaborn、Plotlyの3つの可視化ライブラリにわたる主要なLarge Language Model(LLM)を評価した。
  論文  参考訳（メタデータ） (2024-12-03T19:05:37Z)
• Very fast Bayesian Additive Regression Trees on GPU [0.0]
  単一のCPUコアと比較して最大200倍高速なGPU対応のBARTを実装し、XGBoostで実行時にBARTと競合する。 この実装はPythonパッケージのbartzで利用できる。
  論文  参考訳（メタデータ） (2024-10-30T17:29:03Z)
• PandaLM: An Automatic Evaluation Benchmark for LLM Instruction Tuning Optimization [63.55408755562274]
  審査用大言語モデル PandaLM は、いくつかの大きな言語モデルが与えられた優れたモデルを区別するために訓練されている。 PandaLMは、相対的簡潔さ、明快さ、指示への固執、包括性、形式性などの重要な主観的要因に対処する。 PandaLMはGPT-3.5の評価能力の93.75%、テストデータセットのF1スコアの88.28%を達成している。
  論文  参考訳（メタデータ） (2023-06-08T10:41:56Z)
• DS-1000: A Natural and Reliable Benchmark for Data Science Code Generation [70.96868419971756]
  DS-1000は7つのPythonライブラリにまたがる1000のデータサイエンス問題のあるコード生成ベンチマークである。 まず、StackOverflowからそれらを収集して以来の、多様で現実的で実践的なユースケースを反映しています。 第2に、私たちの自動評価は非常に具体的(信頼性)です -- 評価が受け入れているすべてのCodex予測ソリューションに対して、そのわずか1.8%が間違っています。
  論文  参考訳（メタデータ） (2022-11-18T17:20:27Z)
• Injecting Domain Adaptation with Learning-to-hash for Effective and Efficient Zero-shot Dense Retrieval [49.98615945702959]
  我々は,TAS-B高密度検索器の下流ゼロショット検索精度を向上させるためのLTHおよびベクトル圧縮技術を評価する。 以上の結果から, 従来の研究とは異なり, LTH法はゼロショットTAS-B高密度レトリバーを平均14%のnDCG@10で過小評価できることがわかった。
  論文  参考訳（メタデータ） (2022-05-23T17:53:44Z)
• OPFython: A Python-Inspired Optimum-Path Forest Classifier [68.8204255655161]
  本稿では,OPFythonと表記されるPythonベースのOptimum-Path Forestフレームワークを提案する。 OPFythonはPythonベースのライブラリなので、C言語よりもフレンドリーな環境とプロトタイピングの作業スペースを提供する。
  論文  参考訳（メタデータ） (2020-01-28T15:46:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。