論文の概要: DSEffi-Bench: Demystifying Large Language Models' Capability in Efficient Data Science Code Generation
- arxiv url: http://arxiv.org/abs/2608.30248v1
- Date: Mon, 31 Aug 2026 04:59:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.237242
- Title: DSEffi-Bench: Demystifying Large Language Models' Capability in Efficient Data Science Code Generation
- Title（参考訳）: DSEffi-Bench: 効率的なデータサイエンスコード生成における大規模言語モデルの能力の低下
- Abstract要約: LLM生成DSコードの実行効率を目標とする最初のベンチマークであるDSEffi-Benchを紹介する。
3層にまたがる16のモデルを評価したところ、正確性だけでは効率を評価できないことがわかった。
人間の分類では、79.1%の効率障害がアルゴリズムの複雑さを超えて拡大している。
- 参考スコア（独自算出の注目度）: 13.90546553534012
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Current data science (DS) code generation benchmarks equate correctness with quality, overlooking execution time differences that span orders of magnitude between correct solutions. We introduce DSEffi-Bench, the first benchmark specifically targeting execution efficiency in LLM-generated DS code, comprising 1,000 instances across 10+ DS libraries with stress-testing harnesses and human-validated references. Evaluating 16 models across 3 tiers, we find that correctness alone fails to characterize efficiency: GPT-5.4 leads in correctness (Pass, 66.9\%) but its efficiency score (B$|$P, 71.7\%) nearly matches GPT-5.4-mini (71.6\%), which solves 47 fewer tasks; Kimi-K2.5 ranks lowest in correctness among frontier models (40.2\%) yet achieves the highest efficiency score (73.6\%) across all 16 models. A human-annotated five-category taxonomy reveals that 79.1\% of efficiency deficits extend beyond algorithmic complexity to domain-specific root causes, with distinct failure profiles across model tiers and libraries. Two exploratory experiments provide initial evidence that these diagnostics can guide improvement, yielding up to +14.7\% efficiency gains via taxonomy-guided optimization and approaching Claude-Opus-4.6 Best@3 in efficiency at 13.0$\times$ lower cost via library-conditioned routing.
- Abstract（参考訳）: 現在のデータサイエンス(DS)コード生成ベンチマークは、正しいソリューション間の桁違いにまたがる実行時間の違いを見越して、品質と正しさを同等にする。
DSEffi-Bench は LLM 生成DS コードの実行効率を目標とする最初のベンチマークであり,ストレステストハーネスと人為的な参照を備えた 10 以上のDS ライブラリの1,000 インスタンスで構成されている。
GPT-5.4は正しさ(Pass, 66.9\%)を導くが、その効率スコア(B$|$P, 71.7\%)はGPT-5.4-mini (71.6\%)とほぼ一致し、47のタスクが解決される。
人間の注釈を付けた5つの分類では、効率欠陥の79.1\%がアルゴリズムの複雑さからドメイン固有の根本原因まで広がり、モデルの階層やライブラリにまたがる異なる障害プロファイルが示される。
2つの探索実験は、これらの診断が改善を導く最初の証拠であり、分類学誘導最適化による+14.7\%の効率向上と、Claude-Opus-4.6 Best@3の効率を13.0$\times$低コストでライブラリコンディショニングルーティングによって実現している。
関連論文リスト
- APEX: Automated Prompt Engineering eXpert with Dynamic Data Selection [60.504476571531]
大規模言語モデルは、迅速な定式化に非常に敏感であり、その潜在能力を最大限に活用するためには、自動的なプロンプト最適化が必要である。
現在の手法では、開発データセットを静的なベンチマークとして扱い、非形式的なデータに対するかなりの計算予算を浪費している。
本稿では,APEX(Automatic Prompt Engineering eXpert)について紹介する。
論文 参考訳（メタデータ） (2026-06-09T21:22:06Z) - CODESTRUCT: Code Agents over Structured Action Spaces [14.039220358416104]
LLMベースのコードエージェントは、リポジトリを非構造化テキストとして扱い、脆いマッチング文字列を通じて編集を適用する。
我々は、エージェントがテキストスパンではなく名前付きASTエンティティを操作するような構造化されたアクション空間として再フレーミングを提案する。
私たちのフレームワークであるCODESTRUCTは、完全な構文単位を取得するためのreadCodeと、構文検証された変換をセマンティックプログラム要素に適用するためのEditCodeを提供します。
論文 参考訳（メタデータ） (2026-04-07T03:58:10Z) - TRACE: Evaluating Execution Efficiency of LLM-Based Code Translation [15.051178553018746]
大規模言語モデル(LLM)の効率性を明確に評価する最初のベンチマークである textbftextsctrace を提案する。
textsctraceには、C++、Java、Pythonにまたがる1,000の効率クリティカルなタスクが含まれている。
本研究は,効率をコード翻訳の必須次元として確立し,テキストスクラスを効率指向評価の基礎として位置づけた。
論文 参考訳（メタデータ） (2026-03-17T13:05:54Z) - CVeDRL: An Efficient Code Verifier via Difficulty-aware Reinforcement Learning [57.24524263804788]
コード検証は、LLMベースのコード生成の検証後において重要な役割を果たす。
既存の教師付き微調整手法は、データの不足、高い失敗率、推論効率の低下に悩まされている。
機能的な報酬しか持たない単純RLは、難しいブランチやサンプルに対して効果的な単体テストを生成することができないことを示す。
論文 参考訳（メタデータ） (2026-01-30T10:33:29Z) - Pluto: A Benchmark for Evaluating Efficiency of LLM-generated Hardware Code [2.8815599572682906]
Plutoは、LCM生成したVerilog設計の効率を評価するために設計されたベンチマークおよび評価フレームワークである。
LLMは高い機能的正しさを達成でき、パス@1で78.3%に達するが、その合成効率は専門家による実装よりも遅れている。
論文 参考訳（メタデータ） (2025-10-16T14:57:01Z) - FGIT: Fault-Guided Fine-Tuning for Code Generation [11.557977684152233]
大規模言語モデルのコード生成を改善するために,FGIT(Fault-Guided Fine-Tuning)を提案する。
提案手法は,pass@1ベンチマークで平均6.9%の相対的改善を実現している。
本手法は,多種多様な命令調整 LLM に対して3.8% から19.1% までの性能向上を図った。
論文 参考訳（メタデータ） (2025-03-21T07:23:26Z) - Scattered Forest Search: Smarter Code Space Exploration with LLMs [55.71665969800222]
進化的探索において,解の多様性を向上し,フィードバックを有効活用する新しい手法であるSCATTERED FOREST SEARCH(SFS)を提案する。
本手法は,木探索,線探索,繰り返しサンプリングなど,既存の探索手法よりも効率よくスケールする。
論文 参考訳（メタデータ） (2024-10-22T01:58:29Z) - KAN-RCBEVDepth: A multi-modal fusion algorithm in object detection for autonomous driving [2.382388777981433]
本稿では, 自律走行における3次元物体検出の高速化を目的としたkan-RCBEVDepth法を提案する。
我々のユニークなBird’s Eye Viewベースのアプローチは、検出精度と効率を大幅に改善します。
コードはurlhttps://www.laitiamo.com/laitiamo/RCBEVDepth-KANでリリースされる。
論文 参考訳（メタデータ） (2024-08-04T16:54:49Z) - Step-DPO: Step-wise Preference Optimization for Long-chain Reasoning of LLMs [54.05511925104712]
本稿では,Step-DPOと呼ばれるシンプルで効果的でデータ効率のよい手法を提案する。
Step-DPOは、個々の推論ステップを、論理的に回答を評価するのではなく、優先最適化の単位として扱う。
以上の結果から,70B パラメータ以上のモデルでは,10K の選好データペアと500 Step-DPO トレーニングステップ以下では,MATH の精度が約3%向上する可能性が示唆された。
論文 参考訳（メタデータ） (2024-06-26T17:43:06Z) - Getting More Juice Out of Your Data: Hard Pair Refinement Enhances Visual-Language Models Without Extra Data [122.282521548393]
コントラスト言語-画像事前学習 (CLIP) は, クロスモーダルな画像-テキスト表現学習の標準となっている。
HELIPは、CLIPモデルを改善するためのコスト効率のよい戦略であり、継続的なトレーニングにおいて既存のデータセット内の挑戦的なテキストイメージペアを利用することで、CLIPモデルを改善する。
論文 参考訳（メタデータ） (2023-05-09T07:00:17Z) - ADAHESSIAN: An Adaptive Second Order Optimizer for Machine Learning [91.13797346047984]
本稿では,2次最適化アルゴリズムであるADAHESSIANを紹介する。
ADAHESSIANは、他の適応最適化手法と比較して、新しい最先端の成果を大きなマージンで達成することを示す。
論文 参考訳（メタデータ） (2020-06-01T05:00:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。