論文の概要: On the Relation between Code Quality and Machine Learning Performance: A Large-scale Empirical Study
- arxiv url: http://arxiv.org/abs/2609.10610v1
- Date: Tue, 08 Sep 2026 12:52:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 23:53:35.07628
- Title: On the Relation between Code Quality and Machine Learning Performance: A Large-scale Empirical Study
- Title（参考訳）: コード品質と機械学習性能の関係について--大規模実証的研究
- Abstract要約: ノートブックにおけるコード品質と機械学習(ML)性能の関係について検討した。
一般的なPythonのコード品質はMLのパフォーマンスから切り離され、すべての観察において無視または非重要な相関を示す。
コードに関する専門知識は品質やパフォーマンスに関する情報を提供するものではないが、競争に関する専門知識はより良いパフォーマンスと相関している。
- 参考スコア（独自算出の注目度）: 0.13381749415517016
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Context: Computational notebooks are the standard environment for machine learning (ML) development. Within the ML community, model performance is often the primary considered metric, and code quality is treated as a secondary concern. This prioritization relies on a largely untested assumption that code quality and ML performance are unrelated. Practitioners also reuse existing code that may come from notebooks selected through social signals (popularity, author expertise) whose reliability as quality proxies has never been assessed. Objective: We empirically investigated the relationship between code quality and ML performance in notebooks, and evaluated whether popularity and author expertise give indication on code quality or performance. Method: We conducted a large-scale empirical study of 265,363 Python notebooks submitted to Kaggle competitions. We assessed code quality with two static analysis tools: Pylint, capturing general Python code quality, and SonarQube, configured with a profile of 34 rules targeting data-science and ML-specific practices. Results: The relationship between code quality and performance depends on the notion of quality considered. General Python code quality is decoupled from ML performance, showing negligible or non-significant correlations across all observations. In contrast, ML-specific violations exhibit a consistent, small negative association with performance that persists across all observations. The popularity of a notebook does not give information on the code quality or performance. Code expertise provides no information on quality or performance, but competition expertise correlates with better performance, fewer ML-specific violations, and slightly more Python errors and refactoring violations.
- Abstract（参考訳）: コンテキスト: 計算ノートは機械学習(ML)開発のための標準環境である。
MLコミュニティ内では、モデルパフォーマンスが主要な指標とみなされ、コード品質が二次的な関心事として扱われることが多い。
この優先順位付けは、コード品質とMLのパフォーマンスが無関係であるというほとんど証明されていない仮定に依存している。
実践者は、品質プロキシとしての信頼性が評価されていない社会的な信号(人気、作家の専門知識)によって選択されたノートから選択された既存のコードも再利用する。
目的: ノートブックにおけるコード品質とMLパフォーマンスの関係を実証的に検討し, 人気度と著者の専門知識がコード品質や性能を示すか否かを評価した。
方法:Kaggleコンペティションに提出された265,363個のPythonノートブックの大規模実験を行った。
Pylintは一般的なPythonコード品質をキャプチャするツールで、SonarQubeはデータサイエンスとML固有のプラクティスをターゲットにした34のルールのプロファイルで構成されています。
結果:コード品質とパフォーマンスの関係は、考慮された品質の概念に依存します。
一般的なPythonのコード品質はMLのパフォーマンスから切り離され、すべての観察において無視または非重要な相関を示す。
対照的に、ML固有の違反は、すべての観測において持続するパフォーマンスと、一貫した、小さな負の相関を示す。
ノートブックの人気はコードの品質やパフォーマンスに関する情報を与えない。
コードに関する専門知識は品質やパフォーマンスに関する情報を提供するものではないが、競争に関する専門知識は、パフォーマンスの向上、ML固有の違反の削減、Pythonエラーとリファクタリング違反の削減と相関している。
関連論文リスト
- From Code Changes to Quality Gains: An Empirical Study in Python ML Systems with PyQu [1.5259434915412646]
PyQuは、平均F1スコアの0.84と0.85の精度、精度、リコールで品質向上のコミットを識別する新しいツールである。
41%が新たに発見され,現在最先端のPython変更検出ツールでは確認されていない。
論文 参考訳（メタデータ） (2025-11-04T18:55:19Z) - Analysing Python Machine Learning Notebooks with Moose [0.12249546377051435]
機械学習(ML)コードは、特にノートブック内では、従来のソフトウェアに比べて品質が低いことが多い。
悪いプラクティスは、一般的なPythonコーディング規約、ノートブック自体の組織構造、API利用のようなML固有の側面の3つの異なるレベルに現れます。
本稿では,Moose上に構築されたマルチレベル機能を備えた静的解析ツールであるVespucci Linterを紹介する。
論文 参考訳（メタデータ） (2025-09-15T09:59:49Z) - CoQuIR: A Comprehensive Benchmark for Code Quality-Aware Information Retrieval [44.39462689088926]
CoQuIRは、品質を意識したコード検索を評価するために設計された、最初の大規模多言語ベンチマークである。
CoQuIRは、11のプログラミング言語で42,725のクエリと134,907のコードスニペットに対して、きめ細かい品質のアノテーションを提供する。
論文 参考訳（メタデータ） (2025-05-31T13:00:17Z) - Is Compression Really Linear with Code Intelligence? [60.123628177110206]
textitFormat Annealingは、事前訓練されたモデルの本質的な能力を同等に評価するために設計された、軽量で透明なトレーニング手法である。
我々の経験的結果は、測定されたコードインテリジェンスとビット・パー・キャラクタ(BPC)の基本的な対数関係を明らかにする。
私たちの研究は、コードインテリジェンスの開発における圧縮の役割をより微妙に理解し、コードドメインにおける堅牢な評価フレームワークに貢献します。
論文 参考訳（メタデータ） (2025-05-16T16:59:14Z) - Learning to Solve and Verify: A Self-Play Framework for Code and Test Generation [69.62857948698436]
大規模言語モデル(LLM)の最近の進歩は、コーディングベンチマークのパフォーマンスを改善している。
しかし、手軽に利用できる高品質なデータの枯渇により、改善は停滞している。
本稿では,単一モデルのコードとテスト生成能力を共同で改善するセルフプレイ・ソルバ検証フレームワークであるSol-Verを提案する。
論文 参考訳（メタデータ） (2025-02-20T18:32:19Z) - Evaluating Source Code Quality with Large Languagem Models: a comparative study [2.3204178451683264]
本稿では,静的解析ツールとしてLarge Language Model (LLM) を用いて得られた結果について述べる。
GPT 3.5 TurboとGPT 4oの2種類のモデルを比較し,合計1,641クラスの分析を行った。
GPT 4o版では、低品質と評価されたコードに高い分類を割り当てることで、以前のモデルとSonarから切り離された結果が示されなかった。
論文 参考訳（メタデータ） (2024-08-07T18:44:46Z) - Benchmarking Uncertainty Quantification Methods for Large Language Models with LM-Polygraph [83.90988015005934]
不確実性定量化は機械学習アプリケーションにおいて重要な要素である。
最新のUQベースラインの集合を実装した新しいベンチマークを導入する。
我々は、11タスクにわたるUQと正規化技術に関する大規模な実証的研究を行い、最も効果的なアプローチを特定した。
論文 参考訳（メタデータ） (2024-06-21T20:06:31Z) - The Fault in our Stars: Quality Assessment of Code Generation Benchmarks [0.5137309756089941]
我々は、異なるコード生成モデルの性能を比較するために使用されるベンチマークの中で、プロンプトの品質について、第一種研究を行う。
9つのコード生成ベンチマークから3,566のプロンプトを分析し、その中の品質問題を特定した。
論文 参考訳（メタデータ） (2024-04-15T22:02:58Z) - LLM-Assisted Code Cleaning For Training Accurate Code Generators [53.087019724256606]
コードの品質を調査した結果,より構造化され,読みやすくなれば,コード生成性能が向上することがわかった。
私たちは、これらの原則を使って既存のプログラムを変換する、新しいデータクリーニングパイプラインを構築します。
提案手法を2つのアルゴリズムコード生成ベンチマークで評価した結果,微調整のCodeLLaMa-7Bでは,元のデータセットの微調整に比べて最大30%性能が向上していることがわかった。
論文 参考訳（メタデータ） (2023-11-25T02:45:50Z) - Measuring Coding Challenge Competence With APPS [54.22600767666257]
コード生成のベンチマークであるAPPSを紹介する。
私たちのベンチマークには1万の問題が含まれています。
GPT-Neoのような最近のモデルでは、導入問題のテストケースの約15%をパスできる。
論文 参考訳（メタデータ） (2021-05-20T17:58:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。