論文の概要: Predicting the Understandability of Computational Notebooks through Code Metrics Analysis
- arxiv url: http://arxiv.org/abs/2406.10989v2
- Date: Tue, 17 Jun 2025 19:34:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-19 19:35:51.332197
- Title: Predicting the Understandability of Computational Notebooks through Code Metrics Analysis
- Title（参考訳）: コードメトリクス解析による計算ノートの理解可能性予測
- Authors: Mojtaba Mostafavi Ghahfarokhi, Alireza Asadi, Arash Asgari, Bardia Mohammadi, Abbas Heydarnoori, Masih Beigi Rizi,
- Abstract要約: 本稿では,Jupyterノートブックの理解可能性を評価するために,ソフトウェアリポジトリからのユーザ意見を活用する新しいアプローチを提案する。
コード理解性に関連するユーザコメントを識別するために、微調整のDistilBERT変換器を使用しました。
次に、関連するコメントの数、アップボート、ノートブックビューに基づいて、UOCU(User Opinion Code Understandability)という新しいメトリクスを導入しました。
この改善されたメトリクスを使用して、132,723の最終ノートから34のノートレベルのメトリクスを収集し、機械学習モデルをトレーニングして、理解可能性を予測する。
- 参考スコア（独自算出の注目度）: 0.5277756703318045
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Computational notebooks are the primary coding tools for data scientists, but their code quality remains understudied and often poor. Given the importance of maintainability and reusability, enhancing code understandability is essential. Traditional methods for assessing understandability typically rely on limited questionnaires or metadata like likes and votes, which may not reflect actual code clarity. To address this, we propose a novel approach that leverages user opinions from software repositories to assess the understandability of Jupyter notebooks. We conducted a case study using 542,051 Kaggle Jupyter notebooks compiled in the DistilKaggle dataset. To identify user comments related to code understandability, we used a fine-tuned DistilBERT transformer. We then introduced a new metric, i.e., User Opinion Code Understandability (UOCU), based on the number of relevant comments, their upvotes, and notebook views. UOCU proved significantly more effective than prior methods. We further enhanced it by combining UOCU with total upvotes in a hybrid approach. Using this improved metric, we collected 34 notebook-level metrics from 132,723 final notebooks and trained machine learning models to predict understandability. Our best model, a Random Forest classifier, achieved 89% accuracy in classifying the understandability level of notebook code. This work demonstrates the value of user opinion signals and notebook metrics in building scalable, accurate measures of code understandability.
- Abstract（参考訳）: 計算ノートはデータサイエンティストの主要なコーディングツールであるが、そのコード品質は未調査であり、しばしば貧弱である。
保守性と再利用性の重要性を考えると、コード理解性の向上が不可欠である。
理解可能性を評価する従来の手法は、典型的には限定的なアンケートや、いいね!」や「投票」といったメタデータに依存しており、実際のコードの明確さを反映していない。
そこで本研究では,Jupyterノートブックの可視性を評価するために,ソフトウェアリポジトリからのユーザ意見を活用する手法を提案する。
DistilKaggleデータセットにコンパイルされた542,051個のKaggle Jupyterノートブックを用いてケーススタディを行った。
コード理解性に関連するユーザコメントを識別するために、微調整のDistilBERT変換器を使用しました。
次に、関連するコメントの数、アップボート、ノートブックビューに基づいて、UOCU(User Opinion Code Understandability)という新しいメトリクスを導入しました。
UOCUは従来の方法よりもはるかに効果的であった。
ハイブリッドアプローチでUOCUと総アップボイトを組み合わせることで,さらに拡張した。
この改善されたメトリクスを使用して、132,723の最終ノートから34のノートレベルのメトリクスを収集し、機械学習モデルをトレーニングして、理解可能性を予測する。
我々の最良のモデルであるランダムフォレスト分類器は、ノートコードの理解可能性レベルを89%の精度で分類した。
この研究は、スケーラブルで正確なコード理解可能性の測定方法を構築する上で、ユーザ意見信号とノートブックメトリクスの価値を示しています。
関連論文リスト
- NRevisit: A Cognitive Behavioral Metric for Code Understandability Assessment [1.513554688029813]
本稿では,動的コード理解可能性評価手法を提案する。
コードを扱う特定のプログラマの観点から、パーソナライズされたコード理解可能性スコアを推定する。
シンプルで低コストで非侵入型のデスクトップアイトラッカーや、標準のコンピュータカメラで簡単に実装できる。
論文 参考訳（メタデータ） (2025-04-25T13:34:24Z) - Personalized Code Readability Assessment: Are We There Yet? [6.401191523681341]
以前の作業では、コードの可読性を自動的に評価するアプローチを定義していた。
本稿では,コードの可読性について,開発者の認識する主観的な評価がどの程度可能かを理解することを目的とする。
しかし,提案手法は,スニペットレベルでの動作を訓練した,最先端の機能ベースモデルよりも悪い結果が得られることを示す。
論文 参考訳（メタデータ） (2025-03-10T21:37:15Z) - Understanding Code Understandability Improvements in Code Reviews [79.16476505761582]
GitHub上のJavaオープンソースプロジェクトからの2,401のコードレビューコメントを分析した。
改善提案の83.9%が承認され、統合され、1%未満が後に復活した。
論文 参考訳（メタデータ） (2024-10-29T12:21:23Z) - Make It Make Sense! Understanding and Facilitating Sensemaking in
Computational Notebooks [10.621214052177125]
Porpoiseは、計算ノート機能とデジタルデザインを統合し、セルをラベル付きセクションにグループ化し、拡張したり、崩壊したり、アノテートしたりできる。
24人のデータサイエンティストによる調査では、Porpoiseはコード理解を強化し、本を読むのと同じような体験をしました。
論文 参考訳（メタデータ） (2023-12-18T18:33:58Z) - Leveraging Generative AI: Improving Software Metadata Classification
with Generated Code-Comment Pairs [0.0]
ソフトウェア開発では、コードの理解とコラボレーションを強化する上で、コードコメントが重要な役割を果たす。
本研究では,コードコメントを「有用」あるいは「有用でない」と客観的に分類する課題について論じる。
本稿では,この分類プロセスを自動化するために,コンテキスト化された埋め込み,特にBERTを利用する新しいソリューションを提案する。
論文 参考訳（メタデータ） (2023-10-14T12:09:43Z) - Investigating the Impact of Vocabulary Difficulty and Code Naturalness
on Program Comprehension [3.35803394416914]
本研究の目的は,言語習得の観点から可読性と可読性を評価することである。
我々は,それらの相関関係を理解するために統計的解析を行い,可読性および可読性予測法の性能向上にコード自然性および語彙難易度を用いることができるか分析する。
論文 参考訳（メタデータ） (2023-08-25T15:15:00Z) - CodeReviewer: Pre-Training for Automating Code Review Activities [36.40557768557425]
本研究は,コードレビューシナリオにおけるタスクの事前学習技術を活用することに焦点を当てる。
私たちは、最も人気のある9つのプログラミング言語で、オープンソースのプロジェクトから、現実世界のコード変更とコードレビューの大規模なデータセットを収集します。
コード差分とレビューをよりよく理解するために、コードレビューセナリオに特化した4つの事前トレーニングタスクを利用する事前トレーニングモデルであるCodeReviewerを提案する。
論文 参考訳（メタデータ） (2022-03-17T05:40:13Z) - StickyLand: Breaking the Linear Presentation of Computational Notebooks [5.1175396458764855]
StickyLandはノートブックの拡張機能で、ユーザは自由にコードをリニアな方法で整理できる。
常に画面に表示される粘着性のあるセルを使えば、ユーザーはノートに素早くアクセスでき、実験結果をすぐに観察でき、インタラクティブなダッシュボードを簡単に構築できる。
論文 参考訳（メタデータ） (2022-02-22T18:25:54Z) - ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
本稿では,フィードバックを数発の分類として提供するという課題について考察する。
メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。
本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
論文 参考訳（メタデータ） (2021-07-23T22:41:28Z) - Measuring Coding Challenge Competence With APPS [54.22600767666257]
コード生成のベンチマークであるAPPSを紹介する。
私たちのベンチマークには1万の問題が含まれています。
GPT-Neoのような最近のモデルでは、導入問題のテストケースの約15%をパスできる。
論文 参考訳（メタデータ） (2021-05-20T17:58:42Z) - MOCHA: A Dataset for Training and Evaluating Generative Reading
Comprehension Metrics [55.85042753772513]
そこで本研究では,生成的読解の指標であるModeling Correctness with Humanをトレーニングし,評価するためのベンチマークを提案する。
S
我々は,MOCHAを用いて,人間の判断スコアを模倣する学習評価尺度LERCを訓練する。
最小のペアで評価すると、LERCは80%の精度でベースラインを14から26の絶対パーセンテージポイントで上回り、改善の余地は大きい。
論文 参考訳（メタデータ） (2020-10-07T20:22:54Z) - Deep Just-In-Time Inconsistency Detection Between Comments and Source
Code [51.00904399653609]
本稿では,コード本体の変更によりコメントが矛盾するかどうかを検出することを目的とする。
私たちは、コメントとコードの変更を関連付けるディープラーニングアプローチを開発しています。
より包括的な自動コメント更新システムを構築するために,コメント更新モデルと組み合わせて提案手法の有用性を示す。
論文 参考訳（メタデータ） (2020-10-04T16:49:28Z) - CodeBLEU: a Method for Automatic Evaluation of Code Synthesis [57.87741831987889]
コード合成の分野では、一般的に使用される評価基準はBLEUまたは完全精度である。
我々はCodeBLEUと呼ばれる新しい自動評価指標を導入する。
n-gramマッチングにおけるBLEUの強度を吸収し、抽象構文木(AST)やデータフローによるコードセマンティクスを通じてコード構文を注入する。
論文 参考訳（メタデータ） (2020-09-22T03:10:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。