論文の概要: Characterizing the Usefulness of Code Review Comments in Scientific Software for Software Quality and Scientific Rigor
- arxiv url: http://arxiv.org/abs/2604.23832v1
- Date: Sun, 26 Apr 2026 18:32:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-28 17:12:07.583912
- Title: Characterizing the Usefulness of Code Review Comments in Scientific Software for Software Quality and Scientific Rigor
- Title（参考訳）: ソフトウェア品質と科学リゴリティーのための科学ソフトウェアにおけるコードレビューコメントの有用性の評価
- Authors: Sharif Ahmed, Nasir U. Eisty,
- Abstract要約: 科学ソフトウェアにおけるコードレビューフィードバック(CRコメント)の有用性は、まだほとんど研究されていない。
本稿では,科学開放ソフトウェア(Sci-OSS)におけるCRコメントの有用性を特徴付けることを目的とする。
私たちは、GitHubからSci-OSSをマイニングし、有用性に関連する機能でCRコメントを分析し、汎用の商用およびオープンソースのCRコメントに関する以前の研究の結果を比較しました。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Context: Innovation thrives on scientific software, with useful code review feedback enhancing its correctness and impact. However, unlike general-purpose commercial and open-source software, the usefulness of code review feedback (CR comment) in scientific software remains largely unstudied. Objective: This paper aims to characterize the usefulness of CR comment in scientific opens ource software (Sci-OSS), leveraging existing research on useful CR comment. Method: To achieve this objective, we mine successful Sci-OSS from GitHub, analyze their CR comments with usefulness related features, and compare the findings from prior research on general-purpose commercial and open-source CR comments. Results: The investigation on the usefulness of CR comments in SciOSS confirms many characteristics that prior research identified in general-purpose software. For example, subjective or negative CR comments remain not useful for the Sci-OSS. We also find CR comments which receive negative emoji reactions have a very small correlation with not useful comments, whereas the positive emojis show mixed correlations. Importantly, 6-33% CR comments in Sci-OSS are not useful in our mined repositories. Conclusions: Our investigation into Sci-OSS extends findings from CR comments' usefulness research on general-purpose software, benefiting developers, scientists, and researchers in the Sci-OSS community.
- Abstract（参考訳）: コンテキスト: イノベーションは科学的ソフトウェアで育ち、コードレビューのフィードバックによってその正しさと影響が向上します。
しかし、汎用的な商用ソフトウェアやオープンソースソフトウェアとは異なり、科学ソフトウェアにおけるコードレビューフィードバック(CRコメント)の有用性はほとんど研究されていない。
目的:本論文は,CRコメントの科学的オープン化ソフトウェア(Sci-OSS)における有用性を特徴付けることを目的としており,CRコメントに関する既存の研究を活用している。
方法: この目的を達成するため、GitHubからSci-OSSをマイニングし、CRコメントを有用性に関連する機能で分析し、一般的な商用およびオープンソースCRコメントに関する以前の研究結果と比較した。
結果: SciOSS における CR コメントの有用性に関する調査は,従来の汎用ソフトウェアで特定されていた多くの特徴を裏付けるものである。
例えば、主観的あるいは否定的なCRコメントはSci-OSSには役に立たない。
また、負の絵文字反応を受けるCRコメントは、有用でないコメントと非常に相関が小さいのに対し、正の絵文字は相関が混在していることが判明した。
重要なことは、Sci-OSSの6-33%のCRコメントは、マイニングされたリポジトリでは役に立たないことです。
結論: Sci-OSSに関する我々の調査は、CRコメントによる汎用ソフトウェアに関する有用性の研究から、Sci-OSSコミュニティの開発者、科学者、研究者に恩恵を与えます。
関連論文リスト
- CoCoNUTS: Concentrating on Content while Neglecting Uninformative Textual Styles for AI-Generated Peer Review Detection [60.52240468810558]
我々は、AI生成ピアレビューの詳細なデータセットの上に構築されたコンテンツ指向ベンチマークであるCoCoNUTSを紹介する。
また、マルチタスク学習フレームワークを介してAIレビュー検出を行うCoCoDetを開発し、レビューコンテンツにおけるAIのより正確で堅牢な検出を実現する。
論文 参考訳（メタデータ） (2025-08-28T06:03:11Z) - LazyReview A Dataset for Uncovering Lazy Thinking in NLP Peer Reviews [74.87393214734114]
この研究は、微粒な遅延思考カテゴリで注釈付けされたピアレビュー文のデータセットであるLazyReviewを紹介している。
大規模言語モデル(LLM)は、ゼロショット設定でこれらのインスタンスを検出するのに苦労する。
命令ベースのデータセットの微調整により、パフォーマンスが10～20ポイント向上する。
論文 参考訳（メタデータ） (2025-04-15T10:07:33Z) - Hold On! Is My Feedback Useful? Evaluating the Usefulness of Code Review Comments [0.0]
本稿では,コードレビューコメント(CRコメント)の有用性について,テキスト機能ベースおよび機能レスアプローチを用いて検討する。
我々のモデルは最先端の性能を達成することでベースラインを上回ります。
本分析では,ドメイン,プロジェクト,データセット,モデル,およびCRコメントの有用性を予測する特徴の類似点と相違点について述べる。
論文 参考訳（メタデータ） (2025-01-12T07:22:13Z) - Understanding Code Understandability Improvements in Code Reviews [79.16476505761582]
GitHub上のJavaオープンソースプロジェクトからの2,401のコードレビューコメントを分析した。
改善提案の83.9%が承認され、統合され、1%未満が後に復活した。
論文 参考訳（メタデータ） (2024-10-29T12:21:23Z) - CRScore: Grounding Automated Evaluation of Code Review Comments in Code Claims and Smells [15.66562304661042]
CRScoreは、簡潔さ、包括性、関連性といったレビュー品質の次元を測定するための基準のないメトリクスである。
我々は、CRScoreが、オープンソースメトリクスの人間の判断に最も適した、正確できめ細かいレビュー品質のスコアを生成できることを実証した。
また、自動メトリクスの開発をサポートするために、マシン生成およびGitHubレビューコメントのための2.9kの人手によるレビュー品質スコアのコーパスもリリースしました。
論文 参考訳（メタデータ） (2024-09-29T21:53:18Z) - Exploring the Advances in Identifying Useful Code Review Comments [0.0]
本稿では,コードレビューコメントの有用性に関する研究の進化を反映する。
コードレビューコメントの有用性を定義し、データセットのマイニングとアノテーションを定義し、開発者の認識を調査し、異なる側面から要因を分析し、機械学習分類器を使用してコードレビューコメントの有用性を自動的に予測する。
論文 参考訳（メタデータ） (2023-07-03T00:41:20Z) - What Makes a Code Review Useful to OpenDev Developers? An Empirical
Investigation [4.061135251278187]
コードレビューの有効性が少し改善されても、ソフトウェア開発組織にとってかなりの節約が得られます。
本研究の目的は,コードレビューコメントをOSS開発者に有用なものにする方法を,より精細に理解することである。
論文 参考訳（メタデータ） (2023-02-22T22:48:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。