論文の概要: Towards Automated Classification of Code Review Feedback to Support Analytics

• arxiv url: http://arxiv.org/abs/2307.03852v1
• Date: Fri, 7 Jul 2023 21:53:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-23 18:05:30.613321
• Title: Towards Automated Classification of Code Review Feedback to Support Analytics
• Title（参考訳）: コードレビューフィードバックの自動分類と分析支援に向けて
• Authors: Asif Kamal Turzo and Fahim Faysal and Ovi Poddar and Jaydeb Sarker and Anindya Iqbal and Amiangshu Bosu
• Abstract要約: 本研究の目的は,自動コードレビューコメント分類システムを開発することである。 コードコンテキスト、コメントテキスト、コードメトリクスのセットを活用した教師付き学習ベースのDNNモデルを訓練し、評価した。 提案手法はFregnanらのアプローチよりも18.7%高い精度を実現している。
• 参考スコア（独自算出の注目度）: 4.423428708304586
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Background: As improving code review (CR) effectiveness is a priority for many software development organizations, projects have deployed CR analytics platforms to identify potential improvement areas. The number of issues identified, which is a crucial metric to measure CR effectiveness, can be misleading if all issues are placed in the same bin. Therefore, a finer-grained classification of issues identified during CRs can provide actionable insights to improve CR effectiveness. Although a recent work by Fregnan et al. proposed automated models to classify CR-induced changes, we have noticed two potential improvement areas -- i) classifying comments that do not induce changes and ii) using deep neural networks (DNN) in conjunction with code context to improve performances. Aims: This study aims to develop an automated CR comment classifier that leverages DNN models to achieve a more reliable performance than Fregnan et al. Method: Using a manually labeled dataset of 1,828 CR comments, we trained and evaluated supervised learning-based DNN models leveraging code context, comment text, and a set of code metrics to classify CR comments into one of the five high-level categories proposed by Turzo and Bosu. Results: Based on our 10-fold cross-validation-based evaluations of multiple combinations of tokenization approaches, we found a model using CodeBERT achieving the best accuracy of 59.3%. Our approach outperforms Fregnan et al.'s approach by achieving 18.7% higher accuracy. Conclusion: Besides facilitating improved CR analytics, our proposed model can be useful for developers in prioritizing code review feedback and selecting reviewers.
• Abstract（参考訳）: 背景: 多くのソフトウェア開発組織において、コードレビュー(CR)の有効性の改善が優先されているため、プロジェクトは潜在的な改善領域を特定するためにCR分析プラットフォームをデプロイしました。 CRの有効性を測定する重要な指標である識別された問題の数は、すべての問題が同じビンに置かれている場合、誤解を招く可能性がある。 したがって、CRで特定された問題のよりきめ細かい分類は、CRの有効性を改善するための実用的な洞察を与えることができる。 Fregnanらによる最近の研究は、CRによる変化を分類する自動化モデルを提案したが、2つの潜在的な改善領域に気づいた。 一 変更を誘発しないコメントを分類し、 二 ディープニューラルネットワーク(DNN)とコードコンテキストを併用して性能を向上させること。 Aims: 本研究の目的は、DNNモデルを活用してFregnanなどよりも信頼性の高いパフォーマンスを実現する自動CRコメント分類器の開発です。 方法: 1,828のCRコメントを手動でラベル付けしたデータセットを用いて,コードコンテキスト,コメントテキスト,コードメトリクスのセットを活用した教師付き学習ベースDNNモデルのトレーニングと評価を行い,CRコメントをTurzoとBosuが提案した5つのハイレベルカテゴリの1つに分類した。 結果: トークン化アプローチを複数組み合わせた10倍のクロスバリデーションに基づく評価から, CodeBERT を用いたモデルが59.3%の精度で得られた。 提案手法はFregnanらのアプローチよりも18.7%高い精度を実現している。 結論: 改良されたcr分析の促進に加えて,提案するモデルは,コードレビューのフィードバックの優先順位付けやレビュアーの選択において,開発者にとって有用である。

関連論文リスト

• Can We Further Elicit Reasoning in LLMs? Critic-Guided Planning with Retrieval-Augmentation for Solving Challenging Tasks [68.49251303172674]
  最先端の大規模言語モデル(LLM)は、目覚ましい問題解決能力を示すが、複雑な推論と事実の正しさに苦慮する可能性がある。 既存の手法では、チェーン・オブ・ソートと検索強化生成(RAG)の強みを利用して、複雑な問題をより単純なステップに分解し、検索を適用して事実の正しさを向上させる。 CR-Planner(CR-Planner, CR-Planner, CR-Planner)は, 微調整された批判モデルを利用して, 推論と検索の両方のプロセスを計画を通してガイドする新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-10-02T11:26:02Z)
• Fine-Tuning with Divergent Chains of Thought Boosts Reasoning Through Self-Correction in Language Models [63.36637269634553]
  本稿では,複数の推論連鎖を比較するためにモデルを必要とすることによって,性能を向上する新しい手法を提案する。 DCoTデータセットの命令チューニングにより、より小さく、よりアクセスしやすい言語モデルの性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-07-03T15:01:18Z)
• Improving the Validity and Practical Usefulness of AI/ML Evaluations Using an Estimands Framework [2.4861619769660637]
  本稿では,国際臨床治験ガイドラインを応用した評価フレームワークを提案する。 このフレームワークは、評価の推測と報告のための体系的な構造を提供する。 我々は、このフレームワークが根底にある問題、その原因、潜在的な解決策を明らかにするのにどのように役立つかを実証する。
  論文  参考訳（メタデータ） (2024-06-14T18:47:37Z)
• Overcoming Pitfalls in Graph Contrastive Learning Evaluation: Toward Comprehensive Benchmarks [60.82579717007963]
  本稿では,グラフコントラスト学習(GCL)手法の有効性,一貫性,全体的な能力をより正確に評価するために,拡張された評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-24T01:47:56Z)
• Reassessing Java Code Readability Models with a Human-Centered Approach [3.798885293742468]
  本研究では,Large Language Models (LLM) 調整のための既存の Java Code Readability (CR) モデルを評価する。 120個のAI生成スニペットをラベル付けする際、390人のプログラマによって評価されたCRに影響を与える12の重要なコード側面を同定する。 我々の研究結果は、AIが簡潔で実行可能なコードを生成する場合、CRモデルや開発者が読みやすいと考えることが多いことを示唆している。
  論文  参考訳（メタデータ） (2024-01-26T15:18:22Z)
• QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
  モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。 例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
  論文  参考訳（メタデータ） (2023-11-06T00:21:44Z)
• Better Handling Coreference Resolution in Aspect Level Sentiment Classification by Fine-Tuning Language Models [4.2605449879340656]
  Aspect Level Sentiment Classification (ALSC) による顧客フィードバック監視の自動化 大規模言語モデル(LLM)は多くの最先端のALSCソリューションの中心であるが、Coreference Resolution (CR)を必要とするいくつかのシナリオでは性能が悪くなっている。 本稿では,CRを含むレビューにおけるLLMの性能向上のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-11T12:43:28Z)
• What Makes a Code Review Useful to OpenDev Developers? An Empirical Investigation [4.061135251278187]
  コードレビューの有効性が少し改善されても、ソフトウェア開発組織にとってかなりの節約が得られます。 本研究の目的は,コードレビューコメントをOSS開発者に有用なものにする方法を,より精細に理解することである。
  論文  参考訳（メタデータ） (2023-02-22T22:48:27Z)
• Augmentation-induced Consistency Regularization for Classification [25.388324221293203]
  我々はCR-Augと呼ばれるデータ拡張に基づく一貫性の規則化フレームワークを提案する。 CR-Augは、データ拡張によって生成された異なるサブモデルの出力分布を互いに整合するように強制する。 画像と音声の分類タスクにCR-Augを実装し、その有効性を検証するために広範な実験を行う。
  論文  参考訳（メタデータ） (2022-05-25T03:15:36Z)
• Adversarial Feature Augmentation and Normalization for Visual Recognition [109.6834687220478]
  最近のコンピュータビジョンの進歩は、分類モデルの一般化能力を改善するために、逆データ拡張を利用する。 本稿では,中間的特徴埋め込みにおける敵対的拡張を提唱する効率的かつ効率的な代替手法を提案する。 代表的なバックボーンネットワークを用いて,多様な視覚認識タスクにまたがる提案手法を検証する。
  論文  参考訳（メタデータ） (2021-03-22T20:36:34Z)
• CRACT: Cascaded Regression-Align-Classification for Robust Visual Tracking [97.84109669027225]
  改良された提案改良モジュールCascaded Regression-Align- Classification (CRAC)を導入する。 CRACは多くのベンチマークで最先端のパフォーマンスを得る。 OTB-2015、UAV123、NfS、VOT-2018、TrackingNet、GOT-10k、LaSOTを含む7つのベンチマークの実験において、我々のCRACTは最先端の競合他社と比較して非常に有望な結果を示している。
  論文  参考訳（メタデータ） (2020-11-25T02:18:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。