論文の概要: Hold On! Is My Feedback Useful? Evaluating the Usefulness of Code Review Comments

• arxiv url: http://arxiv.org/abs/2501.06738v1
• Date: Sun, 12 Jan 2025 07:22:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-14 14:27:36.868891
• Title: Hold On! Is My Feedback Useful? Evaluating the Usefulness of Code Review Comments
• Title（参考訳）: 待て!私のフィードバックは役に立つのか?コードレビューコメントの有用性を評価する
• Authors: Sharif Ahmed, Nasir U. Eisty,
• Abstract要約: 本稿では,コードレビューコメント(CRコメント)の有用性について,テキスト機能ベースおよび機能レスアプローチを用いて検討する。 我々のモデルは最先端の性能を達成することでベースラインを上回ります。 本分析では,ドメイン,プロジェクト,データセット,モデル,およびCRコメントの有用性を予測する特徴の類似点と相違点について述べる。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Context: In collaborative software development, the peer code review process proves beneficial only when the reviewers provide useful comments. Objective: This paper investigates the usefulness of Code Review Comments (CR comments) through textual feature-based and featureless approaches. Method: We select three available datasets from both open-source and commercial projects. Additionally, we introduce new features from software and non-software domains. Moreover, we experiment with the presence of jargon, voice, and codes in CR comments and classify the usefulness of CR comments through featurization, bag-of-words, and transfer learning techniques. Results: Our models outperform the baseline by achieving state-of-the-art performance. Furthermore, the result demonstrates that the commercial gigantic LLM, GPT-4o, or non-commercial naive featureless approach, Bag-of-Word with TF-IDF, is more effective for predicting the usefulness of CR comments. Conclusion: The significant improvement in predicting usefulness solely from CR comments escalates research on this task. Our analyses portray the similarities and differences of domains, projects, datasets, models, and features for predicting the usefulness of CR comments.
• Abstract（参考訳）: コンテキスト: 共同ソフトウェア開発において、ピアコードレビュープロセスは、レビュー担当者が有用なコメントを提供する場合にのみ、有益なものであることを証明します。 目的:本稿では,コードレビューコメント(CRコメント)の有用性について,テキスト機能ベースおよび機能レスアプローチを用いて検討する。 方法: オープンソースプロジェクトと商用プロジェクトの両方から利用可能なデータセットを3つ選択する。 さらに、ソフトウェアドメインと非ソフトウェアドメインの新機能を紹介します。 さらに、CRコメントにおけるジャーゴン、音声、コードの存在を実験し、デマチュアライズ、バグ・オブ・ワード、伝達学習技術を通じてCRコメントの有用性を分類する。 結果:我々のモデルは最先端の性能を達成することでベースラインを上回ります。 さらに,商業用大規模LLM, GPT-4o, あるいは非商業用ナイーブ機能レスアプローチであるBag-of-Word with TF-IDFは,CRコメントの有用性を予測するのに有効であることを示した。 結論:CRコメントのみによる有用性予測の大幅な改善は、このタスクに関する研究をエスカレートします。 本分析では,ドメイン,プロジェクト,データセット,モデル,およびCRコメントの有用性を予測する特徴の類似点と相違点について述べる。

関連論文リスト

• Peer Review as A Multi-Turn and Long-Context Dialogue with Role-Based Interactions [62.0123588983514]
  大規模言語モデル(LLM)は様々な分野にまたがる幅広い応用を実証してきた。 我々は、ピアレビュープロセスを多ターン長文対話として再構築し、著者、レビュアー、意思決定者に対して異なる役割を担っている。 複数の情報源から収集された92,017件のレビューを含む26,841件の論文を含む包括的データセットを構築した。
  論文  参考訳（メタデータ） (2024-06-09T08:24:17Z)
• CELA: Cost-Efficient Language Model Alignment for CTR Prediction [70.65910069412944]
  CTR(Click-Through Rate)予測は、レコメンダシステムにおいて最重要位置を占める。 最近の取り組みは、プレトレーニング言語モデル(PLM)を統合することでこれらの課題を緩和しようとしている。 CTR予測のためのtextbfCost-textbfEfficient textbfLanguage Model textbfAlignment (textbfCELA)を提案する。
  論文  参考訳（メタデータ） (2024-05-17T07:43:25Z)
• Comments as Natural Logic Pivots: Improve Code Generation via Comment Perspective [85.48043537327258]
  本稿では, MANGO (comMents As Natural loGic pivOts) を提案する。 その結果、MANGOは強いベースラインに基づいてコードパス率を大幅に改善することがわかった。 論理的なコメントの復号化戦略の堅牢性は、考えの連鎖よりも顕著に高い。
  論文  参考訳（メタデータ） (2024-04-11T08:30:46Z)
• Automating Patch Set Generation from Code Review Comments Using Large Language Models [2.045040820541428]
  5つの人気のあるLarge Language Model(LLM)にコードコンテキストを提供します。 実世界のコードレビューコメントから提案したコード変更(パッチセット)を得る。 生成したパッチセットを人為的なパッチセットの履歴データと比較することにより、各モデルの性能を慎重に評価する。
  論文  参考訳（メタデータ） (2024-04-10T02:46:08Z)
• Team-related Features in Code Review Prediction Models [10.576931077314887]
  コードオーナシップ、ワークロード、チーム関係に関連する機能の予測能力を評価します。 結果から,コードオーナシップに関連する機能が最も優れた予測能力を持つことが示唆された。 提案されたすべての機能とコード行を合わせることで、レビュアーの参加とフィードバックの量の両方に最適な予測ができると結論付けます。
  論文  参考訳（メタデータ） (2023-12-11T09:30:09Z)
• CritiqueLLM: Towards an Informative Critique Generation Model for Evaluation of Large Language Model Generation [87.44350003888646]
  Eval-Instructは、疑似参照でポイントワイズした批評を取得し、マルチパスプロンプトを通じてこれらの批評を修正できる。 CritiqueLLMは、ChatGPTとすべてのオープンソースベースラインを上回るように実証的に示されています。
  論文  参考訳（メタデータ） (2023-11-30T16:52:42Z)
• Towards Automated Classification of Code Review Feedback to Support Analytics [4.423428708304586]
  本研究の目的は,自動コードレビューコメント分類システムを開発することである。 コードコンテキスト、コメントテキスト、コードメトリクスのセットを活用した教師付き学習ベースのDNNモデルを訓練し、評価した。 提案手法はFregnanらのアプローチよりも18.7%高い精度を実現している。
  論文  参考訳（メタデータ） (2023-07-07T21:53:20Z)
• Exploring the Advances in Identifying Useful Code Review Comments [0.0]
  本稿では,コードレビューコメントの有用性に関する研究の進化を反映する。 コードレビューコメントの有用性を定義し、データセットのマイニングとアノテーションを定義し、開発者の認識を調査し、異なる側面から要因を分析し、機械学習分類器を使用してコードレビューコメントの有用性を自動的に予測する。
  論文  参考訳（メタデータ） (2023-07-03T00:41:20Z)
• Rethinking the Evaluation for Conversational Recommendation in the Era of Large Language Models [115.7508325840751]
  近年の大規模言語モデル(LLM)の成功は、より強力な対話レコメンデーションシステム(CRS)を開発する大きな可能性を示している。 本稿では,ChatGPTの会話レコメンデーションへの活用について検討し,既存の評価プロトコルが不十分であることを明らかにする。 LLMをベースとしたユーザシミュレータを用いた対話型評価手法iEvaLMを提案する。
  論文  参考訳（メタデータ） (2023-05-22T15:12:43Z)
• What Makes a Code Review Useful to OpenDev Developers? An Empirical Investigation [4.061135251278187]
  コードレビューの有効性が少し改善されても、ソフトウェア開発組織にとってかなりの節約が得られます。 本研究の目的は,コードレビューコメントをOSS開発者に有用なものにする方法を,より精細に理解することである。
  論文  参考訳（メタデータ） (2023-02-22T22:48:27Z)
• Hierarchical Bi-Directional Self-Attention Networks for Paper Review Rating Recommendation [81.55533657694016]
  本稿では,階層型双方向自己注意ネットワークフレームワーク(HabNet)を提案する。 具体的には、文エンコーダ(レベル1)、レビュー内エンコーダ(レベル2)、レビュー間エンコーダ(レベル3)の3つのレベルで、論文レビューの階層構造を利用する。 我々は、最終的な受理決定を行う上で有用な予測者を特定することができ、また、数値的なレビュー評価とレビュアーが伝えるテキストの感情の不整合を発見するのに役立てることができる。
  論文  参考訳（メタデータ） (2020-11-02T08:07:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。