論文の概要: Improving the Learning of Code Review Successive Tasks with Cross-Task Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2402.02063v1
• Date: Sat, 3 Feb 2024 07:02:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-06 22:27:46.516481
• Title: Improving the Learning of Code Review Successive Tasks with Cross-Task Knowledge Distillation
• Title（参考訳）: クロスタスク知識蒸留によるコードレビュー連続タスクの学習の改善
• Authors: Oussama Ben Sghaier and Houari Sahraoui
• Abstract要約: 本研究では,これらのタスクを同時に処理するために,クロスタスク知識蒸留を利用した新しいディープラーニングアーキテクチャdisCOREVを紹介する。 提案手法は, BLEUスコアによる評価値と, CodeBLEUスコアによるより正確なコード修正値から, より良いレビューコメントを生成する。
• 参考スコア（独自算出の注目度）: 1.0878040851638
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Code review is a fundamental process in software development that plays a pivotal role in ensuring code quality and reducing the likelihood of errors and bugs. However, code review can be complex, subjective, and time-consuming. Quality estimation, comment generation, and code refinement constitute the three key tasks of this process, and their automation has traditionally been addressed separately in the literature using different approaches. In particular, recent efforts have focused on fine-tuning pre-trained language models to aid in code review tasks, with each task being considered in isolation. We believe that these tasks are interconnected, and their fine-tuning should consider this interconnection. In this paper, we introduce a novel deep-learning architecture, named DISCOREV, which employs cross-task knowledge distillation to address these tasks simultaneously. In our approach, we utilize a cascade of models to enhance both comment generation and code refinement models. The fine-tuning of the comment generation model is guided by the code refinement model, while the fine-tuning of the code refinement model is guided by the quality estimation model. We implement this guidance using two strategies: a feedback-based learning objective and an embedding alignment objective. We evaluate DISCOREV by comparing it to state-of-the-art methods based on independent training and fine-tuning. Our results show that our approach generates better review comments, as measured by the BLEU score, as well as more accurate code refinement according to the CodeBLEU score
• Abstract（参考訳）: コードレビューはソフトウェア開発における基本的なプロセスであり、コード品質の確保とエラーやバグの可能性の低減に重要な役割を果たします。 しかし、コードレビューは複雑で、主観的で、時間がかかります。 品質推定、コメント生成、コードリファインメントは、このプロセスの3つの重要なタスクであり、その自動化は、伝統的に異なるアプローチで文学の中で別々に取り組まれてきた。 特に、最近の取り組みは、コードレビュータスクを支援するために、訓練済みの言語モデルを微調整することに焦点を当てている。 これらのタスクは相互に結びついており、それらの微調整はこの相互接続を考慮するべきだと考えています。 本稿では,これらのタスクを同時に処理するために,クロスタスク知識蒸留を用いた新しいディープラーニングアーキテクチャdisCOREVを紹介する。 提案手法では,コメント生成モデルとコード修正モデルの両方を強化するために,モデルのカスケードを利用する。 コメント生成モデルの微調整はコードリファインメントモデルによって導かれ、コードリファインメントモデルの微調整は品質推定モデルによって導かれる。 フィードバックに基づく学習目標と埋め込みアライメント目標の2つの戦略を用いて,このガイダンスを実装した。 我々はDiscOREVを、独立トレーニングと微調整に基づく最先端の手法と比較することで評価する。 以上の結果から,提案手法は,BLEUスコアによる評価や,CodeBLEUスコアによるより正確なコード修正など,より良いレビューコメントを生成することが示された。

関連論文リスト

• Codev-Bench: How Do LLMs Understand Developer-Centric Code Completion? [60.84912551069379]
  Code-Development Benchmark (Codev-Bench)は、細粒度で現実世界、リポジトリレベル、開発者中心の評価フレームワークです。 Codev-Agentは、リポジトリのクローリングを自動化し、実行環境を構築し、既存のユニットテストから動的呼び出しチェーンを抽出し、データ漏洩を避けるために新しいテストサンプルを生成するエージェントベースのシステムである。
  論文  参考訳（メタデータ） (2024-10-02T09:11:10Z)
• AI-powered Code Review with LLMs: Early Results [10.37036924997437]
  本稿では,Large Language Model (LLM) ベースのモデルを用いて,ソフトウェアの品質と効率を改善する新しい手法を提案する。 提案するLLMベースのAIエージェントモデルは,大規模コードリポジトリ上でトレーニングされている。 コードの臭いを検出し、潜在的なバグを特定し、改善の提案を提供し、コードを最適化することを目的としている。
  論文  参考訳（メタデータ） (2024-04-29T08:27:50Z)
• QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
  モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。 例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
  論文  参考訳（メタデータ） (2023-11-06T00:21:44Z)
• Code quality assessment using transformers [0.0]
  本研究では,品質スコアをJavaコードに自動的に割り当てるCodeBERTについて検討する。 コード品質評価のための新しいデータセット上で,モデルの精度について検討する。 コード品質はある程度予測可能であり、タスク適応型事前学習を用いたトランスフォーマーベースモデルは、他の手法よりも効率的にタスクを解くことができる。
  論文  参考訳（メタデータ） (2023-09-17T12:59:59Z)
• Unity is Strength: Cross-Task Knowledge Distillation to Improve Code Review Generation [0.9208007322096533]
  本稿では,クロスタスク知識蒸留に基づく新しいディープラーニングアーキテクチャであるdisCOREVを提案する。 提案手法では,コメント生成モデルの微調整をコードリファインメントモデルで指導する。 以上の結果から,本手法はBLEUスコアによって評価されたより良いレビューコメントを生成することが示された。
  論文  参考訳（メタデータ） (2023-09-06T21:10:33Z)
• ReviewRanker: A Semi-Supervised Learning Based Approach for Code Review Quality Estimation [0.6895577977557867]
  レビュープロセスの有効性と継続的改善の検査は、開発生産性を高めることができる。 本稿では,各コードレビューに信頼性スコアを割り当てることを目的とした,半教師付き学習システムであるReviewRankerを提案する。 提案手法は,開発者が提供したシンプルで明確なラベルに基づいて訓練される。
  論文  参考訳（メタデータ） (2023-07-08T15:37:48Z)
• CodeRL: Mastering Code Generation through Pretrained Models and Deep Reinforcement Learning [92.36705236706678]
  CodeRLは、事前訓練されたLMと深層強化学習によるプログラム合成タスクのための新しいフレームワークである。 推論中、我々は重要なサンプリング戦略を持つ新しい生成手順を導入する。 モデルバックボーンについては,CodeT5のエンコーダデコーダアーキテクチャを拡張し,学習目標を拡張した。
  論文  参考訳（メタデータ） (2022-07-05T02:42:15Z)
• CodeReviewer: Pre-Training for Automating Code Review Activities [36.40557768557425]
  本研究は,コードレビューシナリオにおけるタスクの事前学習技術を活用することに焦点を当てる。 私たちは、最も人気のある9つのプログラミング言語で、オープンソースのプロジェクトから、現実世界のコード変更とコードレビューの大規模なデータセットを収集します。 コード差分とレビューをよりよく理解するために、コードレビューセナリオに特化した4つの事前トレーニングタスクを利用する事前トレーニングモデルであるCodeReviewerを提案する。
  論文  参考訳（メタデータ） (2022-03-17T05:40:13Z)
• CodeRetriever: Unimodal and Bimodal Contrastive Learning [128.06072658302165]
  関数レベルのコードセマンティック表現を訓練するために,一様および二様のコントラスト学習を組み合わせたCodeRetrieverモデルを提案する。 ノンモーダルなコントラスト学習のために、文書と関数名に基づいてポジティブなコードペアを構築するためのセマンティックガイド付き手法を設計する。 バイモーダルなコントラスト学習では、コードのドキュメンテーションとインラインコメントを活用して、テキストコードペアを構築します。
  論文  参考訳（メタデータ） (2022-01-26T10:54:30Z)
• Visual Transformer for Task-aware Active Learning [49.903358393660724]
  プールベースのアクティブラーニングのための新しいパイプラインを提案する。 提案手法は,学習中に使用可能なアンラベリング例を利用して,ラベル付き例との相関関係を推定する。 ビジュアルトランスフォーマーは、ラベル付き例と非ラベル付き例の間の非ローカルビジュアル概念依存性をモデル化する。
  論文  参考訳（メタデータ） (2021-06-07T17:13:59Z)
• Enhancing Dialogue Generation via Multi-Level Contrastive Learning [57.005432249952406]
  質問に対する応答のきめ細かい品質をモデル化するマルチレベルコントラスト学習パラダイムを提案する。 Rank-aware (RC) ネットワークはマルチレベルコントラスト最適化の目的を構築するために設計されている。 本研究では,知識推論(KI)コンポーネントを構築し,学習中の参照からキーワードの知識を抽出し,そのような情報を活用して情報的単語の生成を促す。
  論文  参考訳（メタデータ） (2020-09-19T02:41:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。