論文の概要: DocChecker: Bootstrapping Code Large Language Model for Detecting and
Resolving Code-Comment Inconsistencies
- arxiv url: http://arxiv.org/abs/2306.06347v3
- Date: Sat, 3 Feb 2024 03:36:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 06:19:40.587083
- Title: DocChecker: Bootstrapping Code Large Language Model for Detecting and
Resolving Code-Comment Inconsistencies
- Title（参考訳）: DocChecker: コード構成の不整合の検出と解決のための大規模言語モデルのブートストラップ
- Authors: Anh T. V. Dau, Jin L. C. Guo, Nghi D. Q. Bui
- Abstract要約: DocCheckerは、コードとそれに伴うコメントの違いを検出し、修正するツールである。
コードとコメントの不一致を識別する能力があり、合成されたコメントを生成することもできる。
Inconsistency Code-Comment Detectionタスクでは72.3%の精度で、最先端の新たな結果が得られる。
- 参考スコア（独自算出の注目度）: 13.804337643709717
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Comments within source code are essential for developers to comprehend the
code's purpose and ensure its correct usage. However, as codebases evolve,
maintaining an accurate alignment between the comments and the code becomes
increasingly challenging. Recognizing the growing interest in automated
solutions for detecting and correcting differences between code and its
accompanying comments, current methods rely primarily on heuristic rules. In
contrast, this paper presents DocChecker, a tool powered by deep learning.
DocChecker is adept at identifying inconsistencies between code and comments,
and it can also generate synthetic comments. This capability enables the tool
to detect and correct instances where comments do not accurately reflect their
corresponding code segments. We demonstrate the effectiveness of DocChecker
using the Just-In-Time and CodeXGlue datasets in different settings.
Particularly, DocChecker achieves a new State-of-the-art result of 72.3%
accuracy on the Inconsistency Code-Comment Detection (ICCD) task and 33.64
BLEU-4 on the code summarization task against other Large Language Models
(LLMs), even surpassing GPT 3.5 and CodeLlama.
DocChecker is accessible for use and evaluation. It can be found on our
GitHub https://github.com/FSoft-AI4Code/DocChecker and as an Online Tool
http://4.193.50.237:5000/. For a more comprehensive understanding of its
functionality, a demonstration video is available on YouTube
https://youtu.be/FqnPmd531xw.
- Abstract（参考訳）: ソースコード内のコメントは、開発者がコードの目的を理解し、正しい使い方を保証するために不可欠である。
しかし、コードベースが進化するにつれて、コメントとコードの正確な整合性を維持することはますます困難になっている。
コードとそれに伴うコメントの差を検出し修正する自動化ソリューションへの関心が高まっていることを認識し、現在の手法は主にヒューリスティックなルールに依存している。
これとは対照的に,ディープラーニングを利用したDocCheckerを提案する。
DocCheckerはコードとコメントの不一致を識別する能力があり、合成コメントを生成することもできる。
この機能は、コメントが対応するコードセグメントを正確に反映しないインスタンスの検出と修正を可能にする。
我々は,Just-In-TimeデータセットとCodeXGlueデータセットを用いて,DocCheckerの有効性を示す。
特にDocCheckerは、ICCD(Inconsistency Code-Comment Detection)タスクで72.3%、他のLLM(Large Language Models)に対するコード要約タスクで33.64 BLEU-4の精度で、GPT 3.5やCodeLlamaを超えている。
DocCheckerの使用と評価が可能である。
GitHub https://github.com/FSoft-AI4Code/DocChecker と Online Tool http://4.193.50.237:5000/ で確認できます。
機能の詳細については、YouTube https://youtu.be/FqnPmd531xw.comでデモビデオが公開されている。
関連論文リスト
- Understanding Code Understandability Improvements in Code Reviews [79.16476505761582]
GitHub上のJavaオープンソースプロジェクトからの2,401のコードレビューコメントを分析した。
改善提案の83.9%が承認され、統合され、1%未満が後に復活した。
論文 参考訳（メタデータ） (2024-10-29T12:21:23Z) - CodeJudge: Evaluating Code Generation with Large Language Models [6.867043179943195]
大規模言語モデル(LLM)は、コード生成において有望なパフォーマンスを示している。
LLMが生成したコードを確実に評価する方法は未解決の問題である。
本稿では,LLMを利用したコード評価フレームワークであるCodeJudgeについて,テストケースを必要とせずに生成したコードの意味的正当性を評価する。
論文 参考訳（メタデータ） (2024-10-03T03:58:03Z) - Code Documentation and Analysis to Secure Software Development [0.0]
CoDATは、さまざまなレベルのコードドキュメント間の一貫性を維持するように設計されたツールである。
Intellij IDEAで実装されている。
私たちは、コードの断片とそれを記述するコメントの間のセマンティックな一貫性をチェックするために、大きな言語モデルを使用します。
論文 参考訳（メタデータ） (2024-07-16T17:25:44Z) - Can It Edit? Evaluating the Ability of Large Language Models to Follow Code Editing Instructions [6.367360745627828]
コード編集タスクのベンチマークを導入し、それをいくつかの最先端LCMの評価に利用する。
我々の評価は、最先端のオープンモデルとクローズドモデルの間の大きなギャップを露呈する。
我々は、自然言語命令と組み合わされたコード編集タスクの新しい、慎重にキュレートされ、パーミッシブにライセンスされたトレーニングデータセットを導入する。
論文 参考訳（メタデータ） (2023-12-11T02:27:45Z) - Coeditor: Leveraging Contextual Changes for Multi-round Code Auto-editing [57.776971051512234]
本研究では,複数ラウンドのコードの自動編集設定について検討し,その内部の最近の変更に基づいて,コード領域への編集を予測することを目的とした。
我々のモデルであるCoeditorは、コード編集タスクに特化して設計された微調整言語モデルである。
単純化されたシングルラウンドのシングル編集タスクでは、Coeditor は GPT-3.5 と SOTA のオープンソースコード補完モデルを大幅に上回っている。
論文 参考訳（メタデータ） (2023-05-29T19:57:36Z) - Enriching Source Code with Contextual Data for Code Completion Models:
An Empirical Study [4.438873396405334]
コンテクストデータを用いてコードを理解しやすくすることで、コード補完作業のための事前学習された言語モデルの性能が向上するかどうかを問う。
コメントについては、マルチラインコメントの存在下でモデルの性能が向上していることが分かる。
論文 参考訳（メタデータ） (2023-04-24T17:09:14Z) - Augmenting Diffs With Runtime Information [53.22981451758425]
Collector-Sahabは、コード差分をランタイム差分情報で拡張するツールである。
We run Collector-Sahab on 584 code diffs for Defects4J bugs and found it successfully augment the code diff for 95% (555/584)。
論文 参考訳（メタデータ） (2022-12-20T16:33:51Z) - DocCoder: Generating Code by Retrieving and Reading Docs [87.88474546826913]
コードマニュアルとドキュメントを明示的に活用するアプローチであるDocCoderを紹介します。
我々のアプローチは一般的に、どんなプログラミング言語にも適用でき、基礎となるニューラルモデルとは無関係です。
論文 参考訳（メタデータ） (2022-07-13T06:47:51Z) - CodeRetriever: Unimodal and Bimodal Contrastive Learning [128.06072658302165]
関数レベルのコードセマンティック表現を訓練するために,一様および二様のコントラスト学習を組み合わせたCodeRetrieverモデルを提案する。
ノンモーダルなコントラスト学習のために、文書と関数名に基づいてポジティブなコードペアを構築するためのセマンティックガイド付き手法を設計する。
バイモーダルなコントラスト学習では、コードのドキュメンテーションとインラインコメントを活用して、テキストコードペアを構築します。
論文 参考訳（メタデータ） (2022-01-26T10:54:30Z) - Deep Just-In-Time Inconsistency Detection Between Comments and Source
Code [51.00904399653609]
本稿では,コード本体の変更によりコメントが矛盾するかどうかを検出することを目的とする。
私たちは、コメントとコードの変更を関連付けるディープラーニングアプローチを開発しています。
より包括的な自動コメント更新システムを構築するために,コメント更新モデルと組み合わせて提案手法の有用性を示す。
論文 参考訳（メタデータ） (2020-10-04T16:49:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。