論文の概要: COMCAT: Leveraging Human Judgment to Improve Automatic Documentation and Summarization
- arxiv url: http://arxiv.org/abs/2407.13648v1
- Date: Thu, 18 Jul 2024 16:26:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-19 14:41:26.053876
- Title: COMCAT: Leveraging Human Judgment to Improve Automatic Documentation and Summarization
- Title（参考訳）: COMCAT: 自動文書化と要約を改善するために人間の判断を活用する
- Authors: Skyler Grandel, Scott Thomas Andersen, Yu Huang, Kevin Leach,
- Abstract要約: COMCATは、専門知識のあるコンテキストで大規模言語モデルを拡張することで、コメント生成を自動化するアプローチである。
C/C++ファイルにコメントを付けるためのCOMCATパイプラインを開発し、(1)コメントを配置する適切な場所を自動的に識別し、(2)各場所について最も有用なタイプのコメントを予測し、(3)選択した場所とコメントタイプに基づいてコメントを生成する。
被験者の87%に対して,COMCATが生成したコメントは,3つの指示的ソフトウェアエンジニアリングタスクにおける開発者のコード理解を最大12%向上させることを示した。
- 参考スコア（独自算出の注目度）: 4.1491806566512235
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Software maintenance constitutes a substantial portion of the total lifetime costs of software, with a significant portion attributed to code comprehension. Software comprehension is eased by documentation such as comments that summarize and explain code. We present COMCAT, an approach to automate comment generation by augmenting Large Language Models (LLMs) with expertise-guided context to target the annotation of source code with comments that improve comprehension. Our approach enables the selection of the most relevant and informative comments for a given snippet or file containing source code. We develop the COMCAT pipeline to comment C/C++ files by (1) automatically identifying suitable locations in which to place comments, (2) predicting the most helpful type of comment for each location, and (3) generating a comment based on the selected location and comment type. In a human subject evaluation, we demonstrate that COMCAT-generated comments significantly improve developer code comprehension across three indicative software engineering tasks by up to 12% for 87% of participants. In addition, we demonstrate that COMCAT-generated comments are at least as accurate and readable as human-generated comments and are preferred over standard ChatGPT-generated comments for up to 92% of snippets of code. Furthermore, we develop and release a dataset containing source code snippets, human-written comments, and human-annotated comment categories. COMCAT leverages LLMs to offer a significant improvement in code comprehension across a variety of human software engineering tasks.
- Abstract（参考訳）: ソフトウェアのメンテナンスは、ソフトウェアの総寿命コストのかなりの部分を占めており、コードの理解に起因している。
ソフトウェアの理解は、コードを要約し、説明するコメントのようなドキュメントによって容易になる。
我々は,言語モデル (LLM) を専門知識を持つ文脈で拡張することで,コメントの自動生成手法であるCOMCATを提案する。
提案手法により,ソースコードを含むスニペットやファイルに対して,最も関連性の高い情報的コメントの選択が可能になる。
C/C++ファイルにコメントを付けるためのCOMCATパイプラインを開発し、(1)コメントを配置する適切な場所を自動的に識別し、(2)各場所について最も有用なタイプのコメントを予測し、(3)選択した場所とコメントタイプに基づいてコメントを生成する。
被験者の87%に対して,COMCATが生成したコメントは,3つの指示的ソフトウェアエンジニアリングタスクにおける開発者のコード理解を最大12%向上させることを示した。
さらに,COMCATで生成したコメントは人間で生成したコメントと同じくらい正確で読みやすく,標準のChatGPTで生成したコメントよりも最大92%のコードスニペットの方が好ましいことを示す。
さらに、ソースコードスニペット、人書きコメント、人書きコメントカテゴリを含むデータセットを開発し、リリースする。
COMCATはLLMを活用して、さまざまなヒューマンソフトウェアエンジニアリングタスクにわたるコード理解を大幅に改善する。
関連論文リスト
- AUTOGENICS: Automated Generation of Context-Aware Inline Comments for Code Snippets on Programming Q&A Sites Using LLM [1.971759811837406]
ソースコードのインラインコメントは、理解しやすく、再利用しやすく、可読性も向上している。
Stack Overflow (SO)のようなQ&Aサイトでの回答のコードスニペットにはコメントがないことが多い。
これらの課題を踏まえ、我々は、大規模な言語モデルを利用して、SOのコードスニペットに対する効果的なインラインコメントを生成するために、SOと統合するために設計されたツールであるAUTOGENICSを紹介した。
論文 参考訳（メタデータ） (2024-08-27T21:21:13Z) - When simplicity meets effectiveness: Detecting code comments coherence with word embeddings and LSTM [6.417777780911223]
コードコメントは、プログラマに実用的な情報を提供するため、ソフトウェア開発において重要な役割を果たす。
開発者はコードを更新した後、コメントをそのまま残す傾向があり、2つのアーティファクトの間に相違が生じます。
コードスニペットが与えられたら、そのコメントが一貫性があり、コードの背後にある意図をよく反映しているかどうかを特定することが重要です。
論文 参考訳（メタデータ） (2024-05-25T15:21:27Z) - Comments as Natural Logic Pivots: Improve Code Generation via Comment Perspective [85.48043537327258]
本稿では, MANGO (comMents As Natural loGic pivOts) を提案する。
その結果、MANGOは強いベースラインに基づいてコードパス率を大幅に改善することがわかった。
論理的なコメントの復号化戦略の堅牢性は、考えの連鎖よりも顕著に高い。
論文 参考訳（メタデータ） (2024-04-11T08:30:46Z) - Code Needs Comments: Enhancing Code LLMs with Comment Augmentation [91.52444946362547]
本稿では、既存のコードに対するコメントを生成する新しいデータ拡張手法と、自然言語と相関の低いコードデータをフィルタリングするデータフィルタリング戦略を導入する。
我々は3つのコード中心の大規模言語モデルの実験を行い、2つの広く使われているプログラミングスキルベンチマークで一貫した性能向上を観察した。
論文 参考訳（メタデータ） (2024-02-20T13:56:38Z) - Leveraging Generative AI: Improving Software Metadata Classification
with Generated Code-Comment Pairs [0.0]
ソフトウェア開発では、コードの理解とコラボレーションを強化する上で、コードコメントが重要な役割を果たす。
本研究では,コードコメントを「有用」あるいは「有用でない」と客観的に分類する課題について論じる。
本稿では,この分類プロセスを自動化するために,コンテキスト化された埋め込み,特にBERTを利用する新しいソリューションを提案する。
論文 参考訳（メタデータ） (2023-10-14T12:09:43Z) - Exploring the Advances in Identifying Useful Code Review Comments [0.0]
本稿では,コードレビューコメントの有用性に関する研究の進化を反映する。
コードレビューコメントの有用性を定義し、データセットのマイニングとアノテーションを定義し、開発者の認識を調査し、異なる側面から要因を分析し、機械学習分類器を使用してコードレビューコメントの有用性を自動的に予測する。
論文 参考訳（メタデータ） (2023-07-03T00:41:20Z) - Data-Driven Approach for Log Instruction Quality Assessment [59.04636530383049]
優れた品質特性を持つログ命令の記述方法に関するガイドラインは,広く採用されていない。
1)ログレベルの正確さを評価するための正しいログレベルの割り当てと,2)イベント記述の冗長化に必要な静的テキストの最小富度を評価する十分な言語構造である。
本手法は,F1スコア0.99の十分な言語構造を用いて,ログレベルの割当を精度0.88で正確に評価する。
論文 参考訳（メタデータ） (2022-04-06T07:02:23Z) - ReACC: A Retrieval-Augmented Code Completion Framework [53.49707123661763]
本稿では,語彙のコピーと類似したセマンティクスを持つコード参照の両方を検索により活用する検索拡張コード補完フレームワークを提案する。
我々は,Python および Java プログラミング言語のコード補完タスクにおけるアプローチを評価し,CodeXGLUE ベンチマークで最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2022-03-15T08:25:08Z) - CoSQA: 20,000+ Web Queries for Code Search and Question Answering [63.92224685262063]
CoSQAデータセットには、自然言語クエリとコードのペア用の20,604ラベルが含まれている。
本稿では,クエリコードマッチングを強化するために,CoCLRと呼ばれる対照的な学習手法を提案する。
我々は,CodeXGLUEを同じCodeBERTモデルで評価し,CoSQAのトレーニングにより,コード質問応答の精度が5.1%向上したことを示す。
論文 参考訳（メタデータ） (2021-05-27T15:37:21Z) - Deep Just-In-Time Inconsistency Detection Between Comments and Source
Code [51.00904399653609]
本稿では,コード本体の変更によりコメントが矛盾するかどうかを検出することを目的とする。
私たちは、コメントとコードの変更を関連付けるディープラーニングアプローチを開発しています。
より包括的な自動コメント更新システムを構築するために,コメント更新モデルと組み合わせて提案手法の有用性を示す。
論文 参考訳（メタデータ） (2020-10-04T16:49:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。