論文の概要: Enhancing Code Annotation Reliability: Generative AI's Role in Comment Quality Assessment Models

• arxiv url: http://arxiv.org/abs/2410.22323v1
• Date: Tue, 29 Oct 2024 17:57:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-30 13:41:48.613353
• Title: Enhancing Code Annotation Reliability: Generative AI's Role in Comment Quality Assessment Models
• Title（参考訳）: コードアノテーションの信頼性を高める - コメント品質評価モデルにおける生成AIの役割
• Authors: Seetharam Killivalavan, Durairaj Thenmozhi,
• Abstract要約: 既存の9,048ペアのC言語データセットに“Useful”あるいは“Not Useful”とラベル付けされた,新たに生成された1,437のコード圧縮ペアを統合します。 提案手法では,サポートベクトルマシン(SVM)モデルの精度が5.78%向上し,0.79から0.8478に向上し,ニューラルネットワーク(ANN)モデルのリコール率が2.17%向上し,0.731から0.7527に向上した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: This paper explores a novel method for enhancing binary classification models that assess code comment quality, leveraging Generative Artificial Intelligence to elevate model performance. By integrating 1,437 newly generated code-comment pairs, labeled as "Useful" or "Not Useful" and sourced from various GitHub repositories, into an existing C-language dataset of 9,048 pairs, we demonstrate substantial model improvements. Using an advanced Large Language Model, our approach yields a 5.78% precision increase in the Support Vector Machine (SVM) model, improving from 0.79 to 0.8478, and a 2.17% recall boost in the Artificial Neural Network (ANN) model, rising from 0.731 to 0.7527. These results underscore Generative AI's value in advancing code comment classification models, offering significant potential for enhanced accuracy in software development and quality control. This study provides a promising outlook on the integration of generative techniques for refining machine learning models in practical software engineering settings.
• Abstract（参考訳）: 本稿では,コードコメントの品質を評価する二項分類モデルの改良手法について検討する。 さまざまなGitHubリポジトリからソースとして“Useful”あるいは“Not Useful”とラベル付けされた新たに生成された1,437のコード圧縮ペアを,9,048ペアの既存のC言語データセットに統合することにより,大幅なモデル改善を実証した。 先進的な大規模言語モデルを用いることで,サポートベクトルマシン(SVM)モデルの精度が5.78%向上し,0.79から0.8478に向上し,ニューラルネットワーク(ANN)モデルのリコール率が2.17%向上し,0.731から0.7527に向上した。 これらの結果は、コードコメント分類モデルの進歩におけるジェネレーティブAIの価値を強調し、ソフトウェア開発と品質管理の精度を向上する大きな可能性を秘めている。 本研究は、実用的なソフトウェアエンジニアリング環境での機械学習モデルを精錬するための生成技術の統合について、将来的な展望を提供する。

関連論文リスト

• Rare Class Prediction Model for Smart Industry in Semiconductor Manufacturing [1.3955252961896323]
  本研究では, 半導体製造プロセスから収集したIn situデータに対して, 希少なクラス予測手法を開発した。 第一の目的は、ノイズとクラス不均衡の問題に対処し、クラス分離を強化するモデルを構築することである。 ROC曲線はAUCが0.95、精度が0.66、リコールが0.96である。
  論文  参考訳（メタデータ） (2024-06-06T22:09:43Z)
• Language Models for Code Completion: A Practical Evaluation [13.174471984950857]
  本研究は,実世界のコードを完成させる際の3つの公開言語モデルの定量的および定性的な評価を提供する。 1200以上のユーザから1年以上にわたって,実際の自動補完使用データを収集しました。 66.3%の障害はモデルの制限によるものであり、24.4%は開発コンテキストにおける不適切なモデル使用によるものであり、9.3%は開発者が過剰に記述した有効な要求であることがわかった。
  論文  参考訳（メタデータ） (2024-02-25T20:43:55Z)
• QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
  モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。 例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
  論文  参考訳（メタデータ） (2023-11-06T00:21:44Z)
• Software Metadata Classification based on Generative Artificial Intelligence [0.0]
  本稿では、生成人工知能(AI)を用いたバイナリコードコメント品質分類モデルの性能向上のための新しいアプローチを提案する。 OpenAI APIを活用することで、新たに生成した1239のコード補完ペアからなるデータセットを、“Useful”あるいは“Not Useful”とラベル付けした。 その結果,ソフトウェア開発分野や品質保証分野の幅広い文脈における適用性を示すとともに,本手法の有効性を確認した。
  論文  参考訳（メタデータ） (2023-10-14T07:38:16Z)
• Quality-Aware Translation Models: Efficient Generation and Quality Estimation in a Single Model [77.19693792957614]
  そこで我々は,ニューラルネットワーク翻訳(NMT)モデルを用いて,その品質を学習し,その品質を推定する手法を提案する。 我々は、単一パスの復号化の効率性よりも、品質向上や品質改善のアプローチよりも優れた品質向上を得る。
  論文  参考訳（メタデータ） (2023-10-10T15:33:51Z)
• On the Reliability and Explainability of Language Models for Program Generation [15.569926313298337]
  自動プログラム生成手法の能力と限界について検討する。 私たちは、コード変換に大きく貢献するトークンを強調するために、高度な説明可能なAIアプローチを採用しています。 解析の結果,言語モデルではコード文法や構造情報を認識できるが,入力シーケンスの変化に対するロバスト性は限られていることがわかった。
  論文  参考訳（メタデータ） (2023-02-19T14:59:52Z)
• Data-Driven and SE-assisted AI Model Signal-Awareness Enhancement and Introspection [61.571331422347875]
  モデルの信号認識性を高めるためのデータ駆動型手法を提案する。 コード複雑性のSE概念とカリキュラム学習のAIテクニックを組み合わせる。 モデル信号認識における最大4.8倍の改善を実現している。
  論文  参考訳（メタデータ） (2021-11-10T17:58:18Z)
• ALT-MAS: A Data-Efficient Framework for Active Testing of Machine Learning Algorithms [58.684954492439424]
  少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。 ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
  論文  参考訳（メタデータ） (2021-04-11T12:14:04Z)
• Non-Autoregressive Translation by Learning Target Categorical Codes [59.840510037250944]
  本論文では,非回帰型復号法に潜在変数として暗黙的に分類符号を学習するCNATを提案する。 実験の結果,本モデルは機械翻訳タスクにおいて同等あるいは優れた性能が得られることがわかった。
  論文  参考訳（メタデータ） (2021-03-21T14:12:34Z)
• DeBERTa: Decoding-enhanced BERT with Disentangled Attention [119.77305080520718]
  2つの新しい手法を用いてBERTモデルとRoBERTaモデルを改善する新しいモデルアーキテクチャDeBERTaを提案する。 これらの手法により,モデル事前学習の効率化と,自然言語理解(NLU)と自然言語生成(NLG)の両方の性能向上が期待できる。
  論文  参考訳（メタデータ） (2020-06-05T19:54:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。