論文の概要: Software Metadata Classification based on Generative Artificial
Intelligence
- arxiv url: http://arxiv.org/abs/2310.13006v1
- Date: Sat, 14 Oct 2023 07:38:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-29 16:09:59.833236
- Title: Software Metadata Classification based on Generative Artificial
Intelligence
- Title（参考訳）: 生成型人工知能に基づくソフトウェアメタデータ分類
- Authors: Seetharam Killivalavan, Durairaj Thenmozhi
- Abstract要約: 本稿では、生成人工知能(AI)を用いたバイナリコードコメント品質分類モデルの性能向上のための新しいアプローチを提案する。
OpenAI APIを活用することで、新たに生成した1239のコード補完ペアからなるデータセットを、“Useful”あるいは“Not Useful”とラベル付けした。
その結果,ソフトウェア開発分野や品質保証分野の幅広い文脈における適用性を示すとともに,本手法の有効性を確認した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents a novel approach to enhance the performance of binary
code comment quality classification models through the application of
Generative Artificial Intelligence (AI). By leveraging the OpenAI API, a
dataset comprising 1239 newly generated code-comment pairs, extracted from
various GitHub repositories and open-source projects, has been labelled as
"Useful" or "Not Useful", and integrated into the existing corpus of 9048 pairs
in the C programming language. Employing a cutting-edge Large Language Model
Architecture, the generated dataset demonstrates notable improvements in model
accuracy. Specifically, when incorporated into the Support Vector Machine (SVM)
model, a 6% increase in precision is observed, rising from 0.79 to 0.85.
Additionally, the Artificial Neural Network (ANN) model exhibits a 1.5%
increase in recall, climbing from 0.731 to 0.746. This paper sheds light on the
potential of Generative AI in augmenting code comment quality classification
models. The results affirm the effectiveness of this methodology, indicating
its applicability in broader contexts within software development and quality
assurance domains. The findings underscore the significance of integrating
generative techniques to advance the accuracy and efficacy of machine learning
models in practical software engineering scenarios.
- Abstract（参考訳）: 本稿では、生成人工知能(AI)を用いたバイナリコードコメント品質分類モデルの性能向上のための新しいアプローチを提案する。
openai apiを活用することで、さまざまなgithubリポジトリやオープンソースプロジェクトから抽出された1239のcode-commentペアからなるデータセットが"useful"あるいは"not useful"としてラベル付けされ、c言語の既存の9048ペアのコーパスに統合されている。
最先端の大規模言語モデルアーキテクチャを使用して,生成されたデータセットは,モデルの精度が著しく向上している。
具体的には、サポートベクターマシン(svm)モデルに組み込むと、精度が0.79から0.85に上昇して6%向上する。
さらに、artificial neural network (ann) モデルでは、リコールが 0.731 から 0.746 に1.5%増加した。
本稿では,コードコメント品質分類モデルの拡張における生成AIの可能性について述べる。
その結果,ソフトウェア開発分野や品質保証分野の幅広い文脈における適用性を示すとともに,本手法の有効性を確認した。
この結果は、実用的なソフトウェアエンジニアリングシナリオにおける機械学習モデルの精度と有効性を向上させるために、生成技術を統合することの重要性を浮き彫りにした。
関連論文リスト
- Benchmarking Generative AI Models for Deep Learning Test Input Generation [6.674615464230326]
テスト入力ジェネレータ(TIG)は、ディープラーニング(DL)画像分類器が、トレーニングやテストセットを超えて入力の正確な予測を提供する能力を評価するために不可欠である。
ジェネレーティブAI(GenAI)モデルの最近の進歩は、合成画像の作成と操作のための強力なツールとなった。
我々は、異なるGenAIモデルとTIGをベンチマークして組み合わせ、生成したテスト画像の有効性、効率、品質を評価する。
論文 参考訳（メタデータ） (2024-12-23T15:30:42Z) - Enhancing Code Annotation Reliability: Generative AI's Role in Comment Quality Assessment Models [0.0]
既存の9,048ペアのC言語データセットに“Useful”あるいは“Not Useful”とラベル付けされた,新たに生成された1,437のコード圧縮ペアを統合します。
提案手法では,サポートベクトルマシン(SVM)モデルの精度が5.78%向上し,0.79から0.8478に向上し,ニューラルネットワーク(ANN)モデルのリコール率が2.17%向上し,0.731から0.7527に向上した。
論文 参考訳（メタデータ） (2024-10-29T17:57:27Z) - Hybrid-Segmentor: A Hybrid Approach to Automated Fine-Grained Crack Segmentation in Civil Infrastructure [52.2025114590481]
エンコーダ・デコーダをベースとした手法であるHybrid-Segmentorを導入する。
これにより、モデルは、様々な種類の形状、表面、き裂の大きさを区別する一般化能力を向上させることができる。
提案モデルは,5つの測定基準(精度0.971,精度0.804,リコール0.744,F1スコア0.770,IoUスコア0.630)で既存ベンチマークモデルより優れ,最先端の状態を達成している。
論文 参考訳（メタデータ） (2024-09-04T16:47:16Z) - Building Math Agents with Multi-Turn Iterative Preference Learning [56.71330214021884]
本稿では,モデル性能をさらに向上させるために,補完的な直接選好学習手法について検討する。
既存の直接選好学習アルゴリズムは、もともとシングルターンチャットタスク用に設計されている。
この文脈に合わせたマルチターン直接選好学習フレームワークを提案する。
論文 参考訳（メタデータ） (2024-09-04T02:41:04Z) - SIaM: Self-Improving Code-Assisted Mathematical Reasoning of Large Language Models [54.78329741186446]
本稿では,コードに基づく批判モデルを用いて,質問コードデータ構築,品質管理,補完的評価などのステップをガイドする新しいパラダイムを提案する。
英語と中国語におけるドメイン内ベンチマークとドメイン外ベンチマークの両方の実験は、提案したパラダイムの有効性を実証している。
論文 参考訳（メタデータ） (2024-08-28T06:33:03Z) - Enhanced Infield Agriculture with Interpretable Machine Learning Approaches for Crop Classification [0.49110747024865004]
本研究では、SIFT、ORB、Color Histogramなどの手作り特徴抽出手法を用いた従来のML、カスタムデザインCNN、AlexNetのようなDLアーキテクチャの確立、ImageNetを用いて事前訓練された5つのモデルの移行学習の4つの異なる分類手法を評価する。
Xceptionはこれら全てを一般化し、80.03MBのモデルサイズと0.0633秒の予測時間で98%の精度を達成した。
論文 参考訳（メタデータ） (2024-08-22T14:20:34Z) - Detecting AI Generated Text Based on NLP and Machine Learning Approaches [0.0]
自然言語処理の最近の進歩により、AIモデルは将来、人間が書いた書式と同一の書体を生成することができる。
これには深い倫理的、法的、社会的反感があるかもしれない。
本手法は,電子テキストと人文テキストを区別する機械学習手法を含む。
論文 参考訳（メタデータ） (2024-04-15T16:37:44Z) - QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。
QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。
例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
論文 参考訳（メタデータ） (2023-11-06T00:21:44Z) - Generative AI for Software Metadata: Overview of the Information
Retrieval in Software Engineering Track at FIRE 2023 [18.616716369775883]
Information Retrieval in Software Engineering (IRSE)トラックは、コードコメントの自動評価ソリューションの開発を目的としている。
データセットは9048のコードコメントと、オープンソースCベースのプロジェクトから抽出されたコードスニペットペアで構成されている。
大きな言語モデルから生成されたラベルは、予測モデルのバイアスを増加させるが、過度に適合しない結果をもたらす。
論文 参考訳（メタデータ） (2023-10-27T14:13:23Z) - Revisiting Classifier: Transferring Vision-Language Models for Video
Recognition [102.93524173258487]
ダウンストリームタスクのためのタスク非依存の深層モデルから知識を伝達することは、コンピュータビジョン研究において重要なトピックである。
本研究では,映像分類作業における知識の伝達に着目した。
予測された言語モデルを用いて、効率的な翻訳学習のための適切なセマンティックターゲットを生成する。
論文 参考訳（メタデータ） (2022-07-04T10:00:47Z) - Data-Driven and SE-assisted AI Model Signal-Awareness Enhancement and
Introspection [61.571331422347875]
モデルの信号認識性を高めるためのデータ駆動型手法を提案する。
コード複雑性のSE概念とカリキュラム学習のAIテクニックを組み合わせる。
モデル信号認識における最大4.8倍の改善を実現している。
論文 参考訳（メタデータ） (2021-11-10T17:58:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。