論文の概要: Predicting Defective Visual Code Changes in a Multi-Language AAA Video
Game Project
- arxiv url: http://arxiv.org/abs/2309.03414v1
- Date: Thu, 7 Sep 2023 00:18:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-23 08:41:19.267769
- Title: Predicting Defective Visual Code Changes in a Multi-Language AAA Video
Game Project
- Title(参考訳): マルチランゲージAAAビデオゲームプロジェクトにおける視覚的欠陥の予測
- Authors: Kalvin Eng, Abram Hindle, Alexander Senchenko
- Abstract要約: 視覚的コードメトリクスを含む視覚的コード欠陥予測モデルの構築に注力する。
我々は,AAAビデオゲームプロジェクトにおける歴史的不可知性から抽出した特徴を用いて,我々のモデルを検証した。
欠陥予測モデルでは,ROC曲線の下での面積で全体の性能が向上することがわかった。
- 参考スコア(独自算出の注目度): 54.20154707138088
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video game development increasingly relies on using visual programming
languages as the primary way to build video game features. The aim of using
visual programming is to move game logic into the hands of game designers, who
may not be as well versed in textual coding. In this paper, we empirically
observe that there are more defect-inducing commits containing visual code than
textual code in a AAA video game project codebase. This indicates that the
existing textual code Just-in-Time (JIT) defect prediction models under
evaluation by Electronic Arts (EA) may be ineffective as they do not account
for changes in visual code. Thus, we focus our research on constructing visual
code defect prediction models that encompass visual code metrics and evaluate
the models against defect prediction models that use language agnostic
features, and textual code metrics. We test our models using features extracted
from the historical codebase of a AAA video game project, as well as the
historical codebases of 70 open source projects that use textual and visual
code. We find that defect prediction models have better performance overall in
terms of the area under the ROC curve (AUC), and Mathews Correlation
Coefficient (MCC) when incorporating visual code features for projects that
contain more commits with visual code than textual code.
- Abstract(参考訳): ビデオゲームの開発は、ビデオゲームの機能を構築する主要な方法として視覚プログラミング言語を使うことにますます依存している。
ビジュアルプログラミングを使う目的は、ゲームロジックを、テキストコーディングに精通していないかもしれないゲームデザイナーの手に移すことである。
本稿では,aaaゲームプロジェクトコードベースのテキストコードよりも,視覚コードを含む欠陥誘発コミットの方が多いことを実証的に観察する。
これは、電子芸術(EA)による評価に基づく既存のテキストコード Just-in-Time (JIT) 欠陥予測モデルは、視覚的コードの変更を考慮しないため、効果がないことを示している。
そこで本研究では,視覚コードメトリクスを包含する視覚コード欠陥予測モデルの構築と,言語に依存しない機能やテキストコードメトリクスを用いた欠陥予測モデルに対するモデル評価に注目する。
我々は、AAAビデオゲームプロジェクトの歴史的コードベースから抽出された機能と、テキストおよびビジュアルコードを使用する70のオープンソースプロジェクトの歴史的コードベースを用いて、モデルをテストする。
ROC曲線(AUC)とMathews correlation Coefficient(MCC)の下の領域において、欠陥予測モデルは、テキストコードよりも多くのコミットを含むプロジェクトに対して視覚的コード機能を導入する際に、全体的なパフォーマンスが向上することがわかった。
関連論文リスト
- Can OpenSource beat ChatGPT? -- A Comparative Study of Large Language Models for Text-to-Code Generation [0.24578723416255752]
テキスト・ツー・コード生成の能力について,5つの大言語モデル (LLM) を評価した。
ChatGPTはこれらの典型的なプログラミング課題を、Code Llamaのようなコード特化モデルよりもはるかに効果的に処理することができる。
論文 参考訳(メタデータ) (2024-09-06T10:03:49Z) - CodeGRAG: Bridging the Gap between Natural Language and Programming Language via Graphical Retrieval Augmented Generation [58.84212778960507]
我々は,LLMの性能を高めるため,グラフィカル検索拡張コード生成フレームワークであるCodeGRAGを提案する。
CodeGRAGは、制御フローとデータフローに基づいて、コードブロックのグラフィカルなビューを構築し、プログラミング言語と自然言語のギャップを埋める。
ハードメタグラフプロンプト、ソフトプロンプト技術、事前訓練されたGNN専門家の目的の有効性を検証するために、C++言語とピソン言語の両方を含む4つのデータセットで様々な実験と改善が行われた。
論文 参考訳(メタデータ) (2024-05-03T02:48:55Z) - MMCode: Benchmarking Multimodal Large Language Models for Code Generation with Visually Rich Programming Problems [9.56366641717606]
MMCodeは、視覚的にリッチなコンテキストでアルゴリズムによる問題解決スキルを評価するための、最初のマルチモーダルコーディングデータセットである。
MMCodeには3,548の質問と6,620の画像が含まれている。
論文 参考訳(メタデータ) (2024-04-15T06:15:46Z) - Do LVLMs Understand Charts? Analyzing and Correcting Factual Errors in Chart Captioning [90.13978453378768]
生成したチャートキャプションに事実誤りを包括的に分類する。
大規模な人間のアノテーションの取り組みは、様々なチャートキャプションモデルによって作られたキャプションのエラーパターンと頻度に関する洞察を提供する。
分析の結果,GPT-4Vを含む最先端モデルでさえ,事実不正確なキャプションを頻繁に生成していることが判明した。
論文 参考訳(メタデータ) (2023-12-15T19:16:21Z) - Identifying Defect-Inducing Changes in Visual Code [54.20154707138088]
SZZ-VC (SZZ Visual Code) は, ラインの違いではなくグラフィカル要素の違いに基づいて, 視覚的コードの変化を検知するアルゴリズムである。
業界製AAAビデオゲームのアルゴリズムを検証し、12のオープンソースプロジェクトで20の音楽ヴィジュアルプログラミングの欠陥を検証した。
論文 参考訳(メタデータ) (2023-09-07T00:12:28Z) - A Static Evaluation of Code Completion by Large Language Models [65.18008807383816]
単純なプログラミング問題に対するモデル生成コードの機能的正当性を評価するために,実行ベースベンチマークが提案されている。
プログラムを実行せずにエラーを検出するlinterのような静的解析ツールは、コード生成モデルを評価するために十分に研究されていない。
抽象構文木を利用して,Pythonのコード補完における静的エラーを定量化する静的評価フレームワークを提案する。
論文 参考訳(メタデータ) (2023-06-05T19:23:34Z) - Code Comment Inconsistency Detection with BERT and Longformer [9.378041196272878]
ソースコードの自然言語記述であるコメントは、ソフトウェア開発者の間で標準的なプラクティスである。
コメントに付随する修正を加えずにコードを変更すると、コメントとコードの間に矛盾が生じます。
本研究では,自然言語推論(NLI)の文脈における不整合を検出するための2つのモデルを提案する。
論文 参考訳(メタデータ) (2022-07-29T02:43:51Z) - ReACC: A Retrieval-Augmented Code Completion Framework [53.49707123661763]
本稿では,語彙のコピーと類似したセマンティクスを持つコード参照の両方を検索により活用する検索拡張コード補完フレームワークを提案する。
我々は,Python および Java プログラミング言語のコード補完タスクにおけるアプローチを評価し,CodeXGLUE ベンチマークで最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2022-03-15T08:25:08Z) - Learning to Extend Program Graphs to Work-in-Progress Code [31.235862838381966]
プログラムグラフの概念を、トークン間のエッジ関係を予測することを学ぶことによって、プログレッシブ・イン・プログレッシブ・コードに拡張する。
作業中のシナリオにおいて、コード補完のタスクと変数の不正使用のローカライズと修復について検討する。
我々は、細調整されたエッジを持つ関係認識モデルのトレーニングが、両タスクのパフォーマンスを継続的に向上させることを示した。
論文 参考訳(メタデータ) (2021-05-28T18:12:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。